Lost in translation? Kritische Anmerkungen zur Validität berufsbezogener Sprachtests

1 Einleitung: Berufsbezogene Sprachtests ohne purpose?

Während berufsbezogene Sprachtests im englischsprachigen Raum unter dem Begriff des specific purpose language testing (Douglas 2005) fallen, existiert in Deutschland eine Vielzahl von Termini für kontextgebundene Sprachtests^[1], die sich nicht nur rein begrifflich stark voneinander unterscheiden, sondern auch erhebliche konstrukt- und somit auch validitätsrelevante Unterschiede und Mängel aufweisen.

In Abgrenzung zu allgemeinsprachlichen Testverfahren, die zumeist Sprachkompetenz unabhängig von einem sepzifischen Sprachhandlungsfeld testen, steht bei einem berufs- bzw. arbeitsplatzbezogenen Sprachtest die Interaktion, also das Zusammenspiel von allgemein- und zweckgebundenem Zielsprachwissen, im Mittelpunkt (ebd.: 858). Ausgehend von dieser Definition der specific purpose language tests ergibt sich die implizite Forderung an Sprachtestentwickler*innen, diese zweck- und kontextgebundenen berufs- bzw. arbeitsplatzrelevanten Sprachkenntnisse und -kompetenzen zu erfassen und anschließend in ein Testformat zu überführen. Dies bedeutet, dass der specific purpose, der sich auf das Testkonstrukt eines berufsbezogenen Sprachtests bezieht, klar definiert sein muss, um auch dem Gütekriterium der Validität zu entsprechen. Testentwickler*innen stehen somit vor der Herausforderung, das theoretische Konstrukt so genau wie möglich zu definieren und anschließend mittels empirischer Verfahren zu überprüfen, um feststellen zu können, inwiefern das entwickelte Testverfahren auch tatsächlich das misst, was es messen soll. Es fällt auf, dass bis dato nur sehr wenige empirische Studien zur Erfassung der im Beruf relevanten sprachlichen Handlungen vorliegen (Meißner 2021; Funk 2010: 1146). Dessen ungeachtet ist zumindest die theoretische Auseinandersetzung mit den am Arbeitsplatz und im Beruf relevanten Sprachhandlungen im Sinne einer validen Testentwicklung unabdingbar (Amorocho/Dengler/Kniffka 2022: 293-302).

Am Beginn des Testentwicklungsprozesses steht demnach die Frage, zu welchem Zweck bzw. in welchen Kontexten Sprache, Sprachhandlungen und Fertigkeiten abgebildet werden sollen. Geht es beispielsweise um die Fähigkeit, an einem vornehmlich deutschsprachigen Arbeitsplatz angemessen sprachlich handeln zu können, ist abzuklären, welche Sprachhandlungen am Arbeitsplatz auftreten, inwiefern berufsübergreifende Sprachhandlungen existieren oder ob bestimmte Fertigkeiten häufiger am Arbeitsplatz vorkommen als andere. Diese Überlegungen zum Testkonstrukt gilt es auch empirisch zu überprüfen. Setzt man sich mit den in Deutschland entwickelten berufsbezogenen Testverfahren auseinander, so ist festzustellen, dass häufig weder theoretisch noch empirisch überprüfte Angaben zur Konstruktvalidität und somit auch zum spezifischen Zweck des jeweiligen Testverfahrens vorliegen.

Angesichts dieser Problematik wird im Beitrag zunächst erläutert, inwiefern berufsbezogene Sprachtests als kontextgebundene Testverfahren klassifiziert und von allgemeinsprachlichen Testverfahren unterschieden werden können und welche Rolle das Testkonstrukt dabei spielt. Im Anschluss daran werden testtheoretische Grundlagen zur Validität dargestellt, bevor Verfahren zur empirischen Überprüfung der Konstruktvalidität erläutert werden. Eine Analyse des Testkonstrukts ausgewählter berufssprachlicher Testformate (Goethe-Test PRO, Deutsch-Test für den Beruf, Fachsprachenprüfungen für ausländische Ärzt*innen) wird abschließend vorgenommen.

2 Klassifizierung berufsbezogener Sprachtests

Berufsbezogene Sprachtests können als ein kontext- und zweckgebundenes Verfahren zur Feststellung spezifischer Sprachkompetenzen beschrieben werden. Diese Überlegung impliziert, dass es überhaupt möglich ist, allgemeine und kontext- bzw. zweckgebundene Sprachtests anhand klar formulierter Kriterien voneinander zu unterscheiden. Doch bereits diese Unterscheidung stellt, seitdem Bachman und Palmer neben den gängigen Testgütekriterien die Analyse des target language use (Bachman/Palmer 1996: 44) als festen Bestandteil eines Modells zur Testentwicklung etabliert haben, eine Herausforderung dar und impliziert, dass auch die Abgrenzung von allgemeinsprachlichen und berufssprachlichen Tests als problematisch anzusehen ist. In Anlehnung an Douglas liegt das Entscheidende bei einem zweckgebundenen Sprachtest jedoch nicht in der Abgrenzung von Allgemein- und Fachsprache, sondern im Zusammenspiel von allgemeinem Sprachwissen und zweck- bzw. kontextgebundenem Zielsprachwissen bzw. berufssprachlichem Wissen (Douglas 2005: 858). Abhängig von Definition und Festlegung einer situations- bzw. berufsbezogenen Sprachkompetenz wird es laut Douglas möglich sein, berufsbezogene Sprachtests zu definieren (ebd.).

Eine weitere Frage in Bezug auf die Klassifizierung von berufssprachlichen Testformaten betrifft die Einordnung berufskommunikativer Kompetenzen im Gemeinsamen Europäischen Referenzahmen (GER). Grundsätzlich beschreibt der GER allgemeinsprachliche Handlungen und bezieht sich nicht auf berufs- und arbeitsplatzspezifische sprachliche Handlungen. Vieles scheint demnach dafür zu sprechen, sich nicht an den GER als Referenzgrundlage für die Festlegung verschiedener Niveaustufen anzulehnen, sondern ein Denken in beruflichen Handlungsszenarien zu verfolgen, welches berufssprachlichen Prüfungen Orientierung geben kann (Kuhn 2013: 50). Im Bereich Deutsch für den Beruf gilt es als erwiesen, dass Sprachhandlungen am Arbeitsplatz sprachliche Strukturen auf unterschiedlichen Niveaustufen enthalten und viele Sprachhandlungen niveauübergreifend realisiert werden können. Dies trifft beispielhaft auch auf das Handlungsfeld Pflege zu, dessen geforderte Kompetenzen auf dem Niveau B1 oder auch B2 liegen können (Amorocho/Dengler/Kniffka 2022: 320–321.) Auch die Vorstellung als neues Teammitglied kann beispielsweise nur durch die Nennung des Namens und Berufs realisiert werden oder aber auch die Nennung des spezifischen Arbeits- und Aufgabenbereichs einschließen. Während die erste Vorstellung einer Realisierung auf dem A1-Niveau entspricht, würde die zweite Art der Vorstellung eher dem Niveau B1 entsprechen (Haber/Ransberger 2018: 14–15.). Neben diesem Aspekt ist auch zu berücksichtigen, dass sich Sprachhandlungen im Beruf bzw. am Arbeitsplatz berufsspezifisch unterscheiden (Settelmeyer et al. 2013: 2) und eine Anlehnung eines berufssprachlichen Testformats an den GER auch allgemeine Anforderungen an das Testformat stellt. Der angemessene Umgang mit Texten (z. B. nur Hauptaussagen verstehen oder auch Details) müsste ebenso wie die Tatsache, dass der Test möglichst alle produktiven und rezeptiven Fertigkeiten (Lesen, Hören, Sprechen und Schreiben) überprüft, berücksichtigt werden (Klein 2018: 495). An dieser Stelle ist anzumerken, dass die Berücksichtigung aller Fertigkeiten nicht unbedingt dem berufsspezifischen Kommunikationsbedarf entspricht. Schriftsprachliche Kompetenzen und der Umgang mit Texten sind bei bestimmten Berufen wie beispielsweise bei Friseurfachkräften kein wesentlicher Bestandteil berufskommunikativer Arbeitshandlungen und eine Anlehnung an den GER, verbunden mit einer gleichgewichtigen Überprüfung aller Fertigkeiten, würde somit die Validität des Tests in Frage stellen. Ungeachtet dieser Tatsache kann festgestellt werden, dass ein Großteil der berufsbezogenen Sprachtests im deutschsprachigen Raum an den GER angebunden ist. Der Grund hierfür dürfte neben den Verwendungszusammenhängen von Kursen und Zertifikaten im beruflichen Bereich die bei Arbeitgeber*innen bereits bekannte Skalierung der Sprachfertigkeiten im Rahmen des GER sein (ebd.).

Neben der Anlehnung an den GER können berufssprachliche Testformate auch anhand ihrer berufsspezifischen oder berufsübergreifenden Ausrichtung näher beschrieben und klassifiziert werden. Obwohl sich die Mehrheit der Testentwicklungsforscher*innen dafür ausspricht, Verfahren zu entwickeln, welche die berufskommunikativen Anforderungen des jeweiligen Berufs widerspiegeln (Döll 2013: 21; Settelmeyer et al. 2013: 2), scheinen zum aktuellen Zeitpunkt mehr berufsübergreifende als berufsspezifische Testformate zu existieren (Klein 2018: 500). Für den Bereich der allgemein berufsübergreifenden Tests seien an dieser Stelle beispielhaft die im Jahr 2016 vom Bund eingeführten Sprachkurse nach DeuFöV^[2] genannt, die mit einer Zertifikatsprüfung abschließen, oder auch der Goethe-Test PRO, das berufsorientierte Deutsche Sprachdiplom der Kultusministerkonferenz (DSD I Pro) und die berufsorientierten Prüfungen telc Deutsch Beruf. Im Bereich der berufsspezifischen Testformate existieren abgesehen von wenigen Ausnahmen wie beispielsweise der Fachsprachenprüfung bei Anträgen auf Erteilung einer ärztlichen Berufszulassung bisher keine standardisierten Testformate.

3 Überlegungen zum Testkonstrukt berufsbezogener Testformate

Ausgehend von den skizzierten Klassifizierungsansätzen berufsbezogener Sprachtests wird die Notwendigkeit der Einbettung berufsbezogener Testformate in ein klar definiertes Testkonstrukt deutlich. Bachman und Palmer (1996: 21–22) nennen Konstruktvalidität als eine von sechs notwendigen Testeigenschaften, welche die Sprachfähigkeit der Testteilnehmenden widerspiegelt und Bezug zu einer realen Sprachverwendungssituation aufweisen soll. Das – möglichst theoriebasierte – Konstrukt legt somit das sprachlich Interessierende fest, das dann in Testaufgaben schlüssig zu operationalisieren ist (Wisniewski/Ide/Schwendemann 2020: 508). Bei der näheren Beschäftigung mit dem sprachlich Interessierenden eines berufsbezogenen Testformats wird deutlich, dass es sich hierbei um eine Vielzahl zu beachtender Register handelt: Fach-, Allgemein-, Umgangs-, Unternehmens-, Branchen-, Berufs- oder auch Bildungssprache. Dabei ist insbesondere eine vertiefte Betrachtung des Berufssprachbegriffs, dem keine einheitliche Definition zugrunde liegt (Efing 2018: 232), unerlässlich. Wenngleich die Bandbreite an Begriffsdefinitionen groß ist, so ist dennoch erkennbar, dass der Begriff entweder durch eine große Nähe zur Fachsprache gekennzeichnet ist oder aber auch eine begriffliche Nähe sowohl zur schriftsprachlichen Standardsprache als auch zur Bildungssprache hergestellt wird (ebd.: 233). Efing (2017: 256) definiert den Begriff demnach folgendermaßen:

„Berufssprache kommt medial mündlich wie schriftlich vor. Sie kann als eigenständiges, berufs(feld)übergreifendes Register auf einem Kontinuum zwischen Allgemein- und Fachsprache konzipiert werden, das im Bereich der Sprachhandlungsmuster große Schnittmengen mit der Bildungssprache hat; sie ist arbeits- bzw. berufs(welt)bezogener als die Allgemeinsprache und konkreter praxis- bzw. handlungsbezogener als Fachsprachen.“

Anhand dieses definitorischen Versuchs werden zwei Aspekte deutlich: Zum einen zeigt sich, dass der Begriff „Berufssprache“ nicht losgelöst von anderen Sprachen wie Allgemein-, Fach-, und Bildungssprache beschrieben wird, da gemeinsame Schnittmengen festzustellen sind; und zum anderen wird deutlich, dass weder fach- noch berufs- oder betriebsspezifische Ausdrücke als Berufssprache bezeichnet werden (Efing 2018: 234). Beim Begriff der Berufssprache geht es somit um den berufsfeldübergreifenden Sprachgebrauch. In Anlehnung an dieses Begriffsverständnis von Berufssprache geht auch Funk (2010: 1149) davon aus, dass in vielen Berufen und Berufsbranchen ein Großteil des Wortschatzes eine berufsfeld-übergreifende Relevanz und Gebrauchsfrequenz besitzt. Erste Korpusuntersuchungen mündlicher Berufskommunikation scheinen diese Hypothese teilweise zu bestätigen. Meißner (2021: 42, 62) hat in einer statistischen Auswertung von vorhandenen Datensätzen aus Kontexten der beruflichen Kommunikation beispielsweise festgestellt, dass Grundverben in der mündlichen (Berufs-)Kommunikation verbreitet sind und sowohl berufsfeldübergreifende Gemeinsamkeiten als auch einzelberufliche Spezifika aufweisen. Weitere Forschungsarbeiten und Studien zu sprachlichen Charakteristika des Registers Berufssprache stehen noch aus (Sander 2019). Ausgehend von einer berufsfeldübergreifenden Definition des Begriffs „Berufssprache“ würden die Ergebnisse Meißners auch bedeuten, dass einzelberufliche Spezifika in der Verwendung von Grundverben neben berufs- oder betriebsspezifischen Ausdrücken nicht durch den Begriff der Berufssprache erfasst werden. Aufgrund der Nähe und fehlender Abgrenzungen bzw. aufgrund von Überschneidungen zu anderen Registern wie Fach- oder Bildungssprache kommen Zweifel auf, ob die Klassifizierung des Begriffs der Berufssprache als eigenes Register sinnvoll erscheint. Aufgrund der fehlenden einheitlichen Terminologisierung wirft der Begriff viele Fragen auf und erscheint demnach zumindest als alleinige Kategorie zur Konstruktbezeichnung berufsbezogener Sprachtests ungeeignet.

Angesichts der skizzierten terminologischen, empirischen und konzeptionellen Schwächen bezeichnet Roelcke (2020: 6) den Begriff der Berufssprache „als mehr oder weniger bunte Mischung bzw. als ein sehr wenig spezifisches Glied zwischen Allgemein- und Fachsprache“. Er spricht sich klar gegen die Annahme einer eigenen Varietät oder eines eigenen Registers aus, da dies sowohl konzeptionell als auch empirisch wenig sinnvoll und kaum belegbar sei (ebd.). Stattdessen führt er den Begriff der Berufskommunikation bzw. beruflichen Kommunikation ein, der nicht im Sinne einer Berufssprache als Register verstanden werden soll, sondern als spezifische Form fachlicher Kommunikation. Innerhalb dieses Modells werden die Produzent*innen eines berufsbezogenen (mündlichen oder schriftlichen) Textes, dieser berufsbezogene Text selbst sowie dessen Rezipient*innen unterschieden (ebd.: 6–7.). Laut Roelcke bestehe der Vorteil dieser kommunikationsbezogenen Konzeption unter anderem darin, dass die Verhältnisse beruflicher Kommunikation hinsichtlich verschiedener Fachsprachen differenzierter erfasst werden und Entwicklungen beruflicher Kommunikation angesichts ihrer fachsprachlichen Herausforderungen beschrieben und erläutert werden können (ebd.: 8). Wenngleich es vordergründig so erscheint, als ob das Konzept der beruflichen Kommunikation sowohl flexible als auch situationsbezogene Aspekte der berufsbezogenen Kommunikation erfassen kann, so ist zu überprüfen, ob dieses Konzept im Kontext der Konstruktbeschreibung berufsbezogener Sprachtests anwendbar ist. In Anlehnung an Ohms Feststellung (2014: 9–10.), dass neben Fachwortschatz ebenfalls fachbezogene sprachliche Mittel in der beruflichen Kommunikation eine herausragende Rolle spielen, scheint das Modell der beruflichen Kommunikation vordergründig passend zu sein, um die sprachlichen Handlungen am Arbeitsplatz abzubilden. Ohm (ebd.) nennt hierbei das Beispiel der sogenannten Einsatzhilfe, welche sich im zahnärztlichen Umfeld auf ein Instrument und nicht entsprechend anderen Begriffen wie beispielsweise der Putzhilfe auf eine Person bezieht. Diese fachbezogenen sprachlichen Mittel, die Ähnlichkeiten zu den von Meißner festgestellten einzelberuflichen Spezifika der Grundverben aufweisen, könnten durch das Modell der beruflichen Kommunikation beschrieben werden, während sie im Register Berufssprache nicht abgebildet werden können.

Ungeachtet der Tatsache, dass das Modell der beruflichen Kommunikation viele Vorteile aufweist, so löst auch dieses Konstrukt das Problem der Definition und Abgrenzung von Fach-, Berufs-, Umgangs-, Bildungs- oder auch unternehmensspezifischer Sprache nicht. Dieses Modell der 15 Typen fachfremdsprachlicher Kommunikation ist vorrangig dafür geeignet, berufliche Kommunikation zwischen spezifischen Kommunikationspartner*innen abzubilden, aber nicht die berufskommunikativen Arbeitshandlungen eines spezifischen Berufs widerzuspiegeln. Das Konstrukt berufsbezogener Sprachtests im Sinne einer Prüfung, die die berufssprachlichen Kompetenzen in den jeweiligen Zielberufen testet, welche aus sprachlicher Perspektive auch eine erfolgreiche Arbeitsaufnahme in diesen Berufen ermöglichen würde, kann somit weder alleinig durch den Begriff der Berufssprache noch durch den der beruflichen Kommunikation beschrieben werden.

Berufsbezogene Sprachtests, die die typischen berufskommunikativen Arbeitshandlungen abbilden, sollten zum einen betriebsübergreifend und zum anderen aus den verschiedenen relevanten sprachlichen Registern beruflicher Kommunikation bestehen. Folgendes Modell berufskommunikativer Arbeitshandlungen wurde im Rahmen der Entwicklung des Berufssprachtest Friseur*in (BTF) und des Berufssprachtests Anlagenmechaniker*in (BTA) entworfen (Teufele 2021a). Bei diesen Testformaten handelt es sich um digitale video- und szenariobasierte Testformate, die in Kooperation mit dem Westdeutschen Handwerkskammertag entwickelt wurden, um die sprachlich relevanten Arbeitshandlungen von Friseur*innen bzw. Anlagenmechaniker*innen abzubilden und somit Aussagen über die berufskommunikativen Kompetenzen der Testteilnehmenden treffen zu können (Teufele 2021b). Folgende Grafik veranschaulicht das zu testende Konstrukt berufskommunikativer Arbeitshandlungen, welches auf diverse Berufe übertragen werden kann:

Abbildung 1

Berufskommunikative Arbeitshandlungen

Bei diesem Konstrukt ist der Begriff der Handlung bewusst in Abgrenzung zum Begriff der Sprache gewählt, da davon ausgegangen wird, dass erfolgreiche Kommunikation im Beruf sich zum einen in spezifischen sprachlichen Arbeitshandlungen widerspiegelt und berufs- bzw. branchenspezifische sprachlich-kommunikative Kenntnisse und Umgangsformen beinhalten kann. Bei einer Friseurfachkraft spielen zum Beispiel Höflichkeitsformen und metakommunikatives Fachwissen wie beispielsweise Kenntnisse in der Gesprächsführung eine zunehmend wichtige Rolle im Berufsalltag (Heisler/König-Wendel 2018: 156–157.). Berufskommunikative Arbeitshandlungen bestehen somit neben berufs- und branchenspezifischen sprachlich-kommunikativen Kenntnissen und Umgangsformen aus fach- und berufssprachlichen Teilen sowie berufs- bzw. branchenspezifischen Ausdrücken. Die Anteile der verschiedenen Sprachregister sind von den jeweiligen Berufen sowie Kommunikationspartner*innen abhängig und fallen als solche unterschiedlich groß aus. Ein Gespräch unter Fachkolleg*innen wird in den meisten Berufen mehr berufs- und branchenspezifische Ausdrücke aufweisen als ein Gespräch mit Kund*innen bzw. Fachfremden. Bildungs- und Berufssprache (im Sinne einer berufsübergreifenden Sprache) sind in diesem Modell nicht enthalten, da davon ausgegangen wird, dass jegliche berufsübergreifenden sprachlichen Mittel bereits durch Allgemein- und Fachsprache beschrieben werden können; und zum anderen wird angenommen, dass bildungssprachliche Elemente im Berufsalltag der allermeisten Berufe keine bzw. eine untergeordnete Rolle spielen.

In Abgrenzung zur Berufssprache soll das Modell der berufskommunikativen Arbeitshandlungen, welches Allgemein- und Fachsprache wie auch berufs- bzw. branchenspezifische Ausdrücke, Kenntnisse und Umgangsformen einschließt, verdeutlichen, welche Teilbereiche berufskommunikativer Handlungen bei einem Testkonstrukt eines berufssprachlichen Testformats zu beachten und zu analysieren sind.

4 Testtheoretische Grundlagen zur (Konstrukt-)Validität

Abgesehen von der Auseinandersetzung mit dem Testkonstrukt eines berufsbezogenen Sprachtests gibt es weitere Gütekriterien, die bei der Entwicklung, Pilotierung und Auswertung eines Testverfahrens zu berücksichtigen sind. Klassischerweise werden an dieser Stelle die drei Gütekriterien Objektivität, Reliabilität und Validität genannt. Obwohl alle drei genannten Kriterien gleich wichtig sind, wird an dieser Stelle auf den Aspekt der Validität genauer eingegangen, da dieses Kriterium eng mit dem Testkonstrukt verknüpft ist. Rost (1996: 31) definiert dieses Kriterium wie folgt:

„Mit Validität (Herv. i. O.) ist gemeint, inwieweit der Test das misst, was er messen soll. Es geht also um den Grad der Gültigkeit (Herv. i. O.) der Messung oder der Aussagefähigkeit des Testergebnisses bezüglich der Messintention.“

Das Kriterium der Validität besteht ebenso wie das der Objektivität und Reliabilität aus weiteren untergeordneten Teilaspekten, die unter anderem als Inhaltsvalidität, Konstruktvalidität, Übereinstimmungsvalidität oder auch externe und interne Validität beschrieben werden (ebd.: 33–34; Sachse/Spreer: 2020: 173). Andere Forscher*innen unterscheiden lediglich zwischen Inhalts-, Kriteriums- und Konstruktvalidität (Melzer/Rißling/Petermann 2014: 62). Auch wenn alle Aspekte der Validität eines Testverfahrens überprüft werden sollten, wird an dieser Stelle der Aspekt der Konstruktvalidität in den Mittelpunkt gerückt, um den Zusammenhang zwischen dem theoretischen Testkonstrukt und den konkreten Testergebnissen darstellen zu können. Ganz allgemein bezieht sich die Konstruktvalidität auf die Gültigkeit der Interpretation der Testergebnisse in Bezug auf das Kriterium des Tests (Krekeler 2002: 443). Konkret angewendet auf das Testkonstrukt der berufskommunikativen Arbeitshandlungen bedeutet dies, dass das Testverfahren als valide im Sinne der Konstruktvalidität bezeichnet werden kann, insofern die Testergebnisse tatsächlich Rückschlüsse auf die Qualität der berufssprachlichen Arbeitshandlungen eines bestimmten Berufs geben. Ausgehend von dieser Darstellung der Konstruktvalidität wird deutlich, wie wichtig die Überprüfung dieses Konzepts ist, denn bei einer geringen Konstruktvalidität kann davon ausgegangen werden, dass der Test ein anderes als das angegebene Kriterium misst.

Zur empirischen Erhebung der Konstruktvalidität gibt es mehrere Möglichkeiten^[3]. Häufig wird sich des Hilfsmittels des parallelen Tests mit nachgewiesen hoher Konstruktvalidität bedient, um die Konstruktvalidität des neu entwickelten Tests zu messen. Wenn die Ergebnisse beider Tests vergleichbar sind, kann auch beim neuen Testverfahren von einer hohen Validität ausgegangen werden (ebd.). Obwohl dieses Verfahren, das auch als konvergente Überprüfung der Validität bezeichnet wird (Moosbrugger/Kelava 2012: 17), einfach anwendbar ist, so erweist es sich in Bezug auf berufsbezogene Sprachtests dennoch als unpraktikabel, da insbesondere im Bereich berufsspezifischer Sprachtests keinerlei Vergleichstests existieren, bei denen man von einer nachgewiesenen Konstruktvalidität sprechen könnte. Angesichts dieser Problematik ist es notwendig, auf alternative empirische Überprüfungsformen zurückzugreifen. Neben der konvergenten Validität ist es ebenso möglich, die diskriminierende bzw. divergente Validität zu überprüfen, denn um zu zeigen, dass ein Test das zu messende Merkmal misst und nicht ein anderes, muss er von Tests für andere Merkmale abgrenzbar sein. Hierbei ist es nicht nur notwendig, den Test mit relativ konstruktfernen Tests zu vergleichen, sondern auch mit konstruktnahen Testverfahren (ebd.). Wird beispielsweise davon ausgegangen, dass ein berufsbezogener Sprachtest ein allgemeines Sprachniveau von mindestens A2 voraussetzt, so könnten die Testergebnisse dieser beiden Sprachtests in Verbindung gesetzt werden, um zu überprüfen, inwiefern eine niedrige oder hohe Korrelation vorliegt. Hier wäre jedoch eine niedrige Korrelation wünschenswert, da sich die zu testenden Merkmale (allgemeine vs. berufsbezogene Sprachkompetenz) unterscheiden.

Ein weiteres Verfahren zur Überprüfung der Konstruktvalidität ist die Faktorenanalyse. Ausgehend von Hypothesen zum theoretischen Konstruktgefüge können die einzelnen Merkmale mittels Faktorenanalyse miteinander in Beziehung gesetzt werden (ebd.). Zunächst bedeutet dies, dass hypothetische sowie theorie- und empiriegeleitete Faktoren benannt werden, von denen vermutet wird, dass sie Auswirkungen auf die Kompetenzausprägung berufskommunikativer Arbeitshandlungen haben. Der Einfluss dieser Faktoren auf das tatsächliche Testergebnis wird dann im nächsten Schritt mittels Faktorenanalyse ermittelt. Konkretisiert am Beispiel der berufskommunikativen Arbeitshandlungen bedeutet dies, dass hypothetisch davon ausgegangen werden könnte, dass das allgemeinsprachliche Kompetenzniveau, die Berufserfahrung im In- und Ausland und der Berufsabschluss Auswirkungen auf die Qualität berufskommunikativer Arbeitshandlungen haben und diese Faktoren dementsprechend in ihrem Einfluss auf die verschiedenen Testitems analysiert werden sollten.

Zusammenfassend kann somit festgehalten werden, dass die Überprüfung der Validität im Sinne der Konstruktvalidität ein essenzieller Bestandteil der Gütekriterienüberprüfung eines jeden Testverfahrens sein sollte. Hierzu stehen mehrere Verfahren zur Verfügung, die in diesem Beitrag vorgestellt werden und welche auch ohne tiefergehende statistische Kenntnisse angewandt werden können.

5 Analyse der Konstruktvalidität ausgewählter berufsbezogener Sprachtests

Im Anschluss an diese Darstellung stellt sich die Frage, inwieweit DaF-/DaZ-Testentwickler*innen Validitätsüberprüfungen im Rahmen der Testentwicklungsforschung vornehmen. Obwohl auch DaF-/DaZ-Forscher*innen konstatieren, dass die Qualität eines Tests an den drei Hauptgütekriterien gemessen wird und es auch zu überprüfen gilt, inwieweit diese drei Kriterien erfüllt werden (Klein 2018: 494), so zeigt sich in der Praxis ein anderes Bild.

Zunächst ist auffallend, dass, obwohl die Überprüfung der Gütekriterien als essenziell wichtiger Bestandteil der Sprachtestentwicklung gilt, keinerlei vergleichende Analysen oder Studien zu den Gütekriterien bestehender Sprachtestverfahren vorliegen. Ungeachtet der Tatsache, dass Klein beispielsweise (ebd.: 494–500) die Wichtigkeit der Gütekriterien nennt, so wird bei der anschließenden Darstellung berufsbezogener Sprachtests keinerlei Bezug zu den Kriterien hergestellt. Es stellt sich deshalb die Frage, ob die Erfüllung und die Analyse der Gütekriterien innerhalb des Fachs DaF/DaZ lediglich nicht hervorgehoben werden oder ob eine solche Überprüfung nicht stattfindet. Eine exemplarische Analyse des berufsbezogenen Sprachtests Goethe-Test Pro, des Deutsch-Tests für den Beruf wie auch der Fachsprachenprüfungen für ausländische Ärzt*innen scheint beide Thesen zu bestärken.

Beim Goethe-Test Pro: Deutsch für den Beruf handelt es sich um einen computergestützten Deutschtest, der die Hör- und Lesekompetenz am Arbeitsplatz ermittelt. Er ist an den GER angebunden und richtet sich berufsübergreifend sowohl an Deutschlernende als auch an Unternehmen, die unter anderem die Sprachkenntnisse von Bewerber*innen und Mitarbeiter*innen überprüfen möchten (Goethe-Institut online). Bezugnehmend auf das Testkonstrukt des Goethe-Test Pro bleibt offen, welches spezifische Merkmal bei diesem Test im Mittelpunkt steht, da in der Testbeschreibung durchaus widersprüchliche Aussagen getätigt werden. Es bleibt beispielsweise klärungsbedürftig, um welche Sprachkenntnisse es sich genau handeln soll: um berufsübergreifende Sprachkenntnisse oder lediglich um eine berufsübergreifende Hör- und Lesekompetenz. Ferner ist unklar, um welchen Arbeitsplatz es gehen soll. Ausgehend von den Aufgaben scheint es wohl hauptsächlich um Büroarbeitsplätze zu gehen, bei denen am Computer gearbeitet wird. Dies wird jedoch an keiner Stelle erwähnt. Positiv hervorzuheben ist jedoch die auf der Website des Goethe-Instituts verfügbare Untersuchung zur psychometrischen Güte des Goethe-Test Pro. Ungeachtet dessen lässt sich feststellen, dass die Autoren der Untersuchung im Rahmen der psychometrischen Analyse keine Validitätsüberprüfung des Testverfahrens vornehmen (Fink/Frey 2020). Obwohl das Kriterium der Validität bei der Beurteilung der Güte eines Testverfahrens essenzieller Bestandteil ist, bleibt dieser Aspekt vollkommen unberücksichtigt. Fink und Frey (ebd.: 13) merken an, dass Untersuchungen zur Validität des Testverfahrens Gegenstand zukünftiger Studien sein könnten.

Ähnlich verhält es sich mit den Versionen des Deutsch-Tests für den Beruf für die Niveaustufen A2, B1, B2 und C1, die von telc entwickelt wurden. Das Prüfungshandbuch, das zu Beginn des Jahres 2021 veröffentlicht wurde, gibt hierbei sowohl zum Vorgehen bei der Testentwicklung als auch zu den Prüfungszielen und der Validität dieser neu entwickelten Zertifikatsprüfung, welche die vom Bund geförderten Berufssprachkurse (DeuFöV) zukünftig abschließen soll, Auskunft (Passmann et al. 2021). Es ist festzustellen, dass es sich bei der Prüfungsentwicklung um ein sehr aufwendiges und gut dokumentiertes Vorgehen handelt, an dem neben zahlreichen Fachexpert*innen eine große Anzahl an Bewerter*innen, Prüfer-Trainer*innen, Gutachter*innen und Kursträger*innen beteiligt waren (ebd.: 5–6). Positiv hervorzuheben ist ebenfalls der Bezug zu den ALTE^[4]-Standards zur Sicherstellung von Qualität in den Prüfungen der ALTE-Mitglieder, zu denen auch telc zählt. ALTE nennt bereits als ersten Aspekt die Wichtigkeit des Bezugs einer Prüfung auf ein theoretisches Konstrukt (ebd.: 10). Dieses theoretische Konstrukt und das zu messende Merkmal werden als allgemein berufsorientierte sprachliche Kompetenz mit Anbindung an den GER definiert (ebd.: 32). Obwohl es sich bei dieser Definition um ein klar bestimmtes Merkmal handelt und die Bedeutung der Konstruktvalidität hervorgehoben wird, zeigt sich im weiteren Verlauf, dass die zur Messung bzw. Bestimmung der Konstruktvalidität etablierten empirischen Verfahren nicht angewandt werden. Stattdessen fand im Rahmen einer Fachveranstaltung zum Standard-Setting und Benchmarking innerhalb einer Expert*innenbefragung eine leitfadenbasierte Gruppendiskussion statt, in der es unter anderem um Aspekte der Konstruktvalidität ging (ebd.: 24). Weitere Hinweise zum Leitfaden wie auch zur Begründung der gewählten Methode der Gruppendiskussion in Abgrenzung zu etablierten Methoden wie der Faktorenanalyse werden nicht gegeben. Aus diesem Grund kann konstatiert werden, dass der Aspekt der Konstruktvalidität empirisch nicht überprüft wurde. Im Gegenteil ist davon auszugehen, dass das Konstrukt der allgemein berufsorientierten Sprachkompetenz ungeklärte und empirisch ungeprüfte Aspekte aufweist.

Beispielhaft sei an dieser Stelle darauf hingewiesen, dass die Testentwickler*innen davon ausgehen, dass schriftliche Kommunikation auch auf niedrigen Niveaustufen berufsübergreifend am Arbeitsplatz stattfindet – eine Aussage, die weder theoretisch noch empirisch fundiert überprüft wurde (telc 2020: 1). Auch der Bezug zu den jeweiligen GER-Stufen und zur Vergleichbarkeit zwischen den allgemeinsprachlichen und den berufsbezogenen Prüfungsformaten wirft Fragen auf. Es wird auch darauf hingewiesen, dass das Niveau der berufsbezogenen Prüfungen niedriger erscheinen kann als das der allgemeinsprachlichen Prüfungen und dies daran liegen könnte, dass komplexe Texte, wie sie aus bildungssprachlichen Kontexten bekannt sind, nicht angemessen wären und berufsbezogene Texte in der Regel klar und auf den Punkt formuliert seien (ebd.: 3). Auch an dieser Stelle fehlt die theoretische und empirische Überprüfung der getroffenen Aussagen. Es erscheint fragwürdig, inwiefern allgemein berufsbezogene Texte denn tatsächlich klarer formuliert sind und aus Fachwortschatzperspektive unter Umständen sogar als schwer verständlich eingestuft werden können. Gleichzeitig impliziert die getroffene Aussage, dass eine Vergleichbarkeit zwischen den allgemeinen und berufsorientierten Prüfungen gegeben sein sollte. Hierbei bleibt jedoch unberücksichtigt, dass beide Tests ein genuin anderes Merkmal testen und lediglich die Verortung auf den Stufen des GER als übereinstimmend gegeben sein sollte.

Abgesehen von berufsübergreifenden Sprachtests werden auch immer mehr berufsspezifische Sprachtests entwickelt. Dies trifft insbesondere auf den Gesundheitsbereich zu. Anlässlich der 87. Gesundheitsministerkonferenz im Jahr 2014 wurde beispielsweise festgelegt, dass von internationalen Ärzt*innen neben allgemeinsprachlichen Sprachkenntnissen auf B2-Niveau auch fachspezifische Sprachkenntnisse auf C1-Niveau nachzuweisen sind (Jehle 2021 a: 154–155). Im Unterschied zu den zuvor beschriebenen Prüfungsformaten sind die Inhalte der Fachsprachenprüfung und somit auch die des Testkonstrukts von den Testentwickler*innen nicht frei wählbar, sondern durch rechtliche Bestimmungen festgelegt. Der Sprachtest umfasst dabei ein simuliertes Arzt-Patienten-Gespräch, das Anfertigen eines in der ärztlichen Berufsausübung üblicherweise vorkommenden Schriftstücks (z. B. einen Kurz-Arztbrief) und ein Gespräch mit einer anderen ärztlichen Fachperson (Bayerische Landesärztekammer 2020: 3–4). Durch diese inhaltliche Vorgabe der Fachsprachenprüfung wird das theoretische Konstrukt des Tests indirekt vorbestimmt und macht es Testentwickler*innen nahezu unmöglich, alle Schritte des Testentwicklungsprozesses einzuhalten. Im Rahmen dieses Prozesses wäre es zunächst notwendig, das zu testende Merkmal explizit zu definieren und daraufhin Aufgabenstellungen festzulegen, die das festgelegte Merkmal testen. Durch die Vorgabe der Aufgabenstellungen der Fachsprachenprüfung ist es in der Folge jedoch unmöglich, die Konstruktvalidität der Fachsprachentests zu bestimmen, da das Testkonstrukt nicht explizit benannt wird.

Es ist demnach auch fraglich, inwiefern vor Festlegung der Aufgaben das zu testende Konstrukt von der Gesundheitsministerkonferenz tatsächlich bestimmt wurde. Geht es beispielsweise um die berufsbezogene Sprachkompetenz von Ärzt*innen stellt sich die Frage, weshalb die Lesekompetenz nicht Bestandteil der berufsbezogenen Sprachkompetenz ist, denn diese bleibt im Test unberücksichtigt. Des Weiteren ist festzustellen, dass trotz der allgemeinen Aufgabenvorgaben die länderspezifisch angebotenen Fachsprachenprüfungen nicht nur erheblich unterschiedliche Prüfungsgebühren aufweisen (zwischen 300 und 650 Euro), sondern sich auch inhaltlich stark unterscheiden, weshalb es in der Folge zu einem regelrechten innerdeutschen Prüfungstourismus kommt (Jehle 2021 b: 193).

6 Fazit: Standards der berufsbezogenen Sprachtestentwicklung

Abschließend zeigt sich ein ernüchterndes Bild: Wie bereits McNamara (2000: 49) resümiert, dass eine Großzahl der Sprachtests nicht validiert wird, so ist auch festzustellen, dass die Überprüfung der Konstruktvalidität von berufsbezogenen Sprachtests meist ausbleibt. Ausgehend von einer inhaltlichen und definitorischen Annäherung an den Begriff der berufsbezogenen Sprachtests in Anlehnung an den Terminus des specific purpose language testing zeigte dieser Beitrag zunächst verschiedene Möglichkeiten der Klassifizierung berufsbezogener Sprachtests. Im Anschluss daran wurden Überlegungen zum Testkonstrukt kontext- bzw. berufsbezogener Sprachtests angestellt und das Konzept der berufssprachlichen Arbeitshandlungen vorgestellt, welches eine Alternative zum Begriff der Berufssprache und zum Modell der beruflichen Kommunikation darstellt. Anschließend wurden testtheoretische Grundlagen zur (Konstrukt-)Validität vorgestellt und es wurde analysiert, inwiefern ausgewählte berufsbezogene Sprachtests das Konzept der Konstruktvalidität berücksichtigen und umsetzen.

Diese Analyse offenbarte auch, dass, obwohl ALTE das Qualitätskriterium der Konstruktvalidität an erster Stelle nennt, diese aber in keinem der ausgewählten Prüfungsformate anhand standardisierter empirischer Verfahren überprüft wurde. Obgleich die Festlegung der ALTE-Mitglieder auf Qualitätsstandards von Sprachtests eine sehr positive Entwicklung ist, scheint es an dieser Stelle notwendig, auch die empirische Überprüfung der Qualitätskriterien mittels standardisierter Verfahren als Kriterium aufzunehmen. Ein weiteres wünschenswertes Qualitäts- und Gütekriterium wäre das der Transparenz und Offenlegung des Testentwicklungsprozesses. Obwohl die Analyse der psychometrischen Güte des Goethe-Test Pro wie auch die Veröffentlichung des Prüfungshandbuchs des Deutsch-Tests für den Beruf eine erfreuliche Entwicklungstendenz darstellen, da der Testentwicklungsprozess und die Einhaltung der Gütekriterien zumindest teilweise adressiert und überprüft werden, so muss dennoch konstatiert werden, dass dieser Einblick nicht selbstverständlich ist. Wissenschaftsbezogene Anfragen zu dieser Thematik wurden bei mehreren Testanbietern mit Ausnahme des TestDaF-Instituts, das jedoch keine berufsbezogenen Testformate anbietet, abgewiesen. Ausnahme hierzu ist der SAM – Sprachtest für ausländische Mediziner. Bei diesem Test handelt es sich um den bisher ersten bundesweiten Ansatz einer wissenschaftlich fundierten Fachsprachenprüfung in dem Sinne, dass testtheoretische Gütekriterien wie Objektivität, Validität, Authentizität, Fairness und Ökonomie anhand empirischer Methoden überprüft, dokumentiert und veröffentlicht wurden (Lenz et al. 2019: 15). An dieser Stelle kann über die Gründe dieses intransparenten Vorgehens nur gemutmaßt werden: Datenschutzrechtliche Bestimmungen, kommerzielle Interessen oder auch die Verschleierung unzulänglicher empirischer Validierung könnten diese Vorgehensweise unter Umständen erklären.

Ungeachtet dieser Gründe wird offensichtlich, dass berufsbezogene Sprachtests methodische Defizite aufweisen. Angesichts der häufig vernachlässigten Methodenausbildung angehender DaF-/DaZ-Wissenschaftler*innen, die sich insbesondere auf die empirisch-quantitative Forschung bezieht, ist davon auszugehen, dass Sprachtestentwickler*innen mit DaF-/DaZ-Ausbildung häufig nur unzureichende Kenntnisse im Bereich der Sprachtestentwicklung aufweisen, die empirisch-quantitative Methodenkenntnisse erfordert. Eine erfreuliche Ausnahme stellt die Dissertationsarbeit von Kecker (2011) dar, die sich mit der Validierung von Sprachprüfungen beschäftigt. Mit Hinblick auf die Professionalisierung des Fachs ist es demnach wünschenswert, sowohl die methodischen Kenntnisse der DaF-/DaZ-Wissenschaftler*innen auszubauen als auch interdisziplinäre Kooperationen anzuregen. Bei einem berufssprachlichen Test handelt es sich immerhin um einen Typ Sprachtest, der auch stärker von Wissenschaftler*innen der DaF-/DaZ-Forschung zum Gegenstand wissenschaftlicher Auseinandersetzung gemacht werden sollte. Es ist davon auszugehen, dass eine stärkere Einbindung der DaF-/DaZ-Forschung in den Kontext berufssprachlicher Kompetenzen und deren Feststellung nicht nur die Relevanz des Erwerbs des Deutschen als Zweitsprache in beruflichen Kontexten im Rahmen einer erfolgreichen Arbeitsmarktintegration ins gesellschaftliche Bewusstsein rücken, sondern auch zur Professionalisierung und professionellen Wahrnehmung des Fachs DaF/DaZ beitragen können.