Deutsch im Beruf – eine Untersuchung der psychometrischen Güte des Goethe-Test PRO

2.1 Berufssprachliche Orientierung im Goethe-Test PRO

Deutschprüfungen für den Beruf werden von verschiedenen Testanbietern vertrieben (Fromme/Korb 2018). Die verfügbaren Tests unterscheiden sich unter anderem durch ihren Fokus auf bestimmte Berufsfelder – so zum Beispiel Medizin oder Wirtschaft – und somit durch den Grad der Spezifizierung (van Gorp/Vîlcu 2018: 3–4). Der GTP ist eine dieser Prüfungen für den Beruf und wird seit 2017 als Nachfolger des Business Language Testing Service, kurz BULATS (online: https://www.cambridgeenglish.org/bulats), vom Goethe-Institut angeboten.

Der GTP kann als berufsorientierter Test im weiteren Sinne charakterisiert werden, also im Gegensatz zu berufs- bzw. fachsprachlichen Tests im engeren Sinne (van Gorp/Vîlcu 2018: 3–4). Berufsorientierte Tests weisen im Spannungsfeld berufsrelevanter Register zwischen Allgemein- und Fachsprache eine größere Nähe zur Allgemeinsprache auf (Efing 2014: 420). In der beruflichen Kommunikation kann beobachtet werden, dass ein Großteil des sprachlichen Handelns am Arbeitsplatz nicht mit dem Register der Fachsprache bewältigt wird. In Abgrenzung zur Fachsprache entstand so der Begriff der Berufssprache (ebd.: 419). Im Berufsalltag werden zum Großteil kommunikative Handlungen verlangt, die zu allgemeinen Kommunikationsformen gezählt werden können, zum Beispiel systematisches Verarbeiten von Informationen sowohl schriftlicher als auch mündlicher Quellen (Kuhn 2019: 54).

Solche kommunikativen Handlungen werden bei der Itemerstellung unter Berücksichtigung der individuellen Ausprägungen einbezogen und im GTP durch unterschiedliche Aufgaben operationalisiert. Diese werden im weiteren Verlauf Items genannt. Dem GTP liegt eine umfangreiche Itembank zugrunde, die Items für alle GER-Niveaustufen beinhaltet (siehe Abschnitt 6.1). Beim Aufbau dieser Itembank wurde darauf geachtet, dass der Fokus auf berufsorientiertem Deutsch liegt, um den branchenübergreifenden Einsatz als Sprachnachweis zu gewährleisten.

Zielgruppe des GTP sind Erwachsene im Berufsleben, die ihre Sprachkenntnisse am Arbeitsplatz möglichst schnell, beispielsweise im Bewerbungsprozess, nachweisen möchten. Der Test kann auch direkt im Unternehmen mit Mitarbeiterinnen und Mitarbeitern oder mit Bewerberinnen und Bewerbern durchgeführt werden. Hierbei kann er als Entscheidungsgrundlage unter anderem für Fortbildungsmaßnahmen dienen, zum Beispiel berufsbegleitende Sprachkurse. In den Niederlanden wird der GTP auch an berufsbegleitenden Schulen (online: https://duitsmbo.nl/) von Berufsschülerinnen und -schülern abgelegt. Testteilnehmende erhalten direkt nach Testabschluss ein digitales Zeugnis mit Beschreibung des Sprachniveaus, das online zum Beispiel von (zukünftigen) Arbeitgebern auf Echtheit überprüft werden kann (online: https://goethe.de/pro/relaunch/prf/de/Pruefungsordnung_GTP.pdf).

2.2 Beschreibungen des Testformats

Der GTP testet in zwei Teilbereichen kommunikative Sprachaktivitäten (Europarat 2020: 57), die in Kombination abgelegt werden. Der erste Teilbereich testet die Fertigkeit Lesen, der zweite die Fertigkeit Hören. Dem Test liegen in diesen beiden rezeptiven Fertigkeiten die Kompetenzniveaus und die Kann-Beschreibung des Gemeinsamen Europäischen Referenzrahmens für Sprachen (Europarat 2001) zugrunde. Bei der Konstruktion der Testitems des GTP wurde das Prinzip der Handlungsorientierung berücksichtigt, welches Fremdsprachenlernende als „sozial Handelnde betrachtet, das heißt als Mitglieder einer Gesellschaft, die unter bestimmten Umständen und in spezifischen Umgebungen und Handlungsfeldern kommunikative Aufgaben bewältigen müssen [...]“ (ebd.: 21). Die Testitems des GTP sind so konstruiert, dass sie die (zukünftige) Lebenswelt der Lernenden im beruflichen Kontext möglichst authentisch widerspiegeln, das heißt für die Lernenden eine unmittelbare Relevanz haben.

Getestet wird in beiden Teilbereichen anhand verschiedener, vorwiegend geschlossener Itemformate, die eine hohe Auswertungsobjektivität (Rost 2004: 39) gewährleisten. Der GTP verfügt über insgesamt acht Itemtypen, die von kurzen Einzelsätzen und Lücken bis hin zu längeren Lese- und Hörtexten reichen (DemoVersion online: www.goethe.de/gtpro). Die Auswahl der Items wird durch das adaptive Testverfahren individuell an die Testperson angepasst (siehe Kapitel 3).

Bei der Bewältigung der Lese- und Höritems rezipieren die Teilnehmenden Textsorten, die verschiedene Gesprächspartnerinnen und -partner in den Fokus rücken. Im Bereich Lesen treten kurze (in-)formelle Korrespondenzen wie zum Beispiel E-Mails, SMS oder andere Kurztexte aus sozialen Netzwerken, (Stellen-)Anzeigen, Mitteilungen oder Informationsschreiben, aber auch längere Artikel zu beruflichen Themen auf. Der Teilbereich Hören beinhaltet kürzere Hörtexte, darunter (in-)formelle Gespräche am Arbeitsplatz, zum Beispiel Terminvereinbarungen oder Pausengespräche sowie Durchsagen und Ansagen. Bei längeren Hörtexten handelt es sich beispielsweise um Interviews oder Kundengespräche.

2.3 Durchführung weltweit

Der GTP wird seit 2017 an Prüfungszentren des Goethe-Instituts sowie bei Firmenkunden weltweit einheitlich durchgeführt. Um eine standardisierte Testdurchführung an allen Prüfungszentren zu garantieren, werden Durchführungsbestimmungen in der Prüfungsordnung zum GTP festgelegt, so zum Beispiel die Beaufsichtigung der Testdurchführung durch eine qualifizierte Aufsichtsperson. Die ordnungsgemäße Durchführung wird unter anderem durch regelmäßige Kontrollen der Testdurchführung sichergestellt (online: https://goethe.de/pro/relaunch/prf/de/Pruefungsordnung_GTP.pdf). Durch diese Art der standardisierten Testdurchführung, die automatisierte Auswertung und Bestimmung der Testergebnisse sowie deren Rückmeldung an die Testteilnehmenden ist das Gütekriterium der Objektivität (ALTE 2012: 57; Rost 2004: 39) für den GTP als gegeben anzusehen.

Prüfungszentren des GTP im In- und Ausland sind Goethe-Institute, Prüfungskooperationspartner und Institutionen, die vertraglich zur Durchführung berechtigt sind, unter anderen Firmenkunden (online: https://goethe.de/pro/relaunch/prf/de/Pruefungsordnung_GTP.pdf). Die Prüfungszentren mit dem höchsten GTP-Testaufkommen spiegeln sich in der Verteilung der Stichprobe in Tabelle 1 wider.

5.1 Stichprobe

Zu Beantwortung der Fragestellungen wurden die Testergebnisse von N = 5.626 Testpersonen herangezogen, welche seit April 2017 den GTP durchgeführt haben. Tabelle 1 zeigt die Verteilung der Testpersonen auf die verschiedenen Staaten, in denen der Test durchgeführt wurde. Zudem ist in Tabelle 2 die Verteilung der Testpersonen auf die GER-Niveaustufen dargestellt.

Anm.: GER = Gemeinsamer Europäischer Referenzrahmen; Vor-A1 = Niveau unter A1

5.2 Zu Fragestellung 1

Die bei der Ergebnisrückmeldung des GTP genutzte Mittelwertsbildung der beiden Teilergebnisse für die Kompetenzbereiche Lesen und Hören ist nur dann psychometrisch vertretbar, wenn die beiden Teilbereiche eine gemeinsame Skala bilden und somit als eindimensional angesehen werden können. In Bezug auf Fragestellung 1 wurden daher ein eindimensionales sowie ein zweidimensionales Modell mit den zwei korrelierten Dimensionen Lesen und Hören geschätzt und anschließend mittels Likelihood-Ratio-Test hinsichtlich ihrer Modellpassung inferenzstatistisch verglichen. Als weitere Kriterien für den Modellvergleich wurden das Akaike-Informationskriterium (Akaike Information Criterion, AIC) (Akaike 1974) sowie das Bayesianische Informationskriterium (Bayesian Information Criterion, BIC) (Schwarz 1978) genutzt.

5.3 Zu Fragestellung 2

Zur Beantwortung von Fragestellung 2 wurde die Reliabilität des GTP bestimmt. Das in dieser Studie genutzte Reliabilitätsmaß ist definiert als quadrierte Korrelation zwischen der wahren Fähigkeitsausprägung θ und der geschätzten Fähigkeit θ̂ (Kim 2012). Eine Schätzung aus empirischen Daten kann aus dem Quotienten aus der Varianz der Fähigkeitsschätzungen σ²_θ̂j und der Summe aus σ²_θ̂j und dem mittleren quadrierten Standardfehler SE²_θ̂j der individuellen Fähigkeitsschätzung θ̂_j von Person j erfolgen:

5.4 Zu Fragestellung 3

Zur Beantwortung von Fragestellung 3 wird den Empfehlungen der Standards for Educational and Psychological Testing (AERA/APA/NCME 2014) folgend der auf die Fähigkeitsausprägung bedingte Standardfehler der Fähigkeitsschätzung berechnet. Dieser gibt Aufschluss darüber, inwiefern sich die Messgenauigkeit des GTP in Abhängigkeit der Merkmalsausprägung unterscheidet, und somit auch, wie gut der Test in der Lage ist, zwischen verschiedenen Kompetenzniveaus zu differenzieren.

5.5 Zu Fragestellung 4

Als Maß für den Grad an Adaptivität des GTP wurde der Engineering Optimal Information Index (EOI) (Kingsbury/Wise 2020) genutzt. Der EOI gibt den Anteil der tatsächlich durch den Test realisierten Testinformation an der theoretisch maximal erreichbaren Testinformation auf Stufe der finalen Fähigkeitsschätzung an. Der realisierte Test wird hierbei mit einem Test auf Grundlage eines hypothetisch perfekten Itempools verglichen, bei dem den Testpersonen ausschließlich Items vorgelegt werden, die ihrem Fähigkeitsniveau exakt entsprechen. Der EOI ist ein theoretischer Wert, der den hypothetisch informativsten Test quantifiziert und ihn mit der tatsächlich beobachteten Testinformation ins Verhältnis setzt. Er hat sein Maximum bei 100 und berechnet sich für das beim GTP genutzte IRT-Modell (eindimensionales 1PL-Modell) wie folgt:

Hierbei ist IA_j die Testinformation von Person j gemäß ihrer aktuellen Fähigkeitsschätzung, K die Anzahl beantworteter Items und 0,25 die maximal erreichbare Iteminformation eines Items unter dem eindimensionalen 1PL-Modell. Um etwaige Stärken und Schwächen des EOI differenzierter in den Blick zu nehmen, wurden neben einem globalen EOI für den Gesamttest und die beiden Teilbereiche Lesen und Hören auch die jeweiligen EOIs getrennt nach GER-Niveaustufen berechnet.

Alle Analysen wurden mit der Statistiksoftware R (R Core Team 2020) unter Verwendung des R-Pakets mirt durchgeführt (Chalmers 2012).

6.1 Deskriptive Statistiken

Tabelle 3 zeigt deskriptivstatistische Ergebnisse für die Itempools für Lesen und Hören. Ein Computerisierter Adaptiver Test wie der GTP kann sich im Testverlauf nur dann optimal dem individuellen Fähigkeitsniveau der Testpersonen anpassen, wenn für alle Teilbereiche genügend Items vorhanden sind. Um dies differenziert zu betrachten, sind in den Abbildungen 1 und 2 (siehe Abschnitt 6.3) die absoluten Häufigkeiten der Items pro Schwierigkeitsbereich sowie die relativen Häufigkeiten der Personen pro Fähigkeitsbereich dargestellt. Die Ergebnisse zeigen eine breite Überlappung und damit Passung von Itemschwierigkeiten und Fähigkeiten. Eine weitergehende Optimierung der Passung kann durch die Ergänzung leichter Items für den Fähigkeitsbereich Lesen und schwieriger Items für den Fähigkeitsbereich Hören erzielt werden.

Anm.: M = Mittelwert; SD = Standardabweichung

6.2 Dimensionalität der GTP-Items

In Tabelle 4 sind die Ergebnisse des Modellvergleichs zwischen dem eindimensionalen und dem zweidimensionalen Modell dargestellt. Der Likelihood-Ratio-Test identifiziert das zweidimensionale Modell als das signifikant besser passende Modell. Auch der AIC und der BIC weisen das zweidimensionale Modell als knapp besser passend aus. Die Unterschiede in den Informationskriterien sind allerdings sehr gering. Aufgrund dieser Ergebnisse sowie der nahezu perfekten latenten Korrelation von 0,936 zwischen den Dimensionen Lesen und Hören sind somit die separate Ausweisung der beiden Dimensionen sowie die Zusammenfassung zu einer gemeinsamen Skala möglich.

Anm.: AIC = Akaike Information Criterion; BIC = Bayesian Information Criterion

6.3 Reliabilität des GTP

Die Reliabilitätskoeffizienten getrennt für die Teilbereiche Lesen und Hören sowie für den Gesamttest sind in Tabelle 5 dargestellt. Die Reliabilität des Gesamttests fällt mit einem Reliabilitätskoeffizienten von über 0,9 sehr hoch aus. Die beiden Teilbereiche Lesen und Hören weisen jeweils gute Reliabilitäten auf.

Anm.: M(θ̂) = Mittelwert der Fähigkeitsschätzungen; SD(θ̂) = Standardabweichung der Fähigkeitsschätzungen; p²_θθ̂ = Reliabilität

Abbildung 1

Absolute Häufigkeiten von Items (linke Y-Achse, helle Balken) und relative Häufigkeiten der Personenfähigkeiten (rechte Y-Achse, dunkle Balken) in Abhängigkeit der IRT-Skala θ für Lesen. Niedrige Werte auf der X-Achse bedeuten niedrige Itemschwierigkeiten sowie niedrige Fähigkeiten und hohe Werte hohe Itemschwierigkeiten sowie hohe Fähigkeiten.

Abbildung 2

Absolute Häufigkeiten von Items (linke Y-Achse, helle Balken) und relative Häufigkeiten der Personenfähigkeiten (rechte Y-Achse, dunkle Balken) in Abhängigkeit der IRT-Skala θ für Hören. Niedrige Werte auf der X-Achse bedeuten niedrige Itemschwierigkeiten sowie niedrige Fähigkeiten und hohe Werte hohe Itemschwierigkeiten sowie hohe Fähigkeiten.

6.4 Differenzierungsfähigkeit des GTP

Zur Einschätzung der Differenzierungsfähigkeit des GTP und somit zur Beantwortung von Fragestellung 3 wurden die bedingten Standardfehler für den Gesamttest sowie für die beiden Teilbereiche Lesen und Hören berechnet. Die Ergebnisse sind in Abbildung 3 dargestellt. Für den Gesamttest liegen die Standardfehler in einem sehr breiten Bereich von –3,0 bis 2,0 auf einem vergleichbar niedrigen Niveau. Das heißt, dass für alle Personen mit Fähigkeiten zwischen –3,0 und 2,0 (beim vorliegenden Datensatz 90,2 %) ähnlich präzise Testergebnisse ermittelt werden können. Die Standardfehler für die beiden Teilbereiche fallen aufgrund der kürzeren Testlängen im Vergleich zum Gesamttest erwartungsgemäß höher aus. Auch auf Ebene der Teilskalen zeigt sich, dass der Test über einen breiten Fähigkeitsbereich (–3,0 bis 1,5) in der Lage ist, die Hör- und Lesekompetenz mit vergleichbarer Messpräzision zu messen. Die geringere Anzahl von schwierigen Items im Bereich Hören spiegelt sich in höheren Standardfehlern im oberen Fähigkeitsbereich wider.

Abbildung 3

Bedingter Standardfehler (SE) der Fähigkeitsschätzungen für den Gesamttest sowie für die Teilbereiche Hören und Lesen. Die senkrechten, gestrichelten Linien stellen die Grenzwerte der GER-Niveaustufen dar.

6.5 Adaptivität des GTP

Mit einem EOI von 78,44 für den Gesamttest sowie 86,55 für den Teilbereich Lesen bzw. 82,64 für den Teilbereich Hören ist die Adaptivität des GTP als gut einzuschätzen. In Tabelle 6 sind die EOIs getrennt nach GER-Niveaustufen dargestellt. Dabei wurden unter dem A1-Niveau eingestufte Testpersonen aufgrund einer sehr kleinen Fallzahl (N = 7) nicht mit in die Analysen einbezogen. Für den Teilbereich Lesen sind die EOIs auf den GER-Niveaustufen A1 bis B2 auf einem vergleichbaren Niveau. Ab C1 nimmt der EOI deutlich ab.

Ab Niveaustufe A2 liegen die EOIs für den Teilbereich Hören unter den EOIs für Lesen. Der EOI für Hören auf der Niveaustufe C2 ist mit 24,04 als sehr niedrig einzustufen. Eine Erhöhung der Adaptivität auch in diesem Bereich kann durch die Ergänzung von schweren und sehr schweren Items für Hören erreicht werden. Der adaptive Algorithmus kann sich im oberen Fähigkeitsbereich nicht so gut an das individuelle Fähigkeitsniveau anpassen. Aus demselben Grund fällt auch der EOI für den Gesamttest für die GER-Niveaustufe C2 deutlich am niedrigsten aus.

Anm.: EOI = Engineering Optimal Information Index