Der digitale TestDaF: Aufbruch in neue Dimensionen des Sprachtestens

2.2.1 Berücksichtigung von zentralen Kompetenzen für ein Hochschulstudium

Werden Testaufgaben aus einer Bedarfsanalyse abgeleitet und sollen wesentliche Elemente der kontextuellen Sprachverwendung dabei nicht verloren gehen, muss eine genaue Analyse der kommunikativen Situation und der durch die kommunikativen Aufgaben angestoßenen kognitiven Verarbeitungsprozesse erfolgen; dies schließt die dabei verwendeten Input-Materialien ein. Die nähere Betrachtung der Verarbeitungsprozesse, die für die Bewältigung der kommunikativen Aufgaben a) bis h) (siehe 2.1) als notwendig gelten können, ergab Cluster von Kompetenzen, die für diese Prozesse relevant sind. Die Kompetenzen weisen sowohl rezeptive als auch produktive Anteile auf; sie spielen daher für die Überprüfung aller vier Fertigkeiten oder Teilkompetenzen eine erhebliche Rolle:

1. Positionen/Einstellungen anderer erkennen, wiedergeben und (gegebenenfalls eigenen) gegenüberstellen

2. persönliche Meinung und Sachargument unterscheiden

3. mündlich oder schriftlich Stellung nehmen

4. Unterschiede bzw. Übereinstimmungen erkennen und wiedergeben

5. kausale Zusammenhänge erkennen und ausdrücken

6. Grafiken erfassen und Informationen daraus versprachlichen

7. Notizen anfertigen und verarbeiten

8. Informationen aus Zusammenfassungen verarbeiten und Zusammenfassungen produzieren

Diese Liste ließe sich fortsetzen. Jedoch ist dabei zu beachten, dass die Auswahl möglichst allgemeine studienrelevante Kompetenzen erfasst, also solche, die für viele Studienfächer passen, da der TestDaF die Sprachkompetenz nicht studienfachbezogen überprüft. Grundlegend für die Auswahl ist darüber hinaus, dass Wissensvermittlung – ganz gleich, ob durch eigene Lektüre, Seminare oder Vorlesungen – in fast allen Fällen auf statistische Daten, Grafiken, Abbildungen, Fotos, Videos und ähnliche, häufig visuelle Materialien zurückgreift, um Inhalte (z. B. Theorien, Fakten, Positionen) zu veranschaulichen oder zu ergänzen (vgl. Ockey 2007: 532–533). Dabei kommt es in vielen Fällen darauf an, Textinhalte (auch auditive in Seminaren oder Vorlesungen) mit visuell präsentierten Inhalten oder anderen Texten abzugleichen, Zusammenhänge zu erkennen, Sachverhalte kurz festzuhalten und weiterzuverarbeiten. Des Weiteren bestehen wesentliche Schritte in der wissenschaftlichen Arbeit darin, Argumente, Strukturen, Positionen bzw. Einstellungen zu erkennen, um sie zum Beispiel einander gegenüberzustellen und gegebenenfalls schriftlich oder mündlich dazu Stellung nehmen zu können.

Daher wurden bei der Entwicklung der Testaufgaben visuelle Medien in die Aufgabenstellungen eingebunden. Diese Medien dienen sowohl der Veranschaulichung und dem besseren Verständnis von Fachterminologie und Sachverhalten als auch der Illustration kommunikativer Situationen, indem sie zum Beispiel Gesprächspartner und -partnerinnen, Seminarteilnehmende oder Vortragende auf Fotos zeigen (Prüfungsteile Hören und Sprechen). Sie werden somit nach Ockey (2007) sowohl inhaltsbezogen als auch kontextbezogen eingesetzt.

2.2.2 Integrierte Aufgaben

Bei den kommunikativen TestDaF-Aufgaben (Abschnitt 2.1) wird deutlich, dass bei der Bearbeitung der Aufgaben häufig ein schriftlicher oder mündlicher Text-Input rezipiert und verstanden sowie für eine eigene Äußerung weiterverarbeitet werden muss. Somit sind Kompetenzen in mehr als einer Fertigkeit angesprochen. Diesen Sachverhalt in Testaufgaben zu übertragen, bedeutet, auch fertigkeitsübergreifende Testaufgaben, sogenannte integrierte Aufgaben (integrated tasks; vgl. Plakans 2013; Knoch/Sitajalabhorn 2013), einzuführen. Dabei sind zwei Gesichtspunkte ausschlaggebend: Einerseits soll das Testkonstrukt durch die Einbindung integrierter Aufgaben erweitert und somit auch authentischer umgesetzt werden, andererseits muss sichergestellt sein, dass eine Fertigkeit durch zusätzliche unabhängige oder isolierte Testaufgaben zuverlässig und ohne Beeinträchtigung durch eine andere Fertigkeit gemessen werden kann. Aus diesem Grund besteht der überwiegende Anteil der 23 Testaufgaben im digitalen TestDaF aus Aufgaben, die vorwiegend eine Fertigkeit erfordern, und lediglich vier sind integrierte oder fertigkeitsübergreifende Aufgaben, die zwei Fertigkeiten einbinden. Aufgaben aus dem Hörverstehen, die mit Kurzantworten zu lösen sind (Notizen anfertigen), gelten noch nicht als fertigkeitsübergreifend. Vielmehr sollten nach Plakans (2013) integrierte Aufgaben einen substanziellen Input-Text und bei produktiven Aufgaben als Antwort der Prüfungskandidaten und -kandidatinnen eine umfangreichere Textproduktion aufweisen, um als integriert gelten zu können. Klare Hinweise zur Festlegung der Länge solcher Input-Texte oder der erwarteten produktiven Äußerung sind in der Forschungsliteratur allerdings noch nicht zu finden. Daher folgt die Festlegung im digitalen TestDaF den Erfahrungswerten aus den Erprobungen.

2.2.3 Anforderungen an die Testaufgaben

Bei einer derart umfangreichen Formatrevision wie im vorliegenden Fall spielt nicht nur die Anpassung bzw. Optimierung des Testkonstrukts eine Rolle. Vielmehr kommen auch psychometrische Überlegungen und Erfordernisse einer digitalen Testdarbietung ins Spiel. Im Sinne einer Konstrukterweiterung sollten in die Prüfungsteile Lesen, Hören und Schreiben des digitalen TestDaF mehr Aufgabentypen als im papierbasierten Format aufgenommen werden. Des Weiteren sollte in den neuen Prüfungsteilen Lesen und Hören die Gesamtzahl der Items zwar weitgehend gleichbleiben, die Anzahl der Items pro Lese- oder Hörtext jedoch reduziert werden. Dies dient einer besseren Kombinationsmöglichkeit der einzelnen Items im jeweiligen Prüfungsteil.

Bei der Formatentwicklung wurden Aufgabenformate, die eine Auswertung mit möglichst hoher Reliabilität ermöglichen, bevorzugt. Dennoch wurden Kurzantworten (im Hören) und offene Formate (im Schreiben und Sprechen) im Sinne einer möglichst weitgehenden Abbildung von sprachlichen Anforderungen im Studium beibehalten. Im Hinblick auf die Testökonomie war der Aufwand für die Erstellung einer Testaufgabe in ein akzeptables Verhältnis zur Anzahl der Items und somit zum Anteil am Testergebnis zu bringen.

2.2.4 Erprobungen von Aufgabentypen (Try-Outs)

Erste Aufgabentypen, die die kommunikativen Aufgaben und zentralen Kompetenzen (vgl. 2.1 und 2.2) so weit als möglich berücksichtigten, wurden in der Planungs- und Designphase mit kleinen Gruppen der Zielpopulation von 20 bis 60 Personen in Deutschland erprobt, ausgewertet und revidiert. Von 2012 bis 2016 wurden vier Try-Outs mit insgesamt 534 Probanden und Probandinnen durchgeführt. Der lange Zeitraum geht unter anderem darauf zurück, dass die Software zur Darbietung der schrittweise veränderten neuen Aufgabentypen stetig weiterentwickelt werden musste.

Folgende Kriterien wurden bei der Analyse der Try-Out-Ergebnisse und der Entscheidung über eine Revision der Aufgaben zugrunde gelegt:

1. Beantwortung der Items/Aufgaben mit den intendierten Lösungen bzw. Texten

2. Angemessenes Schwierigkeitsniveau der Items/Aufgaben

3. Psychometrische Qualität der Items/Aufgaben

4. GER-Niveau der Probandengruppe (Einsatz des onSET als Ankertest)

5. Verständlichkeit und Handhabbarkeit der Aufgabendarstellung auf dem Bildschirm

Als weiteres Kriterium für die Eignung einer Aufgabe wurden Ergebnisse der Online-Befragungen der Probanden und Probandinnen herangezogen. Diese gaben insbesondere Aufschluss über wahrgenommene Bearbeitungszeiten, Verständlichkeit der Anleitungen, kognitive Belastung und Benutzerfreundlichkeit (vgl. 2.4.2).

2.3.1 Festlegung des Testformats

Eine der Voraussetzungen für den Aufbau einer Itembank ist, dass das Testformat feststeht, bevor mit der Aufgabenproduktion in größerem Umfang begonnen wird. Dazu gehören Erprobungen mit einem größeren Sample an internationalen Probanden und Probandinnen und entsprechende psychometrische Analysen. Dementsprechend wurden die Aufgabentypen, die in den Try-Outs bei den qualitativen und quantitativen Auswertungen gut abgeschnitten hatten, zu den vier Prüfungsteilen Lesen, Hören, Schreiben und Sprechen zusammengestellt und umfassend erprobt. Die erste Erprobung (Field-Test 1) fand 2017 mit 247 Teilnehmenden an den Testzentren von g.a.s.t. statt. Die psychometrischen Analysen ergaben zufriedenstellende Ergebnisse. Ausgehend von der empirisch ermittelten Qualität der Aufgabentypen und Items wurden zur Validierung des Testformats in den vier Prüfungsteilen zusätzlich Gutachten von vier ausgewiesenen Experten und Expertinnen der Sprachtestforschung eingeholt (vgl. 2.4.2). Diese erste Testversion wurde vor Einführung des digitalen TestDaF als Demo-Version bzw. Modelltest auf der Webseite des TestDaF-Instituts (www.testdaf.de) veröffentlicht.

2.3.2 Field-Tests

Das begutachtete Testformat aus Field-Test 1 wurde nach geringfügigen Anpassungen als Grundlage für alle weiteren Field-Tests festgelegt. Es wurden Aufgaben nach diesem Format für den sukzessiven Aufbau der Itembank fortlaufend entwickelt und erprobt. Von 2018 bis Ende 2020 wurden auf diese Weise sechs Field-Tests mit insgesamt 2 924 Probanden bzw. Probandinnen und circa 250 Probanden bzw. Probandinnen pro Testsatz in den Testzentren von g.a.s.t. durchgeführt. Ziel der Erprobungen ist es, mithilfe einer gut ausgestatteten Itembank Testsätze automatisiert generieren und Testzentren Prüfungstermine bedarfsgerecht (on demand) anbieten zu können. Zu diesem Zweck werden während der Prüfungen zusätzlich sogenannte Einstreuaufgaben eingesetzt. Diese Aufgaben sind von den Prüfungsteilnehmenden zusammen mit dem eigentlich für die Prüfung vorgesehenen Testmaterial zu bearbeiten. Einstreuaufgaben werden psychometrisch analysiert, bleiben jedoch von der Ergebnisermittlung ausgeschlossen (siehe auch Abschnitt 4.1).

2.4.1 Quantitative Analysen

Quantitative Methoden wie Itemanalysen nach der klassischen Testtheorie und Rasch-Analysen dienten der Absicherung der Item- und Aufgabenqualität. Auch die Eignung der neu entwickelten Beurteilungsskalen für die Prüfungsteile Schreiben und Sprechen und die Leistung der Beurteilenden selbst wurden mithilfe psychometrischer Analysen, insbesondere Multifacetten-Rasch-Analysen (Eckes 2015 a; Eckes/Jin 2021), evaluiert.

Darüber hinaus wurde eine erste Studie mit Teilnehmenden an Erprobungen des digitalen TestDaF durchgeführt, die zeitnah auch den papierbasierten TestDaF abgelegt hatten. Gegenstand der Studie war der Vergleich der Ergebnisse, die diese Probandengruppe in beiden Testformaten erreicht hatten. Dabei ist zu beachten, dass der digitale TestDaF keine bloße Übertragung des papierbasierten Tests in ein Online-Format darstellt. Wie zu Beginn dieses Beitrags erläutert, wurde für die Entwicklung des digitalen TestDaF das Ziel gesetzt, die aktuellen sprachlichen Anforderungen und charakteristischen kommunikativen Aufgaben eines Hochschulstudiums so authentisch wie möglich abzubilden. Dies führte zu einer deutlich erweiterten Operationalisierung des Testkonstrukts.

In der Forschung zur Vergleichbarkeit bzw. Äquivalenz papierbasierter und digitaler Testversionen werden üblicherweise drei methodische Zugänge verfolgt: (a) Score-Äquivalenz, (b) kognitive Äquivalenz (oder Konstrukt-Äquivalenz) und (c) psychometrische Äquivalenz (Chan/Bax/Weir 2018; Dadey/Lyons/DePascale 2018).

Bei der Score-Äquivalenz geht es um die Frage, ob Teilnehmende, die beim papierbasierten TestDaF gut (oder schlecht) abgeschnitten haben, ähnlich gut (oder schlecht) beim digitalen TestDaF abschneiden. Auswertungen von Daten aus einem Field-Test und drei papierbasierten TestDaF-Prüfungen sprechen dafür, dass dies der Fall ist. Die (durchweg positiven) Korrelationen erwiesen sich in allen vier Prüfungsteilen trotz relativ niedriger Fallzahlen (durchschnittlich 59.7 Teilnehmende) bis auf wenige Ausnahmen als statistisch hochsignifikant; die Werte bewegten sich in der Mehrzahl der Korrelationen zwischen .50 und .70.

Kognitive Äquivalenz bezieht sich auf die Frage nach den kognitiven Prozessen (Sprachverarbeitungsprozessen), die mit der Aufgabenbearbeitung einhergehen. Quantitative und qualitative Studien (s. Abschnitt 2.4.1 und 2.4.2) belegen, dass die beim papierbasierten TestDaF intendierten kognitiven Prozesse auch beim digitalen TestDaF angestoßen werden. Verarbeitungsprozesse für die kompetenzübergreifenden, integrierten Aufgaben des digitalen TestDaF gehen allerdings darüber hinaus.

Psychometrische Äquivalenz betrifft die Vergleichbarkeit hinsichtlich Messgenauigkeit (Reliabilität), Validität und Fairness. Reliabilitätswerte der digitalen Prüfungsteile um .80 oder deutlich darüber verweisen auf eine mindestens so hohe Genauigkeit wie beim papierbasierten TestDaF. Bislang vorliegende Analysen zur Validität (z. B. Funktionalität der neu entwickelten Aufgabenformate und Beurteilungsverfahren) sowie Fairness (Beurteilungseffekte) sprechen für eine hohe Messqualität auch beim digitalen TestDaF (Eckes/Jin 2021). Mit steigenden Zahlen von Teilnehmenden an digitalen TestDaF-Prüfungen wird es künftig darum gehen, die breitere Datenbasis für weitere, eingehende Analysen zur Frage der Vergleichbarkeit zu nutzen.

2.4.2 Qualitative Analysen

Qualitative Methoden in Form von Gutachten, Befragungen und retrospektiven Interviews wurden für die Überprüfung spezifischer Aspekte des Testkonstrukts verwendet (z. B. Authentizität der Aufgaben im Hörverstehen, Schwierigkeiten bei der Bearbeitung der integrierten Aufgaben).

Die Eignung des Testkonstrukts und dessen Operationalisierung in Form der Aufgaben wurden von vier internationalen Experten und Expertinnen der Sprachtestforschung begutachtet: Prof. Ute Knoch (Universität Melbourne), Peter Lenz (Universität Fribourg), Prof. Henning Rossa (Universität Trier) und Dr. Carol Spöttl (Universität Innsbruck); dabei waren der intendierte Verwendungszweck der Prüfung und ihr digitaler Einsatz zu berücksichtigen.

Gegenstand der Gutachten waren folgende Fragestellungen:

1. Sind die Aufgabentypen geeignet, um das in den Testspezifikationen dargestellte Testkonstrukt zu überprüfen?

2. Ist das Konstrukt durch das Aufgabenmaterial in dem jeweiligen Prüfungsteil ausreichend abgedeckt?

3. Sind die Aufgaben klar und verständlich dargestellt, auch hinsichtlich der Präsentation auf dem Bildschirm? Könnte sich durch die Art der Darstellung eine Verzerrung der intendierten Messung ergeben?

4. Erscheint das Schwierigkeitsniveau der Aufgaben angemessen im Hinblick auf die sprachlichen Anforderungen an der Hochschule und die angestrebten GER-Niveaus B2 und C1?

5. Sind die Bearbeitungszeiten für die einzelnen Aufgaben im Hinblick auf die Sprachkompetenzen der Zielgruppe angemessen?

In den Gutachten wurde das Format des digitalen TestDaF aus dem ersten Field-Test als geeignet angesehen, den Nachweis der deutschen Sprachkenntnisse für die Studienzulassung erbringen zu können. Anregungen der Gutachter und Gutachterinnen zur Optimierung der Darstellung auf dem Bildschirm (vgl. 3.4) oder zur Formulierung von Aufgaben wurden so weit wie möglich umgesetzt.

Ergänzend zu den Gutachten wurde die subjektive Einschätzung von Teilnehmenden an den Erprobungen mithilfe von Online-Befragungen direkt nach der Prüfungsdurchführung erhoben. Folgende Aspekte des Konstrukts wurden thematisiert: Bezug der Aufgaben zum Studium, Aufgabenschwierigkeit und Bearbeitungszeit der Aufgaben, Hörtexte und Hörfrequenz, Verständlichkeit der Anleitungen, kognitive Belastung und Vertrautheit mit dem Computer sowie Benutzerfreundlichkeit der digitalen Testumgebung. Die Befragungen ergaben erwartungsgemäß Hinweise auf Probleme bei der Verwendung der deutschen Tastatur und beim Tippen. Sie wurden für die Konzeption von Vorbereitungsmaterialien aufgegriffen (siehe Depner/Peters in diesem Band). Weitere Angaben in den Umfragen führten dazu, dass kurze Pausen zwischen den einzelnen Aufgaben in jedem Prüfungsteil eingeführt wurden, um die kognitive Belastung zu reduzieren.

Spezifische Fragestellungen wie die kognitiven Anforderungen durch den Einsatz von Videos (Prüfungsteil Hören) bzw. durch integrierte Aufgabentypen (Prüfungsteil Schreiben) wurden mithilfe von Eye-Tracking untersucht. Dazu wurden die Augenbewegungen der Probanden bzw. Probandinnen bei der Bearbeitung der Aufgaben im Hören und Schreiben festgehalten; zusätzlich haben die Teilnehmenden das eigene Vorgehen in einem retrospektiven Interview kommentiert (vgl. Kecker/Zimmermann/Eckes 2022: 400–401; Zimmermann 2020 a; 2020b).

3.2.1 Prüfungsteil Lesen

Das Konstrukt der Lesekompetenz wird vom Sprachmodell kommunikativer Kompetenz im GER (vgl. 3.1 zu Mediation) und von kognitiven Prozessen bestimmt, die von hochschulbezogenen Leseabsichten typischerweise hervorgerufen werden. Zu diesen gehören die folgenden: Informationen identifizieren und verstehen, Textverständnis entwickeln, von Texten lernen, Informationen zusammenführen. Ausgehend von den Leseabsichten und den zugrundeliegenden Verarbeitungsprozessen wird in der Prüfung evaluiert, ob Studienbewerber und -bewerberinnen die Struktur eines Textes erfassen und die Hauptideen (explizit/implizit) erkennen können. Es wird überprüft, ob zukünftige Studierende bei der Lektüre kausale Bezüge (z. B. Forderung und Argument, Ursache und Folge; vgl. Tabelle 2, Aufgabentyp 5 und 6) erkennen und Zusammenhänge herstellen können. Sie müssen Informationen sowie Inhalte aus verschiedenen Quellen (Texte und Grafik) zu einem Thema abgleichen, zusammenführen und inhaltliche Abweichungen erkennen können (vgl. Tabelle 2, Aufgabentyp 7). Darüber hinaus werden als Voraussetzung für diese weiterführende Lesekompetenz grundlegende linguistische und pragmatische Kenntnisse erfasst, die für eine erfolgreiche Bewältigung der studienbezogenen Kommunikationsaufgaben notwendig sind. Zu diesen Grundlagen gehören rezeptive und produktive Wortschatzkenntnisse, pragmatische Textkompetenzen (z. B. Einstellungen, Haltungen erkennen) sowie ein detailliertes Sprachverstehen (vgl. Tabelle 2, Aufgabentypen 1, 2 und 4).

Die in der Prüfung verwendeten Textausschnitte stammen aus journalistischen Texten zu wissenschaftlichen Themen oder aus wissenschaftlichen Texten, die einführenden Charakter haben bzw. für Nicht-Spezialisten konzipiert wurden, zum Beispiel Wissenschaftsmagazine, Lehrbücher für Studienanfänger und -anfängerinnen und Forschungsberichte. Die Texte weisen eine beschreibende, erklärende oder argumentative Diskursart auf und unterscheiden sich im Grad der Abstraktheit und Informationsdichte.

3.2.2 Prüfungsteil Hören

Die Sprachkompetenz im Hörverstehen wird (mehr als im Leseverstehen) wesentlich von den Kommunikationssituationen in den Lehrveranstaltungen und von digitalen Medien bestimmt, die häufig zur Unterstützung eingesetzt werden. So unterscheidet sich das Hörverstehen in Vorlesungen, Vorträgen oder Seminaren, die mithilfe von Präsentationstools veranschaulicht werden können, von dem Hörverstehen in Sprechstunden, Diskussionen unter Studierenden – etwa in Arbeitsgruppen – oder in Alltagsgesprächen auf dem Campus. Daher werden im digitalen TestDaF möglichst viele dieser Hör- oder Gesprächssituationen abgebildet, um zu überprüfen, ob die Sprachkompetenz der Studienbewerber und -bewerberinnen diesen Anforderungen genügt. Dazu gehört auch, dass beispielsweise in Diskussionen oder Vorlesungen Notizen angefertigt werden müssen, um kausale Verbindungen anzugeben oder Kerninformationen festzuhalten (siehe Tabelle 3, Aufgabentyp 2 und 5).

Eine Besonderheit stellt Aufgabentyp 3 dar, der einzige mit fertigkeitsübergreifendem Format in diesem Prüfungsteil, bei dem die Prüfungsteilnehmenden die schriftliche Zusammenfassung eines gehörten Vortrags lesen und fehlerhafte Informationen darin identifizieren müssen. Damit die Zusammenfassung nicht beim Hören des Vortrags mitgelesen wird, erscheint sie erst im Anschluss an den Hörtext auf dem Bildschirm. Dies bedeutet, dass die Prüfungsteilnehmenden die inhaltlichen Fehler in der Zusammenfassung ausschließlich auf der Grundlage ihres Textverständnisses und/oder ihrer Notizen identifizieren können. Die Teilnehmenden müssen zu diesem Zweck eine mentale Repräsentation des Textes erarbeiten. Im Gegensatz zu den anderen Aufgabentypen wird das Hörverstehen hier nicht durch Items in Form von Fragen oder Aussagen bzw. bei halboffenen Formaten durch Gliederungspunkte für die eigenen Notizen unterstützt (vgl. Field 2012; Song 2012).

In zwei Aufgabentypen (4 und 5) sind Videos eingebunden, die den Kontext (in Aufgabe 4 die in einer Diskussion agierenden Personen) bzw. zusätzlich den Inhalt des Hörtextes veranschaulichen (in Aufgabe 5 durch Präsentationsfolien zum Thema einer Vorlesung).

Die Hörtexte werden im Prüfungsteil Hören in allen sieben Aufgabentypen einmal gehört. Ein bis vier Sprecher bzw. Sprecherinnen kommen in den Hörtexten vor.

In den Aufgabentypen werden verschiedene Hörabsichten operationalisiert, die einer Progression folgen: Selektives Verstehen, Detailverstehen und Globalverstehen gehören genau wie phonetische Dekodierungsprozesse zu den grundlegenden Anforderungen. Implizite Bedeutungen verstehen, eine mentale Repräsentation eines Textes erarbeiten oder die Analyse und Synthese von Informationen aus verschiedenen Quellen zu den anspruchsvolleren.

Phonetische Dekodierungsprozesse werden im digitalen TestDaF überprüft, obwohl diese zum Hörverstehensprozess allgemein gehören und keine Besonderheit des Hörverstehens im akademischen Kontext darstellen. Da diese Prozesse jedoch die weitere Informationsverarbeitung und die Erschließung der Lexik und Semantik sowie darauf aufbauende Schlussfolgerungen erst ermöglichen und somit wichtige Informationen über die Kompetenz im Hörverstehen liefern, werden sie im Aufgabentyp 7 (siehe Tabelle 3) explizit erfasst.

3.2.3 Prüfungsteil Schreiben

Hier geht es darum zu überprüfen, ob Studienbewerber und -bewerberinnen vorgegebene, gesellschaftlich relevante Themen oder Fragestellungen schriftlich bearbeiten und sich dazu zusammenhängend und klar strukturiert äußern können. Dabei nutzen sie unterschiedliches Quellenmaterial und verfolgen wie im Studium unterschiedliche Ziele beim Schreiben: die Gliederung und logische Struktur der eigenen Texte festlegen; eigene Ideen und eine eigene Position adressatengerecht schriftlich formulieren, aber auch fremde Meinungen und Gedanken in eigenen Texten adäquat wiedergeben; Informationen aus verschiedenen Quellen (Text, Grafik) für den Text nutzen und dazu Übereinstimmungen sowie Unterschiede erkennen; Informationen aus verschiedenen Quellen im Hinblick auf eine Fragestellung zusammenfassen. Diese Schreibkompetenz wird in dem Prüfungsteil mithilfe von zwei Schreibaufgaben überprüft, einer isolierten und einer integrierten (vgl. Tab. 4). Die in den beiden Schreibaufgaben zu behandelnden Fragestellungen umfassen Themen aus Bildungs- und Gesellschaftspolitik sowie geistes-, umwelt- und naturwissenschaftliche Themen.

Die kommunikative Einbettung der zwei Schreibaufgaben erleichtert den Prüfungs­teilnehmenden die Zuordnung zum akademischen Kontext und erhöht die Authentizität. In der isolierten Schreibaufgabe 1 geht es darum, einen argumentativen Text zu einem bildungs- oder gesellschaftspolitischen Thema zu verfassen, der auf einer Lernplattform an der Hochschule eingestellt wird. In die Themenstellung können auch sehr kurze Statements eingebunden werden, die bei der Bearbeitung berücksichtigt werden müssen, dennoch bleibt das Input-Material sehr reduziert, damit Planung und Strukturierung gänzlich als Leistung der Teilnehmenden angesehen werden können.

Die integrierte Schreibaufgabe 2 ist in einem Seminar angesiedelt, für das eine Hausarbeit angefertigt werden muss. Die Aufgabenstellung sieht vor, dass dafür ein Textabschnitt produziert werden soll, der die wichtigsten Informationen aus einem Lesetext und einer Grafik im Hinblick auf das Thema und die Fragestellung zusammenfasst. Lesetext und Grafik können sich inhaltlich zu dem angegebenen Thema ergänzen oder alternativ redundante oder auch gegensätzliche Informationen enthalten. Eine solche Verarbeitung in eigenen Worten – im Hinblick auf ein bestimmtes Erkenntnisinteresse – ist ein wichtiger Schritt im Verarbeitungsprozess von Informationen wie er im Hochschulkontext üblich ist. Er erfordert das Verständnis und den Abgleich der beiden Quellen, das Erfassen der kausalen Zusammenhänge und die Fähigkeit, die Inhalte eigenständig zu formulieren.

3.2.4 Prüfungsteil Sprechen

Studienanfänger und -anfängerinnen müssen ihre Sprachkompetenz im Sprechen und im mündlichen Ausdruck in einer Vielzahl von Kommunikationssituationen an der Hochschule unter Beweis stellen. Diese Situationen variieren nach Sprechhandlung (z. B. Vorteile/Nachteile abwägen, widersprechen, Kritik formulieren) und anderen situativen Merkmalen wie zum Beispiel Anzahl, Status und Rolle der Gesprächsteilnehmer und -teilnehmerinnen. Des Weiteren spielen für eine erfolgreiche Kommunikation Kompetenzen eine Rolle, die über einzelne Sprechhandlungen hinausgehen: Studierende müssen schriftliche oder mündliche Beiträge anderer adäquat mündlich zusammenfassen, den eigenen Standpunkt dazu formulieren und sachliche Argumentation von persönlicher Meinung unterscheiden können. Sie müssen Informationen aus verschiedenen Quellen schnell erfassen, gegebenenfalls Abweichungen erkennen und versprachlichen. Diese Facetten der Sprechkompetenz abzubilden, erfordert eine größere Anzahl von Aufgabentypen, damit eine möglichst große Bandbreite der genannten Kompetenzen erfasst werden kann. Im Prüfungsteil Sprechen des digitalen TestDaF wird die Sprechkompetenz daher mithilfe von sieben Aufgabentypen überprüft, von denen jeder eine andere Sprechhandlung fokussiert und situative Merkmale berücksichtigt, wie zum Beispiel die Zahl der Gesprächsteilnehmenden (Einzelperson vs. Seminargruppe), die Rollen und Beziehungen der Gesprächsteilnehmenden zum/zur Prüfungsteilnehmenden (Freunde bzw. Freundinnen, Diskussionsteilnehmende; vertraut, unbekannt), die Themen (Studienalltag, Inhalte aus Vorlesungen) sowie das Setting (Lehrräume, Lernorte, Service-Einrichtungen der Hochschule). Die Aufgaben beinhalten überwiegend Themen aus Geistes- und Gesellschaftswissenschaften, Wirtschaftswissenschaften, Humanwissenschaften/Medizin oder Themen aus Hochschule und Forschung allgemein.

Von den sieben Aufgabentypen sind fünf isolierte, die das Sprechen möglichst als einzige Fertigkeit erfassen, und zwei integrierte, die zusätzlich eine andere Fertigkeit berücksichtigen (siehe Tabelle 5). In den isolierten Aufgabentypen wird das Input-Material eher kurz gehalten; in den zwei integrierten Aufgabentypen werden dagegen zwei längere Texte verwendet: ein schriftlicher Text, der mündlich zusammengefasst werden muss (Aufgabentyp 3), und ein längerer mündlicher Beitrag eines/einer Seminarteilnehmenden, zu dem mündlich Stellung zu nehmen ist (Aufgabentyp 6). Die integrierten Aufgabentypen erhöhen die Authentizität der Testaufgaben, da sie durch die Einbindung von einem schriftlichen oder mündlichen Textinput kognitive Anforderungen abbilden, die im wissenschaftlichen Diskurs häufig vorkommen.

Die Sprachkompetenz im Prüfungsteil Sprechen wird auch im digitalen TestDaF im semidirekten Format als adaptierte Form des Simulated Oral Proficiency Interviews (SOPI) überprüft (vgl. Kenyon 2000; Kecker 2011). Das bereits im papierbasierten TestDaF eingesetzte Format hat sich bewährt und wurde hinsichtlich der Durchführung für den digitalen TestDaF insofern verändert, als die Testaufgaben nicht mehr in einem Testheft, sondern auf dem Bildschirm abgebildet werden. Darüber hinaus müssen Testzentren und Teilnehmende keine zusätzliche Software für die Aufnahme ihrer Äußerungen bedienen, denn Antworten werden automatisch aufgenommen und gespeichert. Somit können sich Teilnehmende ausschließlich auf die Bearbeitung der Aufgaben konzentrieren.

3.3.1 Leistungsbewertung

Die Antworten und Leistungen der Prüfungsteilnehmenden werden in den vier Prüfungsteilen separat ausgewertet. Im Lesen und Hören wird pro Prüfungsteil mithilfe der hinterlegten Lösungsschlüssel automatisiert anhand der richtig gelösten Items ein Gesamtpunktwert ermittelt (1 Punkt pro richtige Antwort). Im Prüfungsteil Hören werden für die drei Aufgabentypen mit Kurzantworten (Aufgabentyp 1, 2 und 5) zuvor geschulte und zertifizierte Beurteiler und Beurteilerinnen eingesetzt, die die Antworten nach Vorgaben als richtig oder falsch codieren. Dabei werden vor Beginn der Bewertungsphase eindeutig richtige oder falsche Antworten aus dem Pool der zu bewertenden Antworten herausgefiltert und automatisch bewertet. Derzeit wird geprüft, inwieweit die Bewertung durch Beurteiler und Beurteilerinnen noch weitergehend automatisiert unterstützt werden kann. Erste Untersuchungen dazu wurden in Kooperation mit dem Language Technology Lab der Universität Duisburg/Essen (Prof. Torsten Zesch, Dr. Andrea Horbach, Dr. Ronja Laarmann-Quante) durchgeführt.

In den Prüfungsteilen Schreiben und Sprechen werden die in der Datenbank gespeicherten schriftlichen Texte oder mündlichen Äußerungen der Teilnehmenden ebenfalls von geschulten und zertifizierten Beurteilenden ausgewertet. Die Leistungen zu jeder einzelnen Aufgabe werden in beiden Prüfungsteilen auf sechsstufigen holistischen Beurteilungsskalen mit 0 bis 5 Punkten bewertet. In beiden Prüfungsteilen werden die für jede Aufgabe vergebenen Punkte zu einem Gesamtpunktwert pro Prüfungsteil addiert.

Die Beurteilungsskalen wurden für diesen Zweck im Laufe der Entwicklungsphase des digitalen TestDaF in Zusammenarbeit mit Experten und Expertinnen aus der Sprachtestforschung, erfahrenen TestDaF-Beurteilenden und DaF-Lehrkräften neu konzipiert und in den Field-Tests erprobt (Zimmermann/Marks 2018). In den Skalen wurden die spezifischen Merkmale der jeweiligen Aufgabenstellung im Schreiben und Sprechen berücksichtigt. Dies gilt insbesondere für die Beurteilung der integrierten oder kompetenzübergreifenden Aufgabentypen, bei denen der Textinput in den Beurteilungskriterien beachtet werden muss (vgl. Kecker/Zimmermann/Eckes 2022: 402–403).

3.3.2 Ergebnisermittlung

Bei der Ermittlung der Testergebnisse gilt es zunächst zu berücksichtigen, dass die in den vier Prüfungsteilen jeweils erreichbaren Punktzahlen (die beobachteten Werte) abhängig von der Anzahl der Items bzw. Aufgaben variieren. In den rezeptiven Prüfungsteilen bestimmen sich die Punktzahlen als Anzahl der korrekt beantworteten Items; im Lesen sind dies maximal 34 Punkte, im Hören maximal 30 Punkte. In den produktiven Prüfungsteilen ergeben sich die Punktzahlen als Summe der Einzelbewertungen; im Schreiben sind maximal 10 Punkte, im Sprechen maximal 30 Punkte erreichbar. Hinzu kommt, dass auch bei einem Höchstmaß an Standardisierung der Aufgabenerstellung zwei Testsätze eines Prüfungsteils unterschiedlich schwer sein können. Ist zum Beispiel im Lesen ein Testsatz A etwas leichter als ein Testsatz B, so würde (unter sonst gleichen Bedingungen) eine Punktzahl von 21 im Testsatz A einer geringeren Leistung entsprechen als dieselbe Punktzahl in Testsatz B. Punktzahlen sind demnach stets an einen bestimmten Testsatz gebunden und nicht direkt zwischen Testsätzen desselben Prüfungsteils vergleichbar.

Um format- und schwierigkeitsbedingte Unterschiede zwischen Prüfungsteilen bzw. Testsätzen auszugleichen, werden beim digitalen TestDaF die erreichten Punktzahlen je Prüfungsteil in Werte einer einheitlichen 20-Punkte-Skala überführt (Kolen/Brennan 2014). Die Werte auf dieser Skala, die so genannten skalierten Werte, sind das Ergebnis psychometrischer Analysen auf der Grundlage von Rasch-Modellen (Bond/Yan/Heene 2020; Eckes 2015a). Im Lesen und Hören kommt das dichotome Rasch-Modell, im Schreiben und Sprechen das Multifacetten-Rasch-Modell zum Einsatz. Die Analysen liefern für alle Teilnehmenden Schätzungen ihres Sprachstands in den vier Teilkompetenzen, ausgedrückt in Einheiten der Logitskala. Die Logitwerte werden schließlich in geeigneter Weise linear transformiert, sodass in jedem Prüfungsteil skalierte Werte zwischen 0 und 20 resultieren. Der Schwierigkeitsausgleich zwischen Testsätzen eines Prüfungsteils erfolgt nach gängigen Verfahren der Rasch-basierten Testangleichung (test equating).

Als Ergebnis von Skalierung und Testangleichung sind die skalierten Werte unabhängig vom Prüfungsteil und von dessen Schwierigkeit gültig. Die skalierten Werte besitzen im Unterschied zu den beobachteten Werten die Eigenschaft der Vergleichbarkeit; sie sind in gleicher Weise hinsichtlich des jeweils erreichten Sprachstands interpretierbar.

Neben den TestDaF-Niveaus weist das TestDaF-Zertifikat für jeden Prüfungsteil die skalierten Werte aus. Weiter ist ein Gesamtwert zwischen 0 und 80 aufgeführt, welcher sich als Summe der vier skalierten Werte berechnet. Anhand dieser Informationen können zulassende Stellen zum Beispiel erkennen, ob Prüfungsteilnehmende ein TestDaF-Niveau nur knapp erreicht oder das nächsthöhere Niveau nur knapp verfehlt haben. Sie können darüber hinaus Zulassungsentscheidungen vom Erreichen einer Mindestanzahl von skalierten Werten (Mindestgesamtwert) abhängig machen (Eckes/Althaus 2020).

3.3.3 Monitoring und Qualitätssicherung der Beurteilung

Die Qualitätssicherung in der Beurteilung von Teilnehmendenleistungen im TestDaF basiert auf drei Komponenten: Der Qualifizierung und Zertifizierung der aktiven Beurteilenden in umfassenden Schulungsmaßnahmen, der Verlinkung der an der Beurteilung in einem Prüfungsteil Beteiligten und dem regelmäßigen Monitoring ihrer Beurteilungsleistung.

Alle für die Beurteilung im TestDaF zugelassenen Personen müssen zuvor für den ausgewählten Prüfungsteil (Hören, Schreiben oder Sprechen) ein eintägiges Schulungs­programm absolvieren und zusätzlich ihre Kompetenz durch eine Probebeurteilung unter Beweis stellen. Sofern sie diese Qualifizierungsmaßnahmen erfolgreich bewältigt haben, werden sie vom TestDaF-Institut für einen Zeitraum von zwei Jahren zertifiziert und müssen nach Ablauf dieser Zeit erneut an einem Training zur Erneuerung ihres Zertifikats teilnehmen. Voraussetzung für die Beurteilung von TestDaF-Leistungen sind zudem ein abgeschlossenes einschlägiges Hochschulstudium und Unterrichtserfahrung.

Die Beurteilung der Prüfungsleistungen werden in den Prüfungsteilen Hören, Schreiben und Sprechen den an einem Prüfungsereignis beteiligten Beurteilenden online über ein Portal zur Verfügung gestellt. Die Verteilung der Prüfungsleistungen erfolgt in allen drei Prüfungsteilen geordnet nach Aufgabentypen und nicht nach Teilnehmenden. Dies bedeutet, dass mehrere Beurteilende an der Beurteilung der Gesamtleistung eines/einer Teilnehmenden in einem Prüfungsteil beteiligt sind. Im Prüfungsteil Hören sind dafür drei Aufgabentypen (Aufgabentyp 1, 2 und 5) zu bewerten, im Schreiben zwei und im Sprechen sechs (die erste Aufgabe wird zum Warming-up eingesetzt und nicht bewertet). Hinzu kommen gegebenenfalls die Einstreuaufgaben (siehe Abschnitt 4.1). Alle Beurteilenden erhalten in ihrem Portal automatisiert zusammengestellte virtuelle Beurteilungspakete, in denen Leistungen zu allen Aufgaben des von ihnen bearbeiteten Prüfungsteils enthalten sind.

In den Prüfungsteilen Schreiben und Sprechen werden die Beurteilenden in dem von ihnen bearbeiteten Prüfungsteil durch die Verteilung der Leistungen nach den Testaufgaben und durch den Einsatz mehrerer Beurteilender für die Gesamtleistung eines Teilnehmenden in diesem Prüfungsteil miteinander verlinkt. Diese Verteilung hat den Vorteil, dass Beurteilungseffekte (Halo- und Kontexteffekte) minimiert werden, die durch die festgelegte Reihenfolge der Aufgaben entstehen können. Ferner kann die individuelle Beurteilungsqualität durch eingestreute, bereits beurteilte Leistungen regelmäßig überprüft werden. Durch die systematische Verlinkung von Beurteilenden und Teilnehmenden kann die Beurteilungsqualität aller an den Beurteilungen beteiligten Personen in einem gemeinsamen Bezugsrahmen untersucht werden.

Im Prüfungsteil Hören werden für die Leistungen bei den Aufgabentypen 1, 2 und 5 je unterschiedliche Bewertende eingesetzt. Damit wird die Gesamtleistung eines Teilnehmenden auch im Hören immer von mehr als einer Person bewertet. Die Qualität der Bewertungen wird durch Stichproben von Mitarbeitern und Mitarbeiterinnen des TestDaF-Instituts überprüft.