Erfassung von Sprachkompetenzen im Deutschen von Schülerinnen und Schülern mittels C-Tests im Arbeitsfeld Sprach-bildung: Fragen der Validität revisited

1 Einleitung

Der C-Test ist ein Verfahren, das zur Erfassung von allgemeinen Fremdsprachenkenntnissen erwachsener Lernender im Hochschulkontext fest etabliert ist und dort intensiv angewendet und erforscht wurde (für einen aktuellen Überblick Grotjahn 2019). Als short cut measure wird das Testprinzip vornehmlich für Einstufungsentscheidungen in Sprachkurse, für ein schnelles Screening vor dem Einsatz aufwendigerer Sprachtestverfahren oder für die Erhebung des Sprachstandes in (Fremd-)Sprachenerwerbsuntersuchungen vor allem mit jungen Erwachsenen genutzt. Für den besagten Kontext, dort adressierte Zielgruppen und Testzwecke besitzt das Verfahren nachweislich eine hohe teststatistische Güte (Validität und Reliabilität) sowie Durchführungs- und Auswertungsökonomie (einen Studienüberblick bietet die C-Test-Bibliografie von Grotjahn/Drackert 2020). Aufgrund dieser Qualitätsmerkmale hat das Verfahren auch Eingang in andere Anwendungskontexte gefunden. Zu diesen zählt auch das Arbeitsfeld Sprachbildung.

Sprachbildung hat sich als eigenes Arbeitsfeld im schulischen Kontext in Abgrenzung zu Deutsch als Zweitsprache entwickelt (zur Genese Becker-Mrotzek/Roth 2017: 16–18) und behandelt „alle durch das Bildungssystem systematisch angeregten Sprachentwicklungsprozesse“ (ebd.: 17) für alle Schülerinnen und Schüler, folglich für Kinder und Jugendliche mit ganz unterschiedlichen sprachlichen Kompetenz- und Erwerbsprofilen (z. B. simultaner Erstspracherwerb, simultaner Zweitspracherwerb, einsprachig deutsch mit wenig/viel Literalitätserfahrung). In diesem Arbeitsfeld nehmen praxis- und forschungsbezogene Aktivitäten ein breites Spektrum an. Zu den forschungsbezogenen Aktivitäten gehören beispielsweise die Untersuchung des Einflusses bildungs- und fachsprachlicher Kompetenz auf den Bildungserfolg (Prediger et al. 2015), sowie der Wirkung von sprachsensiblen Unterrichtsaktivitäten auf das fachliche und sprachliche Lernen (Boubakri et al. 2017) oder auch die Untersuchung der Bedeutung herkunftssprachlichen Unterrichts auf die Sprachentwicklung mehrsprachiger Schülerinnen und Schüler (Roll et al. 2019). Praxisbezogene Aktivitäten umfassen zum Beispiel die Diagnose sprachlicher Kompetenzen für die unterrichtliche Binnendifferenzierung oder die Feststellung spezifischer Förderbedarfe (Lengyel et al. 2009; Redder/Neumann/Tracy 2015), die Gestaltung sprachsensiblen Fachunterrichts oder die systematische Einbindung der herkunftsbedingten Mehrsprachigkeit der Schülerinnen und Schüler (Vollmer/Thürmann 2013). Für viele der Aktivitäten und Anliegen im Feld sind zuverlässige und valide Aussagen zu den Sprachkompetenzen von Schülerinnen und Schülern im Deutschen unabdingbar. Das C-Test-Format kommt vor diesem Hintergrund für Forschungszwecke in Studien zum Einsatz oder es soll als Instrument für unterrichtsbezogene Entscheidungen genutzt werden (Dürrstein 2013; Eckhardt 2008; Höttecke et al. 2017; Kniffka/Linnemann 2016; Roll et al. 2019).

Mit der Zielgruppe, den thematischen Gegenständen und den Erkenntnisinteressen des Arbeitsfeldes sowie daraus resultierenden Zwecken der Sprachkompetenzmessung wird das C-Test-Format mit neuen Rahmenbedingungen konfrontiert. Zur Erinnerung: Unser Wissen über die Validität von C-Tests und seine Verlässlichkeit stammt primär aus Untersuchungen zu erwachsenen Fremdsprachenlernenden und dem Gebrauch der Testergebnisse als Screening allgemeiner Sprachkompetenzen, vor allem interpretiert in Anlehnung an den Gemeinsamen Europäischen Referenzrahmen für Sprachen (Europarat 2001). Konsens und Standard in der Sprachtestforschung ist es, einer Auffassung von Validität und Validierung zu folgen, die sich auf die Interpretation der Testergebnisse bezieht. Ein Test oder Testformat wird nicht als valide oder nicht valide betrachtet, sondern es muss vielmehr nachgewiesen werden, dass ein Test für den Anwendungskontext, das heißt den Verwendungszweck und den Adressatenkreis, valide ist (Chapelle/Voss 2021; Drackert 2015; Drackert/Timukova 2020; Kane 2013). Folglich sind für den Anwendungskontext Sprachbildung, die dortigen Adressatenkreise, Testzwecke und zu messenden Sprachkompetenzen Fragen der Validität zum Verfahren auch neu zu stellen. Konkrete Fragestellungen sind: Was ist das Neue bzw. Abweichende im Arbeitsfeld Sprachbildung von bisher validierten Verwendungskontexten des C-Test-Formats? Inwiefern gibt es zu den dortigen Rahmenbedingungen schon Validierungsbemühungen (d. h. sind C-Tests bereits validiert für einen bestimmten Testzweck und Adressatenkreis)? Für welche Szenarien müssen C-Tests noch validiert werden und sind folglich als Forschungsdesiderate an die Sprachtestforschung zu adressieren? Wie können Anwenderinnen und Anwender, das heißt sowohl Forschende als auch Testadministratorinnen bzw. -administratoren und Lehrkräfte, das Testformat trotz fehlender Grundlagenforschung nutzen?

Der Beitrag verfolgt das Ziel, diese Fragen aufzuarbeiten, um das C-Test-Verfahren für Forschungs- und Praxisanliegen im Arbeitsfeld Sprachbildung optimal einsetzen zu können. Wir beginnen mit einer allgemeinen Einführung zum C-Test-Format (u. a. zum Konstrukt, Konstruktionsprinzip) und einem Überblick über bisher validierte Verwendungsszenarien. Darauf aufbauend werden die davon abweichenden Rahmenbedingungen für den Einsatz von C-Tests im Arbeitsfeld Sprachbildung skizziert; nämlich der sprach- und bildungsbezogen heterogene sowie junge Adressatenkreis, das Anliegen, die Testergebnisse für diagnostische Zielsetzungen zu nutzen, das Fehlen eines Referenzrahmens, um die Ergebnisse über die Bezugsgruppe hinaus zu generalisieren und zu interpretieren, sowie der Bedarf nach der Messung spezifischer Sprachkompetenzen (fach- und bildungssprachlicher Kompetenzen) mittels C-Tests. Zur Beantwortung der Frage, welche dieser anders gelagerten Rahmenbedingungen bereits in Validierungsbemühungen adressiert wurden, wird die bisherige Anwendungspraxis zum C-Test im Arbeitsfeld Sprachbildung aufgearbeitet. Der Beitrag bietet somit Leserinnen und Lesern auch einen State of the Art zum Einsatz des Verfahrens. Wir schließen die Ausführungen mit der näheren Einkreisung von Forschungsdesideraten in Bezug auf die Validierung des C-Test-Formats sowie mit Empfehlungen für alle Akteurinnen und Akteure, die C-Tests im Arbeitsfeld für forschungs- oder praxisbezogene Anliegen konzipieren oder nutzen wollen. Der Beitrag bietet daher im Sinne von assessment literacy (Harding/Kremmel 2016) auch eine Orientierung für den konkreten Gebrauch des Verfahrens.

2 Der C-Test: Was, wie, wofür und vor allem woher?

Zunächst muss klar sein: Bei C-Tests handelt es sich um ein sprach- und kontextunspezifisches allgemeines Testprinzip (Grotjahn 2019: 587) und nicht um einen Test, der für unterschiedliche Zwecke, Kontexte und Adressaten valide ist. Seit seiner Einführung zu Beginn der 80er-Jahre hat sich jedoch eine Form dieses allgemeinen Testprinzips etabliert, die als klassischer oder kanonischer C-Test in die Literatur eingegangen ist. Ein klassischer oder kanonischer C-Test besteht meist aus vier bis fünf kurzen Texten zu verschiedenen populärwissenschaftlichen Themen. Beginnend ab dem zweiten Satz wird die zweite Hälfte jedes zweiten Wortes mechanisch getilgt (rule of two), sodass 20 bis 25 Lücken entstehen. Aufgabe der Testkandidatinnen und -kandidaten ist es, die Texte unter Einsatz ihrer lexikalischen und grammatikalischen Kenntnisse sowie Textverarbeitungsfähigkeiten zu rekonstruieren. Für jede orthografisch, grammatikalisch und semantisch rekonstruierte Lücke wird ein Punkt vergeben (dichotome Auswertung). Da die Lücken nicht unabhängig voneinander sind, wird ein Text als ein Item ausgewertet. So konstruiert, wird argumentiert, dass das Verfahren integrativ allgemeine Sprachkompetenz im Sinne eines eindimensionalen Konstruktes erfasst. Je höher die Sprachkompetenz der Lernenden, desto mehr Lücken können sie ausfüllen. Theoretisch wird dies durch das Prinzip der reduzierten Redundanz begründet (Klein-Braley 1983: 218), das auf Ansätzen der Gestaltpsychologie und Informationstheorie beruht (Zimmermann 2019: 25) sowie auf gebrauchsbasierten Ansätzen des Spracherwerbs (Mainzer-Murrenhoff 2021). Die zugrunde liegende Annahme ist unter anderem, dass Menschen dazu in der Lage sind, aus unvollständigen oder veränderten Informationen ein bekanntes Muster wiederzuerkennen. Diese Muster haben sie durch mehrfachen bedeutungsvollen Gebrauch in verschiedenen Verwendungskontexten erworben (Ambridge/Lieven 2011; Ellis/O’Donnell/Römer 2013). Da natürliche Sprachen auf allen sprachlichen Ebenen redundant sind, das heißt Mehrfachkodierungen vorliegen, ist es möglich, auch unvollständige, aber bekannte Muster zu rekonstruieren. Dieses Prinzip macht sich der C-Test zu eigen, indem die Redundanz durch die mechanische Tilgung von Worthälften reduziert wird.

Validierungsforschung zur klassischen Operationalisierung des Testprinzips wurde in erster Linie umfänglich für einen bestimmten Adressatenkreis und Verwendungszweck betrieben, nämlich mit jungen erwachsenen Fremdsprachenlernenden in institutionellen Kontexten (z. B. Universitäten, Sprachenschulen) mit dem Ziel, den allgemeinen Sprachstand in der Fremdsprache abzubilden, um Einstufungen, Rangordnungen und Gruppenvergleiche vorzunehmen. So verweisen Eckes und Grotjahn (2006) in ihrer Zusammenschau von Erkenntnissen zur Konstruktvalidität von C-Tests beispielsweise ausnahmslos auf Untersuchungen, die im hochschulbezogenen Fremdsprachenkontext verortet sind (ähnliche Auflistung auch bei Sigott 2004: 61–63). Aussagen, wie beispielsweise bei Gürsoy (2016: 104) oder bei Baur, Chlosta und Goggin (2012: 14), dass C-Tests ein reliables und valides Verfahren darstellen und Zusammenhänge mit weitaus aufwendigeren Testverfahren aufweisen, gelten somit in erster Linie für die globale Erfassung fremdsprachlicher Kompetenz von Studierenden und die Verwendung der Testergebnisse für die Einstufung in Sprachkurse. Trotz der umfangreichen Forschung zum Format unter anderem in Form von introspektiven, korrelationsstatistischen und faktoranalytischen Studien (aktueller Überblick bei Norris 2018: 13–15) ist dieses damit nicht per se valide. Zum einen, weil es sich, wie bereits erwähnt, um ein Format und keinen Test im engeren Sinne handelt (Grotjahn 2019: 586). Zum anderen, weil die Annahmen und die Schlussfolgerungen, die aus den Testergebnissen gezogen werden, und die Entscheidungen, die darauf basieren, stets erst validiert werden müssen (Kecker 2011: 20). Oder wie es die Standards for Educational and Psychological Testing (AERA/APA/NCME 2014: 13) formulieren:

„Validity refers to the degree to which evidence and theory support the interpretations of test scores for proposed uses of tests. The process of validation involves accumulating relevant evidence to provide a sound scientific basis for the proposed score interpretations. It is the interpretations of test scores for proposed uses that are evaluated, not the test itself.“

Was sind nun die abweichenden Rahmenbedingungen im Arbeitsfeld Sprachbildung, die zu neuen Annahmen hinsichtlich der Verwendung von C-Test-Ergebnissen führen und für die erst noch Beweise in Form von Untersuchungen zu liefern sind?

3 Rahmenbedingungen im Arbeitsfeld Sprachbildung

Im Folgenden werden die von bisherigen Anwendungskontexten des C-Tests abweichenden Rahmenbedingungen im Arbeitsfeld Sprachbildung skizziert. Dabei handelt es sich um Aspekte, bei denen unseres Erachtens fehlende Validierungsforschung zum C-Test-Format am deutlichsten zutage tritt. Die Beschreibung der Rahmenbedingungen setzt voraus, dass eine Übersicht existiert, die die bisherige Anwendungspraxis des C-Tests im Arbeitsfeld dokumentiert. Diese Übersicht legen wir mit Tabelle 1 im Anhang vor.^[1] Sie dient auch zur Beantwortung der assoziierten Frage, inwiefern es zu den dortigen Rahmenbedingungen schon Validierungsbemühungen gibt. Darüber hinaus stellen wir in den Ausführungen Beziehungen zur Forschung aus anderen Anwendungskontexten her und fragen danach, welche Erkenntnisse gegebenenfalls übertragbar sind.

4 Neue und alte Fragen zur Validität des C-Tests

Die Darstellung der neuen Rahmenbedingungen und bisherigen Aktivitäten zur Validierung haben gezeigt, dass neue bzw. alte Fragen rund um die Validität von C-Tests an die Sprachtestforschung zu adressieren sind. Für viele Verwendungsszenarien im Arbeitsfeld Sprachbildung wurde die Validität des Formats noch nicht hinreichend untersucht. Außerdem sind viele Fragen bezüglich des Einflusses verschiedener Modifikationen auf das Konstrukt des Verfahrens offen. Welchen Desideraten muss die Sprachtestforschung nachgehen, um eine optimale Anwendung des Verfahrens zu schaffen? Im Folgenden werden unseres Erachtens wichtige Desiderate näher eingekreist:

1. In Bezug auf die Erfassung allgemeiner Sprachkompetenz fehlt es an altersspezifischen C-Test-Sets mit geeigneten erprobten Texten (zu verschiedenen Themen und Textsorten) sowie an einer größeren repräsentativen Stichprobe ein- und mehrsprachiger Schülerinnen und Schüler verschiedener Schulformen. Erst mit diesen Referenzwerten wird es möglich sein, aussagekräftige Interpretationen sowohl für forschungs- als auch für unterrichtsbezogene Zielsetzungen vorzunehmen. Ebenso ist es vor dem Hintergrund des heterogenen Adressatenkreises notwendig, die Schlussfolgerung zu validieren, dass C-Tests bei allen Schülerinnen und Schülern einer Regelklasse allgemeine Sprachkompetenz messen. Dazu sind ähnliche Forschungsdesigns zur Konstruktvalidierung wie bei Drackert und Timukova (2020) notwendig.

2. Aussagen zur allgemeinen bildungsbezogenen oder schulbezogenen Sprachkompetenz machen zu können, ist ein Anliegen im Arbeitsfeld. Die Vorschläge, wie dies mittels des Verfahrens erreicht werden soll, weichen dabei stark voneinander ab (s. Abschnitt 2.3). Gleichzeitig werden die angestrebten Konstrukte nur in wenigen Fällen validiert. Es fehlen daher explizit Untersuchungen zur Konstruktvalidität, die danach fragen, ob sich mittels C-Test schulbezogene Sprachkompetenz überhaupt erfassen lässt (ggf. auch in Abgrenzung zu allgemeiner Sprachkompetenz) und welche Modifikation oder Kombination aus Modifikationen (für bestimmte Altersstufen) am besten geeignet wäre, um diese anzusteuern.

3. Mit Blick auf die Erfassung fachsprachlicher Kompetenzen mittels C-Test hat sich gezeigt, dass die meisten Operationalisierungen dazu führen, dass der C-Test zu einem Teilfertigkeitstest wird. Hier sind unseres Erachtens primär Untersuchungen notwendig, die auf die Nützlichkeit eines solchen Teilfertigkeitstests im Vergleich zu anderen Testformaten eingehen: Ist der C-Test ein besserer/schlechterer Prädiktor für fachbezogene Sprachkompetenz als zum Beispiel ein fachsprachlicher Wortschatztest? Hier sind in Anlehnung an die Forschung zur prädikativen Validität des C-Test-Formats (Harsch/Hartig 2016) in anderen Anwendungskontexten ähnliche Untersuchungen notwendig.

4. Um den C-Test im Rahmen von förderdiagnostischen Zielsetzungen auch für die individuelle Förderung von Schülerinnen und Schülern zu nutzen, fehlt es bislang an empirischen Studien. Inwiefern ist der WE-Wert ein besserer Prädiktor für Textkompetenz oder Leseverstehen als der RF-Wert? Inwiefern ist ein C-Test als Teilfertigkeitstest zu einem grammatikalischen Phänomen ein Mehrwert zu einem Grammatiktest? Die vornehmlich theoretisch begründeten Vorschläge müssen unseres Erachtens empirisch überprüft werden, aber auch Argumente im Rahmen einer ganzheitlichen Validierung des Einsatzes von C-Tests für diesen Zweck erbracht werden. Erst dann kann diese Zielsetzung empfohlen werden.

5 Was können Forschende und Lehrende bei der Konzeption und dem Einsatz des Verfahrens bereits beachten?

Trotz fehlender Grundlagenforschung wollen in der Forschungs- und Unterrichtspraxis verschiedenste Akteurinnen und Akteure C-Tests weiter für Anliegen im Arbeitsfeld Sprachbildung einsetzen. Was können sie beim Einsatz beachten?

Für unterrichtliche Zielsetzungen scheint es sinnvoll, sich noch einmal die Grenzen des Formats vor Augen zu führen; so lassen sich C-Tests primär als Screening nutzen und liefern Ergebnisse für eine globale Messung von Sprachkompetenzen. Die integrative Form, mit der sprachliche Fähigkeiten erfasst werden, macht das C-Test-Format für eine erste Einschätzung sprachlichen Könnens brauchbar. Je nach Erkenntnisinteresse (z. B. grammatikalische Fähigkeiten, diskursive Kompetenzen, mündliche Sprachfähigkeiten) braucht es jedoch weitere Tests, die explizit auf bestimmte sprachliche Teilaspekte abzielen.

Die verbreitete Nutzung des C-Test-Formats als Forschungsinstrument im Arbeitsfeld macht deutlich, dass Forschende Sprachkompetenz möglichst direkt (anstatt indirekt z. B. über die Deutschnote) und objektiv (anstatt weniger objektiv z. B. über Selbsteinschätzungen) erfassen wollen. Dies ist selbst in Forschungsfeldern, in denen Sprache der genuine Untersuchungsgegenstand ist, nicht selbstverständlich, wie beispielsweise Metastudien zur Erhebung von Sprachkompetenzen in der Fremdsprachenforschung zeigen (Thomas 1994; Thomas 2006, Tremblay 2011; Hulstijn 2012; Norris/Ortega 2012; Park et al. 2022). Mit C-Tests können Forschende Aussagen zur Verteilung der Population machen. Bei der Interpretation der Testergebnisse ist jedoch zu berücksichtigen, dass die Stichprobe stärker oder schwächer sein kann und bei der Generalisierung der Ergebnisdarstellung berücksichtigt werden muss. Abschwächen lässt sich die Problematik dadurch, dass die Testergebnisse nicht nur nach klassischer, sondern auch nach probalistischer Testtheorie ausgewertet werden. Werden die Daten Rasch-skaliert, so kann die Wahrscheinlichkeit, mit der ein bestimmtes Item von einer Probandin bzw. einem Probanden gelöst wird, abgebildet werden. Dadurch lässt sich die Schwierigkeit der Items unabhängig von den Probandinnen und Probanden beurteilen. Zur Rasch-Skalierung von C-Test-Daten liegen für Forschende eine Vielzahl von praktischen Hinweisen vor (Eckes 2007; Wilbert/Linnemann 2011; Norris 2018). Insbesondere dann, wenn ein C-Test in verschiedenen Untersuchungen Anwendung finden soll (z. B. in Replikationsstudien), sind die Ergebnisse auf dieser Grundlage vergleichbarer.

Und generell gilt natürlich: Beim C-Test handelt es sich um ein allgemeines Konstruktionsprinzip. Dieses Verständnis wird im Arbeitsfeld Sprachbildung besonders deutlich, wo das Verfahren in großer Diversität eingesetzt wird (vgl. Tabelle 1 im Anhang). Diese Vielfalt macht es jedoch auch notwendig, die zur Anwendung kommenden C-Tests stärker als bisher zu thematisieren und ihren Einsatz zu rechtfertigen. Angaben zur Zielsetzung, zum Adressatenkreis, zum Konstrukt, zum Design sowie zur teststatistischen Güte müssen daher unseres Erachtens stets von den Anwenderinnen und Anwendern aufgeführt werden. Erst dann wird die Anwendungspraxis für alle Akteurinnen und Akteure transparent und die Ergebnisse werden vergleich- und reproduzierbar. Zu einer transparenteren Anwendungspraxis gehört dabei auch die Bereitstellung der C-Test-Sets. Nur ein Bruchteil der erstellten C-Tests ist zum jetzigen Zeitpunkt publiziert und zugänglich. Wünschenswert wäre perspektivisch darüber hinaus eine frei zugängliche Datenbank, die unter anderem Informationen zur Stichprobe, Schwierigkeit und Reliabilität bereitstellt (z. B. IRIS-DATAbase^[3]).