Eigenschaften von Hör- und Lesetexten in Hochschulzugangssprachtests am Beispiel der DSH

2.1 Hör- und Lesekompetenz in Hochschulzugangssprachtests DaF

Hör- und Lesekompetenz sind für den Studienerfolg, insbesondere in der sensiblen Studieneingangsphase, essenzielle Elemente sprachlicher Studierfähigkeit (Holzknecht et al. 2022: 10–11; Möhring/Bärenfänger 2018; Wisniewski/Lenhard 2022: 72) und folgerichtig obligatorische Bestandteile aller akkreditierten HZST sowie der von diesen befreienden Sprachtests gemäß RO-DT (HRK/KMK 2019), wobei sich in der RO-DT wenig Konkretes zum zugrunde liegenden Konstrukt sprachlicher Studierfähigkeit findet (Appel et al. 2022: 371; Wisniewski/Lenhard/Möhring 2023: 61; Wollert/Zschill 2017: 4). Zudem ist die Frage nach der „Aussagekraft [der HZST] für die sprachliche Studierfähigkeit“ (Wisniewski/Lenhard/Möhring 2023: 434) und damit einhergehend den Studienerfolg internationaler Studierender insgesamt nicht abschließend beantwortet. Unterschiedlich wird die Bewertung der rezeptiven Fertigkeiten auch in den Testspezifikationen der verschiedenen HZST und deren Äquivalente operationalisiert.

Grundlage für die Bewertung der Lesekompetenz bei der DSH ist ein „wissenschaftsorientierter und studienbezogener“ Lesetext im Umfang von 4.500–6.000 Zeichen (zu „studienbezogen und wissenschaftsorientiert“ vgl. Appel et al. 2022: 374–376), dessen Verständnis keine Fachkenntnisse voraussetzt (Qualitätszirkel des FaDaF 2022: 39–42). Aufgaben zum Text sollen angemessen schwierig (B2–C1), transparent und eindeutig sein. Die genaue Anzahl und Aufteilung von geschlossenen, halboffenen und offenen Aufgaben ist nicht vorgegeben und obliegt der Gestaltung durch die jeweiligen DSH-Standorte. In dem im „Handbuch zur DSH-Erstellung und -Durchführung“ präsentierten Beispiel werden zehn Aufgaben vorgeschlagen (ebd.: 42–50). Für den DSH-Prüfungsteil Lesen wird eine Dauer von 60 min empfohlen, wobei das Leseverstehen zusammen mit dem Prüfungsteil „Wissenschaftssprachliche Strukturen“, der sich ebenfalls auf den Lesetext bezieht, durchgeführt wird. Für beide Prüfungsteile zusammen beträgt die Bearbeitungszeit 90 min (ebd.: 37).

Der Leseteil des papierbasierten TestDaF umfasst drei unterschiedlich anspruchsvolle Teile/Texte, wobei Teil 1 aus acht Kurztexten mit insgesamt 300–450 Wörtern besteht; Teil 2 ist ein populärwissenschaftlicher Bericht von 450–550 Wörtern und Teil 3 basiert auf einem wissenschaftlichen Text von 550–600 Wörtern (HRK/KMK 2004). Die Aufgabenformate sind mit zehn Zuordnungsitems für Teil 1, zehn Multiple-Choice-Items für Teil 2 und zehn Aufgaben zur Beurteilung von Aussagen (ja/nein/X) für Teil 3 (ebd.: 20) festgelegt. Die Bearbeitungsdauer beträgt 60 min (Norris/Drackert 2018). Ein Prüfungsteil zu sprachlichen Strukturen (wie in der DSH) ist im TestDaF nicht vorgesehen.

Auch bei telc C1 Hochschule besteht der Prüfungsteil Lesen aus drei Teilaufgaben/Texten, wobei dem Teil 1 ein populärwissenschaftlicher Text (Zeitschriftenartikel, Essay) von 400–500 Wörtern, Teil 2 ein studienbezogener Sachtext von 650–850 Wörtern und Teil 3 ein weiterer Sachtext im Umfang von 1.000–1.200 Wörtern zugrunde liegt. Die Aufgabenformate sind auch hier festgelegt: mit je sechs Zuordnungsaufgaben zu Teil 1 und 2 sowie elf Aufgaben zur Beurteilung von Aussagen (ja/nein/X) und einer Multiple-Choice-Aufgabe zu Teil 3. Die Bearbeitungszeit beträgt (inklusive Prüfungsteil „Sprachbausteine“) 90 min (telc 2015).

Im digitalen TestDaF erfolgt die Einschätzung der Lesekompetenz noch differenzierter mit sieben Teilaufgaben/Texten (vgl. dazu detailliert Kecker/Eckes 2022: 303–304). Die Bearbeitungsdauer beträgt ca. 55 min.

Ähnlich unterschiedlich sind die Testspezifikationen für die Teilprüfung Hören für die DSH (ein Hörtext), den papierbasierten TestDaF (drei Texte), den digitalen TestDaF (sieben Texte) und telc C1 Hochschule (drei Texte) mit dazugehörig variierenden Hörwiederholungen, Textlängen, Aufgabentypen, etwa integrierten Aufgaben beim digitalen TestDaF (Kecker/Eckes 2022: 294), Textsorten und Handlungsfeldern sowie Anzahl beteiligter Sprechender.

Aufgrund der sehr unterschiedlichen Operationalisierung des Konstrukts sprachliche Studierfähigkeit (Appel et al. 2022: 372) schon in Hinblick auf Länge, Gestaltung, Komplexität, Umfang und Anzahl der auszuwählenden Inputmaterialien bei den oben exemplarisch beschriebenen HZST unterbleibt in diesem Beitrag ein ohnehin nur eingeschränkt realisierbarer Vergleich der Inputmaterialien verschiedener Sprachtests zugunsten einer vertieften Betrachtung der Materialien unterschiedlicher Standorte in der DSH. Die Beschränkung auf die Analyse von Hör- und Lesetexten aus authentischen DSH-Prüfungen ist damit allein in der Diversität der HZST begründet. Gleichwohl wäre die Untersuchung der Oberflächenmerkmale der Inputtexte in standardisierten HZST im Zusammenspiel mit den Testaufgaben, Ergebnissen und der prognostischen Validität für Studienerfolg und Studienbiografien lohnenswert. Die Ausklammerung standardisierter HZST in diesem Beitrag soll also keinesfalls eine bereits zufriedenstellende Forschungslage suggerieren. Offen bleiben muss auch eine Diskussion, welche der in den verschiedenen HZST gewählten Operationalisierungen am zuverlässigsten funktioniert, etwa ob mehrere kürzere Hör- oder Lesetexte in einem HZST womöglich der Gefahr von Differential Item Functioning (Aryadoust/Goh/Kim 2011), also einer Benachteiligung einzelner Teilnehmendengruppen (Geschlecht, Alter, Herkunftsregion), besser begegnen als längere Einzeltexte oder ob Letztere dem Konstrukt sprachlicher Studierfähigkeit besser entsprechen als kürzere Texte. Während standardisierte HZST im Zuge der Qualitätssicherung äquivalente Testschwierigkeit und Funktionalität über verschiedene Testversionen gewährleisten (sollten) und sich hierzu regelmäßig externen Gutachten unterziehen, etwa im Zuge der Zertifizierung mit dem ALTE Q-Mark (Wisniewski et al. 2022: 63), sind Verfahren des Test Equating (Eckes 2003: 54–55) für die dezentralen DSH-Prüfungen nicht vorgesehen, also weder eine standortinterne Verankerung neuer DSH-Versionen mit der objektiven Testschwierigkeit von Vorgängerversionen der DSH noch eine standortübergreifende. Unter diesem Gesichtspunkt erscheint eine Betrachtung der Texteigenschaften, welche eine mit relativ geringem Aufwand sowohl standortintern als auch -übergreifend kontrollierbare Facette der Testschwierigkeit und -qualität darstellen können, besonders lohnenswert.

2.2 Texteigenschaften als Facette von Hör- und Lesetests

Die Qualität und die Angemessenheit einer Sprachtestaufgabe sind stets von zahlreichen Variablen abhängig, etwa den Themen, der Vertrautheit der Teilnehmenden mit Formaten, dem Vor- und Weltwissen von Teilnehmendengruppen, Typ der Items, der Qualität und Komplexität der Items (Krekeler 2005: 248–254; Westbrook 2019: 13–33), Art der Bewertung (automatisch/menschlich) und im Falle menschlicher Bewertungen der Qualität der Bewertendenschulung (ALTE 2012; EALTA 2016; Grein 2021; Karges 2023). Für Hör- und Lesetests spielen die Eigenschaften der entsprechenden Inputtexte zweifellos eine entscheidende Rolle, wobei ein für einen Testzweck gut geeigneter Hör- oder Lesetext keineswegs Garant für eine gute Testaufgabe oder in Summe einen guten Test ist. Alderson fasst dies in seinem Referenzwerk zur Messung von Lesekompetenz treffend zusammen: „lt is clearly possible to ask easy questions of difficult texts, and difficult questions of easy texts. A reading score may be high or low because of item difficulty rather than text difficulty and vice versa“ (Alderson 2000: 85–86). Textvorgaben für Sprachtests umfassen häufig Angaben zu Themenbereichen, Textsorten, kommunikativen Situationen, Länge, Struktur, Grad der Authentizität (ebd.: 60–68) und häufig auch unscharfe Angaben zu GER-Niveau (Althaus 2018) und Schwierigkeit. Als messbare Variable der HZST-Inputtexte wird häufig nur die Textlänge angegeben (siehe Kap. 2.1).

In den letzten Jahren wurden zahlreiche computerlinguistische Verfahren entwickelt, welche die (subjektive) Einschätzung von Expertinnen und Experten im Bereich der Testentwicklung zur Eignung und Validität von Hör- und Lesetexten in Sprachtests empirisch unterstützen und ergänzen können (Alderson 2000: 68–78). Dazu gehören der systematische Abgleich mit Wortschatzlisten, etwa zur Worthäufigkeit oder zu akademischen Wortschatzinventaren, Maße zur lexikalischen Komplexität und Diversität, zur syntaktischen Komplexität oder in Kombination verschiedener, mithin auch relativ grober syntaktischer und lexikalischer Maße zur Komplexität bzw. Lesbarkeit (Readability) im Allgemeinen (Green/Ünaldi/Weir 2010: 192–196; Hacking/Rubio/Tschirner 2019; Holzknecht et al. 2022: 11–12; Krekeler 2005: 240–247). Neben der Entwicklung von Sprachtests spielen diese Maße und Analysen zunehmend eine Rolle bei der Gestaltung von Lehr- und Lernmaterialien sowie der Auswahl von für verschiedene Sprachkompetenzniveaus passenden Texten (van der Knaap 2018; Vázquez-Ingelmo et al. 2023).

Gleichwohl in diesem Beitrag computerlinguistische Maße sowohl auf Hör- wie auch auf Lesetexte angewendet werden, sind diese fertigkeitenspezifisch einzuordnen und keinesfalls 1:1 vergleichbar (Li et al. 2024). Außerdem ist ihre Wirksamkeit auf Sprachtests von unterschiedlichen Co-Variablen abhängig. Zum einen sind Eigenschaften gesprochener Sprache regelmäßig verschieden von konzeptionell und medial schriftlichen Texten (McLean/Matthews/Milliner 2024; Oesterreicher/Koch 2016; Schwitalla 2012), was sich zum Beispiel in einer kürzeren Satzlänge, geringeren Informationsdichte und höheren Redundanz bei Hörtexten ausdrückt. Zudem kann man bei Lesetexten schwierige Passagen (im Rahmen der vorgegebenen Zeit) beliebig oft wiederholen, während man Hörtexte in HZST in der Regel nur ein- oder zweimal hört (vgl. ausführlich zur Rolle der Hörwiederholungen in High-Stakes-Tests Grotjahn 2012; Holzknecht/Harding 2024). Das Verständnis gesprochener Texte ist zudem maßgeblich von phonetisch-artikulatorischen Merkmalen wie Lautstärke, Sprechgeschwindigkeit, Betonung, Pausen, Akzent, Elisionen etc. abhängig (Westbrook 2019: 12–29). Die in das Verstehen involvierten kognitiven Prozesse sind beim Hören und Lesen demnach verschieden und nur indirekt beobachtbar. Die Aussagekraft und Generalisierbarkeit von rein text- bzw. transkriptbasierten Studien – wie der vorliegenden – dürfte dadurch für Lesetexte ungleich höher sein. Da die DSH-Hörtexte obligatorisch transkribiert vorliegen, jedoch in der Regel vorgetragen und nicht aufgezeichnet werden (Qualitätszirkel des FaDaF 2022: 20–21), müssen die oben genannten Merkmale als in zukünftigen Studien zu berücksichtigendes Desiderat offenbleiben.

Die bislang mehrheitlich für Kontexte für Englisch als Fremdsprache (EFL) durchgeführten Studien beschäftigen sich neben einer deskriptiven Beschreibung und Einschätzung der Texteigenschaften der Inputmaterialien insbesondere mit der Vergleichbarkeit von Testversionen und der Ähnlichkeit von Testmaterialien zu authentischen, den Testkonstrukten entsprechenden Texten (Evidenz und Validität), der empirischen Ermittlung von Lernzielen und Lerninhalten sowie dem Einfluss von Texteigenschaften auf die Aufgabenqualität und -schwierigkeit.

In einer mit N = 77 Englischlernenden durchgeführten Studie zur Aufgabenschwierigkeit in einem C1-Hörtest für EFL stellen Révész und Brunfaut (2013) signifikante Effekte von lexikalischen Eigenschaften, insbesondere der Dichte hochfrequenter (Funktions-)Wörter und des akademischen Wortschatzes, auf die Aufgabenschwierigkeit fest, während phonologische und syntaktische Eigenschaften eine untergeordnete Rolle spielen.

Holzknecht et al. (2022) beschäftigen sich in einer innovativen Studie mit der Schieflage zwischen HZST für das Englische, der Lesekompetenz von „English as a medium of instruction“ (EMI) – Studierenden und den Leseanforderungen an EMI-Universitäten in drei verschiedenen L2-Kontexten in Europa und Afrika. Auch sie identifizieren Wortschatz und hierbei insbesondere Worthäufigkeit sowie Satzlänge als entscheidende Schwierigkeitsparameter für Lesetexte im Hochschulkontext (ebd.: 55–56).

Auch für Hör-Items bei einem international eingesetzten Englischtest stellen Loukina et al. (2016) fest, dass empirisch ermittelte Maße zur Textkomplexität (bei Hörtexten und den dazugehörigen Aufgaben) maßgeblich zur Erklärung von Itemschwierigkeit beitragen, wobei lexikalische Maße unter Berücksichtigung der Worthäufigkeit besonders stark zur Varianzaufklärung beitrugen. Sie stellen weiterhin fest, dass parallel durchgeführte Schwierigkeitseinschätzungen von Testexpertinnen und -experten im Vergleich zu computerlinguistisch ermittelten Komplexitätsparametern weit weniger zuverlässig ausfielen (ebd.: 3251).

Die lexikalischen Eigenschaften von Hör- und Lesetexten in schulischen High-Stakes-Tests für die Sprachen Französisch, Deutsch und Spanisch in England untersuchen Dudley und Marsden (2024). Sie finden unerwartet hohe und nicht dem Lehrplan entsprechende Wortschatzanforderungen in den Tests, die als mögliche Ursache für ein mithin schlechtes Abschneiden der Schülerinnen und Schüler benannt werden. Sie plädieren für eine stärkere Verlinkung von Unterricht und Tests, wobei Wortschatzstudien einen wertvollen Beitrag leisten können (ebd.: 23).

Mit einem Vergleich von Texten in HZST und den Leseanforderungen in der Studieneingangsphase beschäftigen sich Green, Ünaldi und Weir (2010) (für den englischen Hochschulkontext) sowie Möhring und Bärenfänger (2018) (für das Deutsche). Beide Studien stellen heraus, dass die empirische Erfassung von Texteigenschaften einen maßgeblichen Beitrag zur Validität von HZST leistet und zu einer Standardisierung beitragen kann.

Lexikalische und syntaktische Texteigenschaften erwiesen sich insgesamt als eine belastbare Facette der Schwierigkeit von Hör- und Lesetests, obgleich sie für eine vollständige Testvalidierung stets in der Interaktion mit Aufgaben und Testteilnehmenden betrachtet werden müssen.

3.1 Studie

Der Beitrag beschäftigt sich mit authentischen Prüfungstexten der Prüfungsteile Hören und Lesen von DSH-Standorten (Kap. 3.2). Die Texte wurden mit drei verschiedenen Analysetools (Kap 3.3) hinsichtlich verschiedener Texteigenschaften untersucht, wobei der Schwerpunkt auf lexikalischen Variablen lag. Im Anschluss werden die Ergebnisse vergleichend für die Fertigkeiten Hören und Lesen sowie die beteiligten DSH-Standorte dargestellt (Kap. 4).

3.2 Datenerhebung und -aufbereitung

Die Studie war auf die Unterstützung von Standorten (Hochschulen und Studienkollegs), welche die DSH entwickeln und anbieten, angewiesen. Für die Akquise wurden eine Homepage mit Informationen zum Forschungsvorhaben sowie eine sichere Cloud-Lösung für den Upload von Prüfungstexten eingerichtet. Standorte wurden gebeten, nach Möglichkeit sechs aktuelle Texte pro Fertigkeit (Hören/Lesen) einzureichen. Die Bitte um Teilnahme erging über zahlreiche Kanäle, insbesondere im Zuge der DSH-Forschungsinitiative (Domes/Appel 2022).

Teilnehmenden Standorten wurde zugesichert, dass sie anonymisiert und die zum Teil noch zu Prüfungszwecken genutzten Texte nicht an Dritte weitergegeben oder veröffentlicht werden. Auch das Jahr der Text- bzw. Testerstellung und des Einsatzes in DSH-Prüfungsdurchläufen wurde zur Wahrung berechtigter Interessen der teilnehmenden DSH-Standorte nicht erfasst. Da sich die Angaben zur „Auswahl und Bearbeitung der Vorlagen“, also der Hör- und Lesetexte, im aktuellen DSH-Handbuch aus dem Jahr 2022 (Qualitätszirkel des FaDaF 2022: 20, 39) im Zuge der Überarbeitung (Appel et al. 2022: 378) seit der Version des Handbuchs von 2012 jedoch kaum verändert haben, kann diese Variable vernachlässigt werden.

Von derzeit 72 registrierten DSH-Standorten (FaDaF 2024) beteiligten sich elf Standorte (~ 15 %) aus sieben Bundesländern mit insgesamt 113 Texten (Hören N = 57; Lesen N = 56). Weiterhin wurden die im DSH-Handbuch vorgeschlagenen und als für das Testkonstrukt illustrativ geltenden (Appel et al. 2022: 380) Beispieltexte für die Prüfungsteile HV und LV (je N = 1) in der Untersuchung berücksichtigt, wodurch insgesamt 115 Texte mit einem Gesamtumfang von ca. 100.000 laufenden Wörtern (Token) einbezogen werden konnten (Tabelle 1).

Die Texte wurden von den Standorten in verschiedenen Formaten bereitgestellt. Für die Analyse mussten sie bereinigt und maschinenlesbar aufbereitet werden, wozu unter anderem das Entfernen von Absatz- und Zeilenmarkierungen sowie Silbentrennungen und die Konvertierung in das TXT-Format gehörten. Einige Standorte stellten die Texte zusammen mit den Aufgaben zur Verfügung, die hier unberücksichtigt bleiben und ebenso gelöscht wurden.

3.3 Instrumente

Für die Textanalysen wurden drei verschiedene Tools eingesetzt, die kostenfrei und online (browserbasiert) von wissenschaftlich etablierten Institutionen angeboten werden. Es wurde darauf geachtet, dass die Tools auch ohne computerlinguistische Vorkenntnisse, etwa zur Replikation der Analysen für weitere Prüfungstexte an den DSH-Standorten, bedient werden können. Im Folgenden werden der LIX-Rechner (Lenhard/Lenhard 2014–2022), der MultilingProfiler (Finlayson/Marsden/Anthony 2023) sowie die Common Text Analysis Platform CTAP (Chen/Meurers 2016) kurz vorgestellt. Statistische Analysen wurden durchgeführt mit jamovi und SPSS.

Die genutzten Werkzeuge können wertvolle Einblicke in die lexikalischen und strukturellen Aspekte der DSH-Texte bieten. Gleichwohl weist jede dieser Methoden spezifische Einschränkungen auf und keiner der ermittelten Werte kann per se als alleinstehendes Gütekriterium gelten. So bezieht der LIX-Rechner zwar die Wortlänge, jedoch nicht die Worthäufigkeit, syntaktische Vielfalt und semantische Tiefe ein. Auch die Einordnung des in einem Text enthaltenen Wortschatzes in Häufigkeitsbereiche mit dem MultilingProfiler umfasst nur einen isolierten Parameter. Die Forschungslage (vgl. Kap. 2.2) deutet jedoch stark auf einen Zusammenhang quantitativ messbarer Textoberflächenmerkmale mit Text- und Testschwierigkeit hin. Sollte sich diese Annahme in weiterführenden Studien bestätigen, wäre es äußerst wünschenswert, wenn DSH-Standorte nicht auf verschiedene Tools, sondern auf ein für die spezifischen Anforderungen der HZST-Erstellung zugeschnittenes Werkzeug mit einer gut beforschten Auswahl linguistischer Maße zurückgreifen könnten.

3.3.1 LIX-Rechner

Es gibt eine Reihe von Lesbarkeitsindizes, die aus verschiedenen Maßen einen Wert zur mutmaßlichen Lesbarkeit eines Texts aggregieren, wie etwa den Flesch Index oder den Gunning Fog Index (Krekeler 2005: 244–247); für einen aktuellen Überblick siehe Başaran (2023). Eine explizit auch für das Deutsche entwickelte Methode, den Lesbarkeitsindex zu ermitteln, ist LIX (Lesbarkeitsindex) nach Björnsson (1968). Die LIX-Formel stellt ein für die pädagogische Praxis hinreichend genaues Instrument zur Einschätzung der Textschwierigkeit dar (Nickel 2011: 30). Die Formel basiert auf zwei Variablen: der durchschnittlichen Satzlänge und dem prozentualen Anteil von langen Wörtern (mit mehr als sechs Buchstaben) (Köster 2005: 37). Der LIX-Index (siehe Abbildung 1) liegt zwischen 20 (einfach), etwa im Bereich der Kinder- und Jugendliteratur (KJL), und 70 (komplexer Fachtext).

Abbildung 1

Lesbarkeitsindex verschiedener Textsorten LIX (aus Köster 2005: 37)

Der für die vorliegende Studie genutzte LIX-Rechner wird von Lenhard/Lenhard (2014–2022) auf der Homepage https://www.psychometrica.de/lix.html bereitgestellt. Zu analysierende Texte können in ein dafür vorgesehenes Textfeld eingefügt oder eingetippt werden. Neben dem LIX-Wert werden die Anzahl der Wörter, die Anzahl der Sätze, die durchschnittliche Satzlänge, der Anteil langer Wörter und eine verbale Schwierigkeitseinschätzung präsentiert. Ebenso wird im Begleittext der Ressource auf Einschränkungen des LIX und technische Besonderheiten hingewiesen. Für diese Studie wurde die Option „Zeilenumbrüche als Satzende interpretieren“ deaktiviert (siehe Abbildung 2).

Abbildung 2

DSH-Beispieltext Lesen „Bioinvasion“ im LIX-Rechner

3.3.2 MultilingProfiler

Korpusbasierte Worthäufigkeitslisten stellen ein umfangreich beforschtes Instrument dar, insbesondere im Bereich der Leseforschung (Larson 2017; Laufer 2020; Tschirner 2019), aber auch für die Beschreibung und Erforschung der Hörkompetenz (Li et al. 2024; McLean/Matthews/Milliner 2024). Sie werden, wenngleich nicht unkritisch hinterfragt (Bauer/Doetjes 2023: 316), zunehmend in Ergänzung zu und Überprüfung von intuitiv ermittelten, kommunikativ-pragmatischen Lernwortschatzinventaren (Kilian 2021: 74–88; Wallner/Möhring 2013) genutzt und tragen maßgeblich zur Bestimmung von objektiven Wortschatzerwartungen für die Niveaustufen des Gemeinsamen Europäischen Referenzrahmens für Sprachen (Europarat 2001 und 2018) und darauf bezogener Sprachtests bei (Chen et al. 2023; Li et al. 2024; Milton/Alexiou 2009; Tschirner 2019). Auch für den Bereich der sprachlichen Studierfähigkeit und des Studienerfolgs internationaler Studierender erwiesen sich häufigkeitsbasierte Wortschatzbestände als aussagekräftige Variablen (Li et al. 2024; Milton/Treffers-Daller 2013; Möhring 2022: 388–389, 401–403). Der MultilingProfiler 3.0 (Finlayson/Marsden/Anthony 2022) ermöglicht unter https://multilingprofiler.net/ häufigkeitsbasierte Textdeckungsuntersuchungen für Französisch, Deutsch und Spanisch. Für alle Sprachen besteht die Möglichkeit zum Abgleich von Texten mit den häufigsten 1.000, 2.000, 3.000, 4.000 und 5.000 Wortfamilien sowie einer Reihe curriculabasierter Speziallisten und zur Ergänzung durch eigene Wortlisten (Finlayson/Marsden/Anthony 2023: 2). Die Worthäufigkeitslisten für das Deutsche basieren auf dem Häufigkeitswörterbuch von Tschirner/Möhring (2019). Trotz einiger – gut dokumentierter – Einschränkungen, etwa der (bislang) nicht implementierten Wortartenannotation (POS-Tagging) oder fehlender Disambiguierung (Finlayson/Marsden/Anthony 2023: 17–18), bietet das Tool im Vergleich zu bislang verfügbaren Tools, wie etwa dem AntWordProfiler (Anthony 2014), eine besonders nutzerfreundliche Möglichkeit, Textdeckungsuntersuchungen für deutsche Texte durchzuführen (Dudley/Marsden 2024: 9–10). Eigene Texte können in das „Profile Window“ eingefügt werden; für diese Studie wurden die Einstellungen „List type: Frequency List“, „Language: German“, „Level: Top 5.000 Words“ und „Remove Inflected Forms: All forms selected“ gewählt. Nach dem Einfügen eines Texts wird dieser durch Betätigung des „Profile Text“-Feldes analysiert, nicht in der gewählten Liste enthaltene Wortformen werden farbig markiert (siehe Abbildung 3). „Download Stats (.csv)“ ermöglicht das Herunterladen der detaillierten Textdeckungswerte für die fünf Häufigkeitsbänder.

Abbildung 3

DSH-Beispieltext Lesen „Bioinvasion“ im MultilingProfiler

3.3.3 Common Text Analysis Platform CTAP

Etwas weniger intuitiv und erst nach (kostenfreier) Anmeldung nutzbar ist CTAP unter http://ctapweb.com (Chen/Meurers 2016). Die Plattform bietet die Möglichkeit, eigene Texte und Korpora in Bezug auf bis zu 1.102 linguistische Maße, davon ca. 500 für Deutsch, zu untersuchen. Eigene Texte müssen zunächst über den „Corpus Manager“ importiert, die gewünschten Maße im „Feature Selector“ ausgewählt und die Analyse im Anschluss im „Analysis Generator“ durchgeführt werden, wobei hier auf die Sprachauswahl „German“ zu achten ist. Nach Abschluss der Analyse sind die Ergebnisse im Bereich „Results“ abrufbar oder auch direkt auf der Plattform visualisierbar. Die vorliegende Studie beschränkte sich bei der Auswahl auf wenige, die lexikalische Vielfalt (Lexical Richness) betreffende Maße.

Abbildung 4

Auswahl linguistischer Maße in CTAP

Lexikalische Vielfalt misst den Grad der Wortschatzredundanz durch einen Vergleich der in einem Text enthaltenen, laufenden Wortformen (Token) zu den verschiedenen Wortformen (Types). Da dieser Quotient stark von der Textlänge abhängt, werden für den Vergleich unterschiedlich langer Texte standardisierte Type-Token-Maße genutzt (Treffers-Daller/Parslow/Williams 2018). Die für diese Studie aus den in CTAP verfügbaren Features gewählten Maße setzen sich wie folgt zusammen: Lexical Richness Type Token Ratio (Segments of Length 50) (TTR SoL50) berechnet jeweils den Quotienten aus Types/Token für Texteinheiten im Umfang von 50 Token und errechnet den Mittelwert der Einzelwerte. Die Lexical Richness Type Token Ratio (Corrected TTR Words) (CTTR) berechnet das Typ-Token-Verhältnis für Wörter (ohne Interpunktion und Zahlen) eines Textes mit der Formel CTTR = Anzahl Types/sqrt(2*Anzahl der Token) (CTAP à Feature Selector à Feature Details).

4.1 Fertigkeit und Lesbarkeit (LIX)

Mehrheitlich ergab die Analyse der Hör- und Lesetexte mit LIX eine mittlere Komplexität. Vor allem Lesetexte wiesen zum Teil auch eine höhere Komplexität auf, während etwa ein Viertel der Hörtexte eine niedrige Komplexität zeigten (siehe Tabelle 2).

Die im Handbuch zur DSH (Qualitätszirkel des FaDaF 2022) und auf der dazugehörigen Homepage https://www.dsh-fadaf.de/was-ist-die-dsh/ vorgeschlagenen Texte aus den DSH-Beispielprüfungen lagen für Lesen: Text „Bioinvasion“ mit LIX = 57.06 [hoch] und für Hören: Text „Wege zwischen Himmel und Erde“ mit LIX = 44.9 [niedrig] eher in den Randbereichen der untersuchten Stichprobe (siehe Tabelle 2 und 3).

Im Folgenden wird untersucht, inwieweit sich die mit dem LIX-Rechner ermittelten Werte für die Variablen LIX, Anteil lange Wörter und durchschnittliche Satzlänge zwischen den Texten zur Überprüfung der Fertigkeiten Hör- und Leseverstehen unterscheiden. Eine multivariate Varianzanalyse (MANOVA) zeigte einen signifikanten Unterschied zwischen den Hör- und Lesetexten für die Variablen LIX, Anteil lange Wörter und durchschnittliche Satzlänge als abhängige Variablen: F(3, 111) = 10.04, p < .001. Post hoc wurde für jede abhängige Variable eine Varianzanalyse (ANOVA) durchgeführt. Es zeigte sich für alle Variablen ein signifikanter Unterschied zwischen Hör- und Lesetexten (siehe Tabelle 4).

4.2 Fertigkeit und Wortfrequenz (MultilingProfiler)

Die mit den häufigsten 1.000, 3.000 und 5.000 Wörtern erreichte Textdeckung lag bei den Hörtexten im Durchschnitt über der Schnittmenge der Lesetexte (siehe Tabelle 5).

Exemplarisch für die häufigsten 3.000 Wörter des Deutschen illustriert Abbildung 5 die bei den 58 Hörtexten größere Schnittmenge mit hochfrequentem Wortschatz. Die Textdeckungen der DSH-Beispieltexte betragen mit den 3.000 häufigsten Wörtern für Lesen 81,3 % und für Hören 87,6 %, für die 5.000 häufigsten Wörter für Lesen 85,9 % und für Hören 90,8 %.

Abbildung 5

Textdeckung der Hör- und Lesetexte mit den häufigsten 3.000 Wörtern des Deutschen

Der Unterschied zwischen den Fertigkeiten Hören und Lesen zeigte sich in einer MANOVA für die abhängigen Variablen für die Textdeckung mit den häufigsten 1.000, 3.000 und 5.000 deutschen Wörtern mit F(3, 111) = 16.9, p < .001 signifikant. Post hoc wurde für die drei Häufigkeitsstufen als abhängige Variablen eine Varianzanalyse (ANOVA) durchgeführt. Es zeigte sich für alle Variablen ein signifikanter Unterschied zwischen Hör- und Lesetexten (siehe Tabelle 6).

4.3 Fertigkeit, Wortlänge und lexikalische Vielfalt (Lexical Richness, CTAP)

Die mit CTAP ermittelte durchschnittliche Wortlänge liegt für die Hörtexte (M = 5.94) unter, für die Lesetexte (M = 6.15) knapp über sechs und damit der Schwelle, die etwa bei LIX als „langes Wort“ benannt wird. TTR SoL50 und CTTR liegen ebenfalls je für die Hörtexte etwas niedriger als bei den Lesetexten (siehe Tabelle 7).

Eine multivariate Varianzanalyse (MANOVA) zeigte einen signifikanten Unterschied zwischen den Hör- und Lesetexten für die Variablen durchschnittliche Wortlänge, TTR SoL50 und CTTR als abhängige Variablen: F(3, 111) = 12.9, p < .001. Post hoc wurde für jede abhängige Variable eine Varianzanalyse (ANOVA) durchgeführt. Es zeigte sich für alle Variablen ein signifikanter Unterschied (p < .05) zwischen Hör- und Lesetexten (siehe Tabelle 8).

4.4 Texteigenschaften und DSH-Standorte

In die statistische Analyse zu Unterschieden zwischen den DSH-Standorten wurden nur diejenigen (Orte 1–9) einbezogen, die mindestens fünf Texte je Fertigkeit eingereicht haben. Das DSH-Sample sowie die Orte 10 und 11 wurden wegen der geringen Textzahl und damit einhergehend ungleicher/fehlender Varianz ausgeschlossen, werden aber in der grafischen Darstellung mit präsentiert (siehe Abbildung 6 und 7). Im Folgenden werden die Texte für die Fertigkeiten Lesen und Hören separat analysiert.

4.4.1 Lesetexte DSH-Standorte

Es wurde eine MANOVA durchgeführt, um festzustellen, ob es einen Unterschied zwischen DSH-Standorten bei den neun in 4.1–4.3 beschriebenen Texteigenschaften gibt. Es konnte ein signifikanter Unterschied festgestellt werden: F(72, 220) = 1.55, p < .01, Wilk´s Lambda = .08. Post hoc durchgeführte ANOVAs zeigten einen signifikanten Unterschied für CTTR: F(8, 43) = 2.55, p < .05, partielles η2 = 0.32. Für die acht weiteren Variablen zeigten sich jedoch keine Unterschiede unter dem Niveau p < .05. Für die Textdeckung mit den häufigsten 5.000 Wörtern konnte mit F(8, 43) = 1.96, p = .075 ein starker Trend identifiziert werden (siehe Abbildung 6).

Abbildung 6

Standortunterschiede Lesetexte, Textdeckung bis 5.000 und CTTR

Der signifikanten ANOVA mit CTTR als abhängiger Variable wurde mit einem Tukey-post-hoc-Test für die neun Standorte nachgegangen. Es konnte ein signifikanter Unterschied (p < .05) zwischen Ort03 und Ort09 festgestellt werden.

4.4.2 Hörtexte DSH-Standorte

Auch eine für die Hörtexte durchgeführte MANOVA wies mit F(72, 220) = 2.83, p < .001, Wilk´s Lambda = .02 auf Standortunterschiede hinsichtlich der neun Texteigenschaften hin. Post hoc durchgeführte ANOVAs zeigten für sieben Maße signifikante Unterschiede mit p < .05 mit überwiegend starken Effekten auf (siehe Tabelle 9).

Tabelle 9

Post-hoc-ANOVAs Standortunterschiede Hörtexte

	F	df1	df2	p	partielles η2
Textdeckung % bis 1.000	1.96	8	43	0.075	0.27
Textdeckung % bis 3.000	2.03	8	43	0.066	0.27
Textdeckung % bis 5.000	2.87	8	43	0.012	0.35
LIX	9.69	8	43	< .001	0.64
Anteil lange Wörter [%]	6.27	8	43	< .001	0.54
Durchschnittliche Satzlänge	4.68	8	43	< .001	0.47
Mean Token Length in Letters	6.62	8	43	< .001	0.55
TTR SoL50	4.96	8	43	< .001	0.48
CTTR	5.30	8	43	< .001	0.50

Abbildung 7 veranschaulicht die festgestellten Unterschiede exemplarisch für die Variablen Textdeckung bis 5.000, LIX und TTR SoL50.

Abbildung 7

Standortunterschiede Hörtexte, Textdeckung bis 5.000, LIX und TTR SoL50

Jeder signifikanten ANOVA wurde mit paarweisen Tukey-post-hoc-Tests für die Gruppen Ort01 bis Ort09 nachgegangen. Es zeigten sich folgende signifikanten Unterschiede zwischen den Standorten mit * ~ p < .05, ** ~ p < .01 und *** ~ p < .001:

Textdeckung % bis 5.000

Ort01 vs. Ort09*

LIX

Ort01 vs. Ort04*, Ort02 vs. Ort03*, Ort02 vs. Ort09**, Ort03 vs. Ort04***, Ort03 vs. Ort06*, Ort03 vs. Ort07**, Ort04 vs. Ort05***, Ort04 vs. Ort09***, Ort05 vs. Ort07*, Ort06 vs. Ort09**, Ort07 vs. Ort09*** und Ort08 vs. Ort09**

Anteil lange Wörter [%]

Ort01 vs. Ort04*, Ort02 vs. Ort03*, Ort02 vs. Ort09**, Ort03 vs. Ort04**, Ort03 vs. Ort08*, Ort04 vs. Ort09***, Ort07 vs. Ort09*, Ort08 vs. Ort09**

Durchschnittliche Satzlänge

Ort04 vs. Ort05**, Ort04 vs. Ort09*, Ort05 vs. Ort07*, Ort07 vs. Ort09*

Mean Token Length in Letters

Ort01 vs. Ort04**, Ort02 vs. Ort09***, Ort03 vs. Ort04**, Ort04 vs. Ort09***, Ort08 vs. Ort09**

TTR SoL50

Ort08 vs. Ort01*, Ort08 vs. Ort02*, Ort08 vs. Ort03**, Ort08 vs. Ort04**, Ort08 vs. Ort05**, Ort08 vs. Ort06**, Ort08 vs. Ort07*

CTTR

Ort08 vs. Ort01**, Ort08 vs. Ort02***, Ort08 vs. Ort03*, Ort08 vs. Ort04**, Ort08 vs. Ort05***, Ort08 vs. Ort06***, Ort08 vs. Ort07**, Ort08 vs. Ort09*