Schwierigkeit und Trennschärfe von Aufgabentypen – evaluiert durch Ober- und Untergruppenanalysen in den DSH-Prüfungsteilen Leseverstehen und Hörverstehen

1 Einleitung

Mit der DSH-Prüfung (Deutsche Sprachprüfung für den Hochschulzugang) können potenzielle internationale Studierende ihre Sprachkenntnisse im Deutschen für den Hochschulzugang nachweisen (HRK und KMK 2019). Als eine dezentrale Prüfung wird sie an verschiedenen Standorten deutschlandweit erstellt, durchgeführt und evaluiert. Diese Verfahren bilden sich im Testentwicklungszyklus ab (Eberharter/Kremmel/Zehentner 2018: 57–58). Mit der Bezeichnung Zyklus wird darauf hingewiesen, dass die Testerstellung kein linearer Vorgang ist, sondern jede Testerstellungsphase in die nächste eingreift und auf die vorherige zurückgeführt werden kann. Jede erstellte DSH-Prüfung sollte dementsprechend pilotiert und evaluiert werden.

Die vorgeschriebenen Grundsätze zum DSH-Testerstellungsverfahren sind durch das DSH-Handbuch (FaDaF 2012) festgelegt. In diesem sind sowohl die Vorgaben, die das DSH-Testkonstrukt abbilden, als auch die inhaltliche und organisatorische Ebene für die Konzipierung vorzufinden. Das DSH-Testkonstrukt prüft nach sprachlichen Kompetenzen auf dem Niveau B2/C1 nach dem GER. Die zu erreichenden Stufen sind als DSH 3, DSH 2 und DSH 1 ausgewiesen, wobei das Ergebnis DSH 1 die sogenannte Eingangsstufe darstellt und somit für den Hochschulzugang (an den meisten Hochschulstandorten) nicht ausreicht.

Der Nachweis der sprachlichen Studierfähigkeit wird nach dem DSH-Konstrukt in rezeptive und produktive Prüfungsteile aufgeteilt. Zu den produktiven Prüfungsteilen gehören das Verfassen eines argumentativen Sachtextes zu einem wissenschaftlichen Thema mit Alltagsbezug und eine mündliche monologische Vorstellung einer kurz dargestellten wissenschaftlichen Studie mit anschließendem dialogischem Gespräch. Zum Lese- und Hörverstehen als rezeptive Prüfungsteile gehört außerdem die Überprüfung der wissenschaftssprachlichen Strukturen, die auf der Umformulierung von wissenschaftssprachlichen Sätzen beruht und somit eher das explizite Wissen der sprachlichen Strukturen testet. Zur Überprüfung des Leseverstehens dienen ein komplexer wissenschaftlicher Text, der 6.000 Zeichen nicht übersteigen darf, und ein Aufgabenblatt zur Überprüfung des globalen, selektiven und detaillierten Leseverstehens. Zur Überprüfung des Hörverstehens hören die Prüfungsteilnehmenden einen wissenschaftlichen Vortrag, der in schriftlicher Form 7.000 Zeichen nicht übersteigen darf. Zudem erhalten sie ein Aufgabenblatt, welches das globale, selektive und detaillierte Hörverstehen dieses Vortrags überprüft (FaDaF 2012).

Um die Qualitätssicherung zu gewährleisten und insbesondere den Gütekriterien einer zumindest internen Validität und Reliabilität gerecht zu werden, werden im Erstellungsprozess (und nach der Durchführung) Prüfungssätze evaluiert. Hierzu eignen sich die Pilotierung eines Prüfungssatzes vor der Durchführung sowie eine Evaluation der pilotierten Prüfungssätze. Diese werden dann in einem Evaluationsverfahren weiterentwickelt und womöglich kalibriert.

Evaluationsverfahren kann man in qualitative und quantitative Verfahren aufteilen. Somit wäre eine Pilotierung mit geringer Teilnehmendenzahl und anschließendem Gespräch über die Prüfungsaufgaben eine qualitative Einschätzung der Schwierigkeit der einzelnen Aufgaben. Quantitative Evaluationsverfahren erfordern größere Teilnehmendenzahlen und eine genaue Berechnung des Schwierigkeitsgrades p (p = probability) sowie des Trennschärfeindex D (D = discrimination). Eines der Verfahren zur Qualitätssicherung hinsichtlich der Trennschärfe und des Schwierigkeitsgrades in den Aufgabentypen stellen Burghoff und Leder (2011: 18–22) dar. In ihrer Handreichung zur DSH am Beispiel des Leseverstehens stellen sie eine Itemanalyse sowie eine Ober- und Untergruppenanalyse nach Schelten vor (1997: 132–136). Sie beschreiben, wie die Analyse für die Evaluation der DSH-Prüfung an der Freien Universität Berlin angepasst ist. In dem Registrierungsverfahren der DSH-Standorte spielt die Frage zur Ober- und Untergruppenanalyse zudem eine Rolle hinsichtlich der Qualitätssicherung.

Das Ziel dieses Beitrags ist zum einen, die Verfahren zur Ober- und Untergruppenanalyse darzustellen, und zum anderen, durch diese Analyse die Auswertung der Aufgaben hinsichtlich des Schwierigkeitsgrades und der Trennschärfe abzubilden. Der Schwierigkeitsgrad und die Trennschärfe werden außerdem in Bezug auf die Operatoren in Aufgabenformulierungen betrachtet. Erörtert wird daher in diesem Beitrag der testtheoretische Hintergrund zur Ober- und Untergruppenanalyse. Im Anschluss an die Darstellung der Ober- und Untergruppenanalyse wird in den nächsten Kapiteln eine Analyse der vier Prüfungssätze zu den Prüfungsteilen Leseverstehen und Hörverstehen gegeben. Außer der Darstellung dieses Evaluationsverfahrens werden in diesem Beitrag Hinweise und mögliche Verbesserungsvorschläge bezüglich der Aufgabenkonzipierung zu den rezeptiven Prüfungsteilen genannt.

2 Testtheoretische Einbettung der Ober- und Untergruppenanalyse

Validität, Reliabilität und Objektivität gelten als die drei Hauptgütekriterien im Testerstellungsverfahren und in der Testevaluation. Das Kriterium der Objektivität, das hauptsächlich der Durchführung und der Bewertung sowie der Darstellung der Aufgabenlösungen und der Punktevergabe gewidmet ist, wird nur am Rande betrachtet (Vigh 2018: 100). Die Reliabilität und die Validität eines Tests werden unter anderem durch weitere Kriterien beeinflusst – in diesem Falle den Schwierigkeitsgrad und die Trennschärfe in den Aufgaben – und stehen dementsprechend im Zentrum der Betrachtungen.

Die Ermittlung des Schwierigkeitsgrades und der Trennschärfe ist testtheoretisch in der deskriptiven Statistik angesiedelt. Dabei geht es hauptsächlich um eine Itemanalyse bzw. um eine Analyse der Itemschwierigkeiten und die Trennschärfeanalyse der Items (Pospeschill 2010: 72). Schelten (1997) wiederum passt diese Testverfahren an die pädagogischen Bedürfnisse an und schlägt die einfache Itemanalyse (auch Ober- und Untergruppenanalyse) für die Anwendung in verschiedenen Testsituationen vor (Schelten 1997: 128–137).

Mit der Ober- und Untergruppenanalyse^[1] (teils auch vereinfachte Itemanalyse genannt) können unter anderem der Schwierigkeitsgrad und die Trennschärfe^[2] der einzelnen Aufgaben bzw. Items bestimmt und evaluiert werden (Schelten 1997: 128). Die Gütekriterien Schwierigkeit und Trennschärfe der einzelnen Testitems beeinflussen wiederum die Validität (insbesondere die Konstruktvalidität) sowie die Reliabilität des Gesamttests, das heißt, sie bestimmen direkt (neben anderen weiterführenden Gütekriterien) mit, ob ein Test tatsächlich das misst, was er vorgibt zu messen, und ob es sich bei diesem Test um ein zuverlässiges Messinstrument handelt (Dlaska/Krekeler 2009; Vigh 2018).

Der Schwierigkeitsgrad p jeder Aufgabe gibt an, von wie vielen Testteilnehmenden eine Aufgabe richtig bearbeitet wurde. Um einen ausgewogenen Test zu gestalten, gilt es, alle zu schweren und zu leichten Aufgaben – also Aufgaben, die nahezu von keinem Testteilnehmenden bzw. von fast allen Testteilnehmenden gelöst wurden – zunächst zu identifizieren und anschließend herauszufiltern bzw. durch andere, ausgewogenere Aufgabenformate zu ersetzen (Schelten 1997; Pospeschill 2010). Die finale Entscheidung, ob eine gegebenenfalls zu schwere oder zu leichte Aufgabe abgeändert wird, sollte jedoch nicht allein durch die Bestimmung des Schwierigkeitsgrads getroffen werden. Um eine fundiertere Entscheidung zu treffen, sollte zudem die Trennschärfe betrachtet werden. Diese bestimmt, inwieweit eine Aufgabe in der Lage ist, zwischen stärkeren und schwächeren Testteilnehmenden zu differenzieren (ebd.).

Mit Blick auf das Gesamttestkonstrukt der DSH-Prüfung ergibt sich, dass aufgrund einer komplexen Schreibaufgabe im Teil Textproduktion eine Ober- und Untergruppenanalyse lediglich für die rezeptiven Prüfungsteile Hörverstehen, Leseverstehen sowie wissenschaftssprachliche Strukturen zu empfehlen ist. Dementsprechend wird die Durchführung einer Ober- und Untergruppenanalyse als Teil der Qualitätssicherung im Fragebogen zur Re-Registrierung eines DSH-Standortes nur für die Fertigkeiten Leseverstehen und Hörverstehen durch den FaDaF erhoben (Koithan et al. o. J.: 2).

3 Ablauf des Evaluationsverfahrens mithilfe der Ober- und Untergruppenanalyse am DSH-Standort Jena

Wie bereits einleitend beschrieben, ist es insbesondere an kleineren^[3] DSH-Standorten teilweise nur bedingt möglich, direkt nach der Pilotierung bereits eine Ober- und Untergruppenanalyse durchzuführen. Dies begründet sich vor allem mit dem Aspekt, dass wenige Probandinnen und Probanden an der Pilotierung teilnehmen können und somit eine Ober- und Untergruppenanalyse zu wenig aussagekräftigen Ergebnissen kommen würde. Dieser Umstand entspricht nicht vollständig den Qualitätsvorgaben der Association of Language Testers in Europe (ALTE 2012: 39), ist jedoch teilweise auch in der dezentralen Organisation der DSH-Prüfung begründet und somit den geringen personellen Ressourcen (im Vergleich zu anderen Tests dieser Art) geschuldet. Um trotzdem bereits vor dem Einsatz des Prüfungssatzes eine Einschätzung hinsichtlich des Schwierigkeitsgrades und der Trennschärfe zu erhalten, wird eine qualitative Evaluation des Testsatzes im Rahmen einer Pilotierung durchgeführt und nach dem Testdurchlauf jede Aufgabe detailliert mit den Probandinnen bzw. Probanden besprochen (Weir 2005: 234). Anschließend werden die gewonnenen Erkenntnisse in die Überarbeitung des Prüfungssatzes sowie in die Weiterentwicklung eines Erwartungshorizontes aufgenommen.

Nach dem Einsatz wird der Prüfungssatz einer quantitativen Analyse (Ober- und Untergruppenanalyse) – insbesondere für die rezeptiven Prüfungsteile Leseverstehen und Hörverstehen – unterzogen. Zunächst werden alle Gesamtergebnisse der schriftlichen Prüfungsteile (Leseverstehen und wissenschaftssprachliche Strukturen, Hörverstehen sowie Textproduktion) absteigend sortiert und anschließend in zwei gleich große Gruppen – eine leistungsstärkere Gruppe und eine leistungsschwächere Gruppe – aufgeteilt. Burghoff und Leder (2011) empfehlen, die gesamte Menge der Testteilnehmenden in die Analyse miteinzubeziehen. Andere Autorinnen und Autoren (Schelten 1997; Pospeschill 2010) geben in ihren Darlegungen an, dass nur jeweils die oberen sowie die unteren 27 Prozent der Gesamtgruppe betrachtet werden sollten. Der DSH-Standort Jena folgt der Empfehlung von Burghoff und Leder (2011) und teilt entsprechend alle Testteilnehmenden eines Prüfungsdurchlaufs in eine Unter- und eine Obergruppe (bei ungerader Anzahl der Teilnehmenden wird die Person in der absoluten Mitte herausgelassen). Diese Entscheidung begründet sich unter anderem in der teilweise geringeren Teilnehmendenzahl zu einigen Testterminen (beispielsweise auch während der COVID-19-Pandemie). Für den Testtermin im Juli 2021 (vgl. Tab. 1) konnten jeweils 23 Personen der Ober- und Untergruppe zugeordnet werden. Ein Vorgehen nach Schelten (1997) und Pospeschill (2010) hätte lediglich zwölf Personen für die Ober- und Untergruppe zugelassen. Folglich konnten mehr Prüfungsdaten (nämlich im Beispiel Juli 2021 23 Personen je Gruppe) in die Analyse einbezogen werden und somit die Repräsentativität der Analyseergebnisse leicht erhöht werden.

Nach der Bestimmung der Ober- und Untergruppe wird für jede Aufgabe eine Tabelle erstellt, wie das Beispiel (vgl. Tab. 1 und Tab. 2) zum Prüfungsteil Hörverstehen aus Juli 2021 zeigt. Die Aufgabenformulierung lautete hierbei „Nennen Sie drei Funktionen von ...“. Für jede richtig genannte Funktion erhielten die Testteilnehmenden acht Punkte, für jedes halbe Item vier Punkte. In den Tabellen 1 und 2 kann jeweils in der oberen Zeile jede mögliche Punkteverteilung und in der unteren Zeile die Anzahl der Testteilnehmenden, die diese Punktzahl in der Aufgabe erreichten, abgelesen werden. Tabelle 1 zeigt zunächst die Ergebnisübersicht für die definierte Obergruppe, Tabelle 2 entsprechend die erreichten Punkte für die Untergruppe.

Der letzten Spalte der Tabellen kann zunächst der Durchschnitt der erreichten Punkte für die entsprechende Gruppe entnommen werden. Schelten (1997: 132) empfiehlt, für die Ermittlung des Schwierigkeitsgrades p den Anteil der Personen zu bestimmen, welche eine Testaufgabe richtig gelöst haben. Da in den Aufgaben der DSH-Prüfung jedoch eine reine Unterscheidung zwischen den beiden Polen richtig gelöst und falsch gelöst nicht möglich ist, erfolgt ein rechnerischer Umweg zu diesem Quotienten. Ausgehend von der durchschnittlich erreichten Punktzahl wird ein Mittelwert gebildet, der der Quotient aus der durchschnittlichen Punktzahl und der maximal zu erreichenden Punktzahl einer jeden Aufgabe ist und somit p_Hoch und p_Niedrig ersetzt. Aus den ermittelten Werten für p_Hoch und p_Niedrig lässt sich nun der Schwierigkeitsgrad p wie folgt bestimmen (Schelten 1997: 132):

p = p Hoch + p Niedrig 2

Für die angegebene Beispielaufgabe ergibt sich nun ein Schwierigkeitsgrad p von 0,5615, wie in der folgenden Rechnung dargestellt:

0,5615 = 0,7317+ 0,3913 2 α

Diese Aufgabe liegt somit im mittleren Schwierigkeitsbereich, da der Schwierigkeitsgrad p eine Spannweite von 0 (sehr schwer) und 1 (sehr leicht) abdeckt. ALTE (2012: 96) empfiehlt, nur Aufgaben innerhalb einer Spannweite von 0,25 und 0,8 in weitere statistische Auswertungen miteinzubeziehen. Außerdem sprechen Ergebnisse außerhalb dieses Spektrums wahrscheinlich dafür, dass die Aufgabe für die getestete Gruppe nicht geeignet war.

Nach der Ermittlung des Schwierigkeitsgrads für die Ober- und die Untergruppe, also p_Hoch und p_Niedrig, kann nun auch der Trennschärfeindex D wie folgt bestimmt werden (Schelten 1997: 132):

Danach ergibt sich für die Beispielaufgabe ein Trennschärfeindex von 0,3404, wie der folgenden Rechnung zu entnehmen ist:

0,3404 = 0,7317- 0,3913

Nach der Interpretation des Trennschärfeindex, die von Schelten (1997: 135) vorgeschlagen wird, kann diese Aufgabe als „brauchbare Testaufgabe“ gewertet werden, da D zwischen 0,30 und 0,39 liegt. Ab einem Trennschärfeindex D von 0,4 kann die Aufgabe als „ausgezeichnete Testaufgabe“ bezeichnet werden. Liegt der ermittelte Wert unter 0,29 sollte diese Aufgabe verbessert werden bzw. scheint sie weniger brauchbar. Durch die Entscheidung, die Gesamtgruppe in die Analyse einzubeziehen (und nicht nur die oberen und unteren 27 Prozent der Testsätze), ergibt sich jedoch, dass sich bei der Interpretation des Trennschärfeindex D nur im begrenzten Maße an den Vorgaben von Schelten (1997: 135) orientiert werden kann. Für Aufgaben, die in ihrer Schwierigkeit eher den Bereichen mittel und schwer zuzuordnen sind, ist eine Orientierung an den Interpretationen Scheltens noch gut möglich. Für Aufgaben des eher leichten Bereichs kann es eher zu Verzerrungen kommen, da die 46 Prozent der Mittelgruppe auch mitberücksichtigt wurden. Nichtsdestotrotz kann ein DSH-Standort bereits zahlreiche Ergebnisse hinsichtlich des Schwierigkeitsgrades und der Trennschärfe der Testitems mithilfe der Ober- und Untergruppenanalyse gewinnen und diese für die stetige Qualitätssicherung am eigenen Standort nutzen. Im Folgenden werden die Ergebnisse der Ober- und Untergruppenanalysen von vier Testsätzen dargestellt und weitere Interpretationen vorgeschlagen.

4 Ergebnisse der Ober- und Untergruppenanalyse

Die Ober- und Untergruppenanalyse wurde an vier Prüfungssätzen bzw. an jeweils vier Prüfungsteilen zum Lese- und Hörverstehen vorgenommen. In der folgenden Tabelle (Tab. 3) befindet sich eine Übersicht zu den Prüfungszeiträumen und den Teilnehmendenzahlen für jeden Prüfungsdurchlauf, die in die folgenden Analysen einbezogen wurden. Alle Prüfungsteilnehmenden haben unmittelbar vor der Prüfung an einem 15-wöchigen DSH-Vorbereitungskurs in Jena teilgenommen. Die untere Zeile der Tabellen präsentiert jeweils die Anzahl der Prüfungen, die in die Ober- bzw. die Untergruppe einbezogen wurden (Burghoff/Leder 2011).

Im Folgenden werden die Ergebnisse der Ober- und Untergruppenanalyse für die Prüfungsteile Leseverstehen und Hörverstehen getrennt voneinander betrachtet.

5 Fazit

Eine Besonderheit der DSH-Prüfung stellt ihre dezentrale Organisation, Durchführung und Evaluation dar – insbesondere im Vergleich zu anderen Prüfungen, welche für den Nachweis der sprachlichen Studierfähigkeit zugelassen sind (HRK und KMK 2019). Aufgrund der Dezentralisation sollte an jedem DSH-Standort eine Qualitätskontrolle jedes Prüfungssatzes erfolgen, um den Testgütekriterien Rechnung zu tragen. Im vorliegenden Beitrag wurde mit Blick auf die Gütekriterien Schwierigkeit und Trennschärfe eine Evaluation mithilfe der Ober- und Untergruppenanalyse beschrieben. Diese Darstellung soll anderen DSH-Standorten einen Einblick in die Evaluation am DSH-Standort Jena geben und aufzeigen, wie selbst an kleineren Einrichtungen eine Evaluation und stetige Weiterentwicklung betrieben und die eigene Prüfungserstellung fortwährend reflektiert werden kann. Selbstredend kann dies aufgrund einiger Rahmenbedingungen nicht immer im vollständigen und im Sinne der Testevaluation gewünschten Maße geschehen; jedoch bieten diese Ergebnisse viele Hinweise auf die Qualität der eigenen Prüfungssätze. Des Weiteren können diese Ergebnisse auch von den Anbieterinnen und Anbietern der DSH-Vorbereitungskurse als didaktische Implikationen Verwendung finden, beispielsweise für das Training der Operatoren.