2.1 Verwendete Korpora

Hier wollen wir kurz die verwendeten Korpora Falko und RIDGES vorstellen.

Falko^[8] ist ein Korpus, das vergleichbar erhobene argumentative Essays von fortgeschrittenen Lerner:innen des Deutschen als Fremdsprache (L2) und deutschen Muttersprachler:innen (L1) enthält. Falko wird zur Analyse unterschiedlicher Erwerbsphänomene genutzt. Falko ist tief annotiert, unter anderem hat es zwei Zielhypothesenebenen (Lüdeling und Hirschmann 2015), eine nur zur orthographischen Normalisierung des Ausgangstexts und eine als L1-ähnliche Wiedergabe/Korrektur des Geschriebenen, und enthält grammatische Annotationen auf verschiedenen Ebenen (Hirschmann et al. 2022; Reznicek, Lüdeling und Hirschmann 2013).

RIDGES ist ein diachrones Korpus, das Kräutertexte aus der Zeit zwischen 1482 und 1914 enthält.^[9] Darunter sind vor allem Ausschnitte aus Kräutermonographien, aber auch Vorworte zu Kräuterbüchern, wissenschaftliche Texte etc. RIDGES enthält neben der diplomatischen Tokenebene zwei Normalisierungsebenen und etliche grammatische und inhaltliche Annotationsebenen (Odebrecht et al. 2016; Schnelle et al. 2022; Uyanık et al. 2025). Wichtig für die Diskussion unten ist, dass die automatische Analyse auf einer manuell erstellten Normalisierungsebene durchgeführt wird, die die gegenwartsdeutsche Schreibung enthält. Das heißt, die Probleme, die unten angesprochen werden, sind nicht auf historische Schreibvarianten zurückzuführen.

Falko wurde gesammelt, um Spracherwerbsmuster und ggf. Einflüsse der L1 bei fortgeschrittenen Lerner:innen des Deutschen als Fremdsprache untersuchen zu können. Das RIDGES-Korpus soll zur Analyse der sich entwickelnden wissenschaftlichen Register im Deutschen dienen. Wir haben diese beiden Korpora gewählt, weil sie nicht (schriftliche, editierte) sogenannte Standardsprache enthalten. Damit sind sie weit entfernt von den Trainingskorpora verschiedener Annotationstools. Für die Fragestellungen, für die diese Korpora erstellt wurden – Spracherwerb und Sprachwandel – ist essentiell, dass man genau weiß, welche Fälle von einem Werkzeug wie behandelt werden. Die angesprochenen Punkte gelten aber genauso für „Standardsprache“.

Beide Korpora können in verschiedenen Formaten ausgewertet werden. Wir nutzen hier für die Darstellung oft das Suchwerkzeug ANNIS (Krause et al. 2022).

2.2 Automatische Analyse

Keines unserer beiden Korpora enthält explizite Partikelverbannotationen.^[10] Beide liegen aber in einer Multi-Layer-Architektur mit zahlreichen anderen Annotationsebenen vor. Darin enthalten ist natürlich eine Tokenisierung, in diesem Fall eine Aufteilung des Fließtextes in graphemische Wörter und Satzzeichen, eine Lemmatisierung und ein Wortartentagging sowie zum Teil syntaktische Dependenzen. Welche Wege stehen uns offen, wenn wir nun versuchen wollen, auf Basis der vorliegenden Annotationen automatisch alle Partikelverben zu extrahieren?

Vielleicht wäre es am einfachsten, wenn wir anhand einer Wortliste abgleichen könnten, ob es sich bei einem Verb um ein Partikelverb handelt. Das setzte eine annähernd vollständige Liste aller Partikelverben voraus, die es aufgrund der hohen Produktivität von Partikelverbbildung gar nicht geben kann. Nehmen wir aber für den Moment einmal an, uns läge solch eine Wortliste vor.

Dann würden wir die Partikelverben in Adjazenzstellung, die auf dieser Liste stehen, auf Basis der automatischen Lemmatisierung und Wortartenanalyse durch den Treetagger (Schmid 1999; Schmid 2008) finden können,^[11] so bspw. anbieten in 2a oder darbieten in 2c. In 2b und 2d werden die Lemmata aber aufgrund der Distanzstellung nicht gefunden – der Treetagger kann sie nämlich nicht selbstständig zusammenfügen.

Abbildung 2:

syntaktischer Parse, der die Abhängigkeit der Partikel an vom Verbstamm biet darstellt

Abbildung 3:

aus in Verwendung als Partikel des Verbs auszahlen, falsch getaggt als Präposition

Obwohl wir wissen, dass anbieten in 2b ein Partikelverb ist, und obwohl der Tagger korrekt erkannt hat, dass an eine Partikel ist (getaggt als PTKVZ), ist es uns auf Basis der vorliegenden Daten nicht möglich, die korrekte Lemmatisierung zu extrahieren. Obwohl wir mit unserer Strategie einige Partikelverben korrekt identifizieren konnten, erreichen wir unser Ziel einer Extraktion aller Partikelverblexeme nicht. Dafür müsste zunächst die Lemmatisierung korrekt zusammengefügt werden, wofür wir zusätzlich die Information über die Abhängigkeit von Verbbasis und Partikel brauchen.

Glücklicherweise enthält eines unserer Korpora (Falko) diese Information, es ist nämlich syntaktisch geparst. In ungeparsten Korpora wie RIDGES müssten Nachverarbeitungsschritte die Verbindung herstellen, was aufgrund der unterschiedlichen Sprachstufen durchaus schwierig sein kann. Abb. 2 zeigt den Parse zu 2b. Hier sieht man die Kante (Verbindungslinie) vom Verb biet zur Verbpartikel an.

Es ist uns hier also gelungen, mit Hilfe der syntaktischen Abhängigkeitsinformation die Partikel mit dem Verb zu verbinden und wir können auch produktive Neubildungen abbilden, sodass wir jetzt sogar ohne unsere zunächst angedachte Wortliste auskommen. Zu einem gewissen Anteil haben wir mit unserer Suche nach abhängigen Partikeln den menschlichen Analyseprozess nachgestellt. Allerdings hängt unser Erfolg jetzt weiterhin davon ab, dass der Tagger die Partikeln richtig erkennt und zusätzlich davon, dass der Parser die Abhängigkeit richtig zuweist. Beides scheitert leider oft. (Fast) alle Verbpartikeln sind homograph mit anderen Elementen.^[16] Abb. 3 und 4 zeigen, wie der Parser an der Zuweisung der Partikel aus scheitert, weil bereits der Tagger sie nicht richtig als solche erkannt hat.

Abbildung 4:

syntaktischer Parse, der aus fälschlicherweise als Kopf einer PP darstellt

In diesem Fall kann man vermuten, dass der Tagger durch die Extraposition von für die beteiligten Personen verwirrt wurde, weil das PTKVZ-Tag eine höhere Wahrscheinlichkeit hat, am Ende eines Teilsatzes (also vor einem Satzzeichen) aufzutreten. Man erkennt, dass bereits kleine und im sprachlichen Sinn unauffällige Abweichungen von einer angenommenen Standardsyntax eine Schwächung der maschinellen Analyse bewirken. Noch schwieriger wird die automatische Erkennung bei sehr langen und eingeschobenen Sätzen, denn Tagger und Parser können entfernten Kontext nur bis zu einem gewissen Grad berücksichtigen, da bei vielen konkurrierenden Elementen die Wahrscheinlichkeit der Zuweisung zu jedem geringer wird. Dieses stochastische Prinzip konkurriert mit der sprachlichen Realität, die keine absolute Grenze für Fernabhängigkeiten vorsieht. Der lineare Abstand zwischen Verb und Partikel in Distanzstellung kann leicht Dutzende Token erreichen, bspw. in er isst die leckere Suppe, von der von gestern noch so viel übrig geblieben ist, doch noch schnell auf. In solchen Fällen ist es für Tagger fast unmöglich, den Zusammenhang korrekt zu ermitteln, da sie nicht hierarchisieren, somit also nicht erkennen, dass die vielen Token im Relativsatz zwischen isst und auf zu einer anderen Ebene gehören. Parser wiederum hierarchisieren zwar, tun das aber auf Basis von Wortartenannotationen – die maschinelle Katze beißt sich in den Schwanz.

Die Beispiele in 3 zeigen, dass die Fehlmarkierung von aus als Präposition keine grundlegend fehlerhafte Eigenschaft des Taggers ist: Es ist durchaus plausibel, dass nahestehende Präpositionen oder Adjektive eben keine Verbpartikeln sind, sondern andere Rollen in der Argumentstruktur einnehmen.

Ein weiteres Problem bei unserer automatischen Annotation von Partikelverben liegt in der Schreibung. Insbesondere in nicht-standardsprachlichen und sprachdynamischen Daten hängt die Parser- und Taggerpräzision in besonderem Maß von den Tokenisierungseigenschaften, nämlich der Getrennt- und Zusammenschreibung von Wörtern, ab. Da diese historisch zuweilen sehr uneinheitlich ist, erkennt unser Modell den Fall 4a aus dem RIDGES-Korpus, den Fall 4b hingegen nicht, obwohl keine Distanzstellung vorliegt:

Ähnliches ergibt sich durch Schreibvarianten. In 5a (produziert von einer deutschen Muttersprachlerin) wird antun in einem Adjazenzkontext getrennt geschrieben. Hier hat der Tagger an als PTKVZ annotiert und getan als Partizip, sodass es vielleicht eine (syntaktische) Möglichkeit gibt, beide zusammenzufügen, aber das müsste dann in einem späteren Schritt geschehen. In 5b wird dinge klein geschrieben und plausibel vom Tagger als Form eines möglichen Verbs dingen erkannt, sodass es dann ein Partikelverb aufdingen geben müsste. In 5c schließlich wird stadt getrennt und falsch geschrieben. In all diesen Fällen muss interpretiert werden. Ähnliches ergibt sich bei diachronen Daten mit sich veränderten Schreibkonventionen.

In allen Fällen transportiert sich die Ungenauigkeit von einer automatischen Annotation, etwa der Tokenisierung streng nach Spatien oder Satzzeichen, auf die nächste Ebene, z. B. das Wortartentagging. Zuletzt greift der Parser die vorherigen Analysen auf und führt sie folgerichtig weiter, was schließlich für unseren Gebrauch zu Problemen bei der Zusammenfügung und Extraktion der Elemente auf Lemmaebene führt.

Eine Besonderheit scheint hier bei generativen Sprachmodellen wie GPT (OpenAI et al. 2023) vorzuliegen, das in seiner Benutzeroberfläche (ChatGPT) die Anfrage kompletter Analysen ohne Unterteilung in verschiedene Analysebenenen zu erlauben scheint. So kommt folgendes Gespräch mit ChatGPT 4.0 zustande (angefragt am 11.10.2024):

Auch GPT scheitert allerdings an längeren Sätzen an der Zahl der möglichen Zuweisungsobjekte für für das flektierte Verb und die Partikel (Bsp. 7a, angefragt am 21.10.2024.). Zusätzlich sind die Ergebnisse nicht verlässlich replizierbar. So liefert ChatGPT bei unserer Wiederholung derselben Anfrage eine andere Ausgabe, siehe Beispiel 7b).^[24] Beide Antworten sind natürlich falsch, weil in beiden das Verb aufspringen nicht erkannt wird. Im ersten Fall gibt es sogar zwei Fehler: ein falsch nicht erkanntes Partikelverb, aufspringen (false Negative, s. u.) und ein fälschlich erkanntes, aufwedeln (false Positive, s. u.).

Dieses Beispiel zeigt, dass auch generative Sprachmodelle keine zuverlässig vollständigen oder linguistisch korrekten Ergebnisse liefern, selbst wenn es so wirken kann, als würden sie verstehen, was sie tun. Tatsächlich arbeitet jedoch jede maschinelle Analyse – auch die von ChatGPT (s. Abschnitt 3.1) – mit einer Aneinanderreihung von Analysefunktionen. Daraus ergibt sich eine wechselseitige Abhängigkeit mit zwingenden Folgefehlern, sobald ein Teil der Pipeline unpräzise arbeitet. Warum aber ist das auch nach jahrzehntelanger Forschung im Bereich der Computerlinguistik weiterhin der Fall? Wäre es nicht möglich, präzise arbeitende linguistische Analysetools zu entwickeln?

2.3 Grenzen des linguistischen Modells

Hier kommen wir zurück auf das Problem, dass es überhaupt nicht unstrittig ist, was genau als Partikelverb zählt und was nicht. Wie in Abschnitt 2 bereits erwähnt, sind sich Linguist:innen nicht einig, wie genau sich Partikelverben von anderen Strukturen abgrenzen und was als Verbpartikel zählen soll. Es muss also immer eine Entscheidung getroffen werden. Diese ist zunächst unabhängig vom Tool und leitet sich aus der jeweiligen Fragestellung und dem grammatischen Modell ab. Für die Erstellung eines synchronen Lexikons wie das GermaNet kann hier bspw. eine ganz andere Entscheidung nötig sein (siehe Hoppermann und Hinrichs 2014) als für die Analyse von Lernerdaten (siehe zum Beispiel Lüdeling, Hirschmann und Shadrova 2017). Grammatiken und allgemeine Abhandlungen können in gewisser Weise vage bleiben und lediglich zentrale Beispiele für Partikelverben auflisten. Tagger und Parser können das nicht – sie müssen in jedem Fall eine Entscheidung treffen.

In 8a, zum Beispiel, müsste eine Entscheidung zu runter Laden getroffen werden.^[29] Ist es ein Partikelverb, auch wenn es getrennt geschrieben und das eigentliche Verb hier groß geschrieben ist? Die meisten aktuellen Tokenisierer für das Deutsche trennen an Spatien. Dann würde runterführen in 8c als einziges klares Partikelverb gezählt, die anderen Fälle wohl nicht. Wäre das eine angemessene Beschreibung des Wortbildungsverhaltens hier? Wenn man sich für die Produktivität in der Wortbildung bei Lerner:innen des Deutschen als Fremdsprache interessiert, sollten 8a und 8b unbedingt mitbetrachtet werden.^[30]

Wenn man sich für die Schreibung interessiert, wäre es vielleicht die richtige Entscheidung, runter und laden getrennt zu analysieren. Interessant ist in diesem Zusammenhang Beispiel 8d, wo sich Verb und Partikel in Distanzstellung befinden: Hier kann die Schreibung keinen Hinweis geben – nur die linguistische Modellierung kann vorgeben, ob runterschlagen als Partikelverb klassifiziert werden soll. Auch wenn runter wahrscheinlich in allen Modellen als eine (mögliche) Verbpartikel zählen kann, zeigt sich schon an diesem Beispiel, wie sehr das linguistische Interesse und Modell auf der einen und die maschinelle Verarbeitung durch vorhandene Werkzeuge auf der anderen Seite auseinanderklaffen können.

Im Fall unpräzise arbeitender Modelle kann man, wenn man weiß, was man möchte, noch Nachverarbeitungsschritte einbauen. Wenn das linguistische Modell selbst unklar ist, ist es aber schwieriger. Wie oben beschrieben, wird in RIDGES das Wortartentagging auf der gegenwartsdeutschen Normalisierung durchgeführt. Das, was als Partikelverb gilt, kann sich jedoch über die Zeit verändern. Wenn man die Entwicklungen nachzeichnen möchte, muss man ein linguistisches Modell entwickeln, dass (a) der jeweiligen Sprachstufe gerecht wird und (b) Vergleiche ermöglicht.

Die Notwendigkeit und Grenzen einer linguistischen Modellierung zeigen sich auch an den Beispielen in 2.3. Soll darunð miſchen in 9a als Partikelverb gezählt werden? Die Schreibung können wir hier nicht heranziehen, Getrennt- und Zusammenschreibung haben sich erst entwickelt. Wir müssen aber bereits auf der Normalisierungsebene eine Entscheidung über Getrennt- oder Zusammenschreibung treffen – von dieser hängen dann weitere Analysen (Tokenisierung, Tagging, Lemmatisierung) ab. Das gilt dann genauso für die Distanzstellung in 9b. Wie oben für das Gegenwartsdeutsche beschrieben, müssen die Kriterien hier rein aus der linguistischen Modellierung kommen. In 9e haben wir das Problem, dass das (zusammengeschriebene) zuverstehen heute nicht als Partikelverb aufgefasst würde, sondern als Infinitivpartikel und verstehen, während das (genauso geschriebene) zubereiten heute als Partikelverb analysiert würde. Wir haben hier also nicht nur mit Unterschieden auf Ebene der Sprachdaten zu tun, sondern auch mit unterschiedlichen Kategorisierungsnormen und Systematisierungen. Wir können uns entscheiden, ob und wann wir ihnen folgen wollen. Das bedarf aber zunächst ihrer Reflexion und dafür eines Bewusstseins über ihre Existenz und Zusammenhänge, es gibt keine allgemein richtige Vorgehensweise.

Dazu können wir mögliche adjektivische, verbale und nominale Elemente betrachten. In einigen Fällen werden solche Elemente als Verbpartikeln gezählt, wenn sie zusammen mit dem Basisverb eine nicht semantisch transparente Verbindung eingehen (wie in oben genanntem Beispiel sitzenbleiben). Aber wie wäre Nichttransparenz festzustellen? Vor allem, wie wäre sie automatisch in einem Vorverarbeitungswerkzeug festzustellen?^[36] Köper (2018) und Bott und Schulte im Walde (2015) diskutieren automatisch durchzuführende Tests für die semantische Transparenz, aber auch diese können nicht von einem Tool zum Tokenisieren, Taggen oder Parsen durchgeführt werden, da sie auf einer vorherigen automatischen Analyse (nämlich dem Taggen und Parsen) beruhen. Das heißt, dass auch sie nicht definieren können, was Partikelverben sind, sondern aufbauen müssen auf anderen Entscheidungen. Was noch schwerer wiegt: Es gibt überhaupt keinen Grund zur Annahme, dass Partikelverben nicht auch transparent sein können. Durch produktive Muster werden ständig neue transparente Partikelverben gebildet. Warum sollte das bei Adjektiven, Nomen und Verben anders sein als bei anderen Erstgliedern? Hier wollen wir die Validität der einzelnen Analysen nicht diskutieren, sondern sagen: Jedes Tool nutzt eine linguistische Modellierung – oft, ohne diese genau zu spezifizieren. Für viele Variationsphänomene kann es ganz verschiedene Modelle geben – die Ergebnisse der Tools sind dann unterschiedlich. Man kann grundsätzlich nicht davon ausgehen, dass das Modell, das ein Tool nutzt, den eigenen Vorstellungen entspricht oder nah an den Anforderungen des eigenen Anwendungsfalls konzipiert ist.

3.1 Anwendungskontext automatischer Tools und ihre historische Entwicklung

Automatisierte Werkzeuge sollen uns helfen, die linguistischen Elemente im Fokus unserer Forschungsfrage(n) zu identifizieren und zu klassifizieren. Hierbei unterscheiden wir semiautomatische und vollautomatische Annotationen. Während erstere einer computergenerierten Klassifikation einen manuellen Kontroll- und Korrekturschritt folgen lässt, vertraut die vollautomatische Annotation der Analyse des Computers und liefert unmittelbare – und unkontrollierte – Inhalte. Wir möchten hier darlegen, warum das in der korpusgestützten linguistischen Forschung niemals eine gute Idee ist. Wenn der manuelle Annotationsschritt, den wir als wichtigen Bestandteil des Forschungs- und Erkenntnisprozesses verstehen, übersprungen wird, so kann dies nur gerechtfertigt sein, wenn wir zwei Dinge ausschließen können: Erstens, dass wir entscheidende neue Erkenntnisse über das betrachtete Phänomen verpassen. Und zweitens, dass die automatische Modellierung in einer für uns undurchsichtigen oder schwer zu kontrollierenden Weise inadäquat, fehlerbehaftet oder unvollständig ist. Beides halten wir insgesamt für nicht zu garantieren bis ausgeschlossen, wenn uns die Modelle und Arbeitsweisen der Tools, die wir verwenden, nicht relativ detailliert vertraut sind.

Computergestützte Werkzeuge zur automatischen Annotation lassen sich grob in zwei Gruppen einteilen: regelbasierte und statistische Werkzeuge. Letztere lassen dabei noch weitere Unterteilungen zu, auf die wir später zurückkommen.

Regelbasierte Werkzeuge bestimmen die Herleitung einer gewünschten Ausgabe in expliziten, d. h. les- und nachvollziehbaren, Anwendungsregeln auf Eingabedaten. Diese können direkt im Quellcode des computerlinguistischen Werkzeugs festgeschrieben oder teilweise oder ganz in externen Konfigurationsmechanismen, z. B. graphischen Oberflächen, einstellbar sein. Sie können außerdem menschengemacht oder maschinell induziert sein, wie bei Systemen und Methoden der automatischen Grammatikinduktion, deren Modelle auch ein Ergebnis maschinellen Lernens sind.

Bei der manuellen Entwicklung von Regeln für eine angemessene Klassifizierung des Forschungsgegenstands reichen oft zunächst relativ einfache Regeln, um eine große Menge der Elemente korrekt zu annotieren.

„Korrekt“ bedeutet in diesem Fall, dass Elemente, die zu unseren Klassen gehören, als solche erkannt werden (true Positives), während Elemente, die nicht zu unseren Klassen gehören, richtigerweise nicht erkannt werden (true Negatives). Wir werden aber auch fälschlich erkannte Elemente finden (false Positives) – dann leidet die Präzision (Precision) unseres Werkzeugs. Außerdem wird es Elemente geben, die nicht wie gewünscht als unsere Zielklasse ausgezeichnet werden (false Negatives). In diesem Fall spricht man von einem niedrigen Recall. Sollte es gelingen, die Precision auf einem fixen Zielmaß zu halten, erhöht sich der Recall in immer kleineren Schritten.^[37] Das lässt sich mit immer mehr, und oft auch komplexeren, Regeln bis zu einem gewissen Grad erreichen. Allerdings stößt dieses Aushandeln an eine natürliche Grenze, die weit unter dem liegt, was wir als Linguist:innen im Sinn haben. Nehmen wir an, ein System performt mit 90 % Korrektheit: Das wäre ein hoher Wert für viele maschinelle Analysemodelle, bei dem aber 100 von 1000 Vorkommen eines Phänomens nicht oder falsch erkannt würden. Obwohl sie nicht völlig ihre Daseinsberechtigung verloren haben – besonders in Forschungsansätzen, die an explizitem linguistischen Wissen interessiert sind (Bonfante et al. 2018; Guibon et al. 2020; Guillaume 2021) – entsprechen regelbasierte Ansätze darum nicht mehr dem heutigen Stand der computerlinguistischen Entwicklung (state of the art).

Stattdessen hat die Computerlinguistik sich größtenteils auf verschiedene statistische Ansätze verlegt. Hier lassen sich grob zwei Klassen unterscheiden:

Diese Ansätze haben unter Nutzung massiver Rechenleistung bis dahin ungekannte Erfolge in der automatischen Annotation erzielt, obwohl oder gerade weil sie auf die explizite Modellierung der Inputdaten verzichten. Immer komplexere neuronale Architekturen lösen auf immer größer werdenden Datensätzen eine oder mehrere Aufgaben. Diese Erfolge täuschen teilweise darüber hinweg, dass sich die funktionalen Ziele der anwendungsorientierten Computerlinguistik von denen der korpuslinguistischen Forschung unterscheiden. Der Verzicht auf die Explikation der sprachlichen Strukturen und Inhalte hat einen Preis für die forschungslinguistische Anwendung, denn als Voraussetzung für die Anwendung im Forschungskontext hatten wir unter anderem die Bedingung formuliert, dass dieser Prozess vollständig, fehlerfrei und adäquat modelliert. Die Vollständigkeit ließe sich für den konkreten Anwendungsfall automatisiert noch testen. Die Fehlerfreiheit und Adäquatheit sind aber nicht automatisiert prüfbar, denn für den Abgleich bräuchten wir ein vollständiges Regelwerk bzw. eine vollständige Definition der kontextuellen Korrektheit, die wir ja gerade nicht haben – sonst könnten wir ein regelbasiertes Modell entwickeln, das die Aufgabe vollständig erfüllt. Die Performance von Modellen des Representation Learning kann lediglich auf Testdatensätzen evaluiert werden. Selbst wenn diese zufriedenstellend ist, erlaubt das jedoch keine Generalisierung über die Korrektheit und Adäquatheit der Modellierung im linguistischen Sinn oder über die Performance auf einem beliebigen Datensatz. Dazu kommt, dass linguistisch interessante Datensätze häufig gerade nicht einem extrahierbaren Durchschnitt aus einer großen beliebigen Datenmenge entsprechen bzw. dass dieser Durchschnitt nicht der Dynamik der einzelnen Teildatensätze entspricht.

Zu dieser Problematik gehört, dass wir nicht bestimmen können, was die Maschine lernt und was nicht – mit anderen Worten: wir wissen nicht, was sie eigentlich tut. Ausgehend von den hohen Performancescores von computerlinguistischen Anwendungen ist die Vermutung durchaus berechtigt, dass die Software bei der schieren Menge an gesehenen Daten etwas gelernt hat, das auch für uns Linguist:innen von Interesse sein kann. Dies ist jedoch nicht garantiert. Insbesondere kann bspw. Overfitting auftreten (z. B. Li et al. 2017), d. h., es ist möglich, dass die Maschine ein spezifisches, idiosynkratisches Muster für eine Datenmenge perfekt gelernt hat, das sich aber nicht kategoriell auf andere Datenmengen übertragen lässt. Da wir eben nicht wissen, was die Maschine gelernt hat, können wir auch keine gezielte Fehlerbehebung ansteuern.^[38] Diese Feststellung disqualifiziert nicht den Einsatz automatischer Tools, ist aber ein wichtiger Hinweis zu deren angemessenem Einsatz im Forschungskontext, dem wir uns im Folgenden nähern wollen.

3.2 Das perfekte Tool und das menschliche Modell

Nehmen wir an, wir wollten unsere Annotationsaufgabe durch ein ideales Modell lösen. Es wäre ein neuronales Netz, das dem neusten Entwicklungsstand entspräche und das optimal die folgenden Aufgaben löst:

• die Auszeichnung und Klassifizierung von linguistischen Items (z. B. was ist ein Partikelverb und was ist eine Verbpartikel (siehe Distanzstellung)?) und

• die Annotation der Beziehungen zwischen diesen (Distanzstellung: Gehört zum beobachteten Verb eine Partikel innerhalb desselben Satzes?).

Dieses Netz erreichte in sich geschlossen, was man traditionell durch separate Anwendung zunächst eines Taggers und dann eines syntaktischen Parsers in Kombination versucht hätte. Wir möchten nun illustrieren, warum selbst unter so idealen Bedingungen ein Aussparen der linguistischen Analyse unserer Arbeit abträglich ist. Dafür erläutern wir die Arbeitsweise eines solchen statistischen Modells im Vergleich zur menschlichen Analyse.

Menschen entwickeln vor und während des Annotationsprozesses Annotationsrichtlinien, die eine Anleitung zur Operationalisierung der für die Forschungsfrage relevanten linguistischen Konzepte sind. Im Fall von Partikelverben verständigen wir uns auf die kleinsten zu annotierenden Einheiten, ihre technische Repräsentation sowie die Beziehungen, die zwischen ihnen bestehen können. Wir legen fest, was unsere kleinsten Einheiten als Partikelverb oder Verbpartikel qualifiziert und beginnen mit der Klassifizierung. Typischerweise schon bald stellen wir fest, dass unsere Richtlinien nicht ausreichen. In der Regel ist das ein Indikator, unser linguistisches Modell – also unser Verständnis des Phänomens – anzupassen und die Richtlinien zu überarbeiten. Ein wichtiger Schritt hierbei: Wenn unsere selbstgebauten Trainingsdaten den Anforderungen unseres linguistischen Modells nicht gerecht werden – sich also herausstellt, dass unsere erste Kategorisierung eigentlich gar nicht unseren linguistischen Vorstellungen entspricht – wenden wir es gar nicht erst an, sondern überarbeiten zunächst unser linguistisches Modell und/oder unsere Richtlinien, dann die Trainingsdaten.

Unser statistisches Modell arbeitet anders. Die zu annotierenden Daten müssen lediglich formale Standards erfüllen, d. h. sie müssen dem Modell in einem bestimmten Format und der richtigen Kodierung zugeführt werden (bei Large Language Models wie GPT-4 ist diese Schwelle besonders niedrig). Der Berechnungsweg für die Ausgabe ist strikt vorgegeben und konzeptuelle Abwägungen bzgl. der Anwendbarkeit der gelernten Kategorisierung auf die vorliegenden Daten finden nicht statt. Es wird eine Ausgabe erzeugt, deren Grundlage die in den Trainingsdaten gesehenen sprachlichen Muster sind, nicht ihre linguistische Abstraktion. Eine vordefinierte mathematische Formel wird berechnet und das Ergebnis in weiterverarbeitbarer und lesbarer Form ausgegeben. Es finden keine logischen Schließprozesse, sondern lediglich (wenn auch hochkomplexe) Berechnungen statt. Diese sind stets deterministisch, d. h., sie passen sich nicht dynamisch an veränderte linguistische Realitäten oder unvorhergesehene Kontextabhängigkeiten an.^[39] Das bedeutet, dass es sich bei allen Berechnungen dieser Art um eine Übertragung einer Analyse eines Datensatzes auf neue Daten handelt, nicht um eine Neuanalyse, wie sie linguistische Forscher:innen vornehmen würden.

3.2.1 Das Tool und seine Trainingsdaten

NLP-Tools erzeugen durchaus hervorragende Ergebnisse auf ihren Trainingsdaten – sie sind schließlich darauf optimiert, genau die erwartete Ausgabe zu generieren. Daraus folgt aber nicht, dass sie uns helfen, Sprache besser zu verstehen, und auch nicht, dass sie vollautomatisch die Klassifizierung unserer Daten übernehmen können. Dies liegt auch an der konkreten Zusammensetzung der Trainingsdaten. NLP-Tools können in einer von zwei Varianten eingesetzt werden:

1. Das Tool verfügt bereits über ein extern vortrainiertes statistisches Modell, die Parameter zur Berechnung des Outputs sind in ihrer Anordnung fest und mit Werten vorbelegt.

2. Wir haben selbst bereits einen Teil unserer Daten annotiert und nutzen diesen Teildatensatz als Trainingsdaten für das statistische Modell unseres Tools, wir beeinflussen also die Belegung der Parameter mit Zahlenwerten.

Im linguistischen Forschungsalltag rechnen wir mit dem ersten Fall. Nehmen wir optimalerweise an, die Trainingsdaten sind händisch mit einem festgelegten Annotationsschema vorannotiert, das das mögliche Output des NLP-Tools festlegt. Selbst im Idealfall passt dieses Annotationsschema nicht zwingend zu unseren Daten oder unseren linguistischen Vorstellungen. Zudem wissen wir nicht, welcher Grad an theoretischen Überlegungen das Annotationsschema des Tools beeinflusst hat und ob diese mit dem von uns gewählten Verstehensansatz vereinbar sind. Darüber hinaus kann das Annotationsschema auch dafür gewählt sein, die Performance auf den Trainingsdaten zu optimieren oder umgekehrt, um eine generische Kompatibilität mit möglichst vielfältigen Daten zu organisieren (de Marneffe et al. 2021). Ein in dieser Weise zweckgebunden optimiertes Annotationsschema passt fast sicher nicht zu unserem Forschungskontext.

Nehmen wir aber kurz einmal an, dass sowohl das Annotationsschema selbst als auch die ihm zugrundeliegenden Annahmen mit unseren theoretischen Vorstellungen von Partikelverben vereinbar sind. Auch dann hat dies nicht zur Folge, dass der Annotationsprozess unserer Daten komplett automatisiert erfolgen kann. In einem solchen Fall rückt die natürliche Heterogenität sprachlicher Daten und damit eben die Unterschiedlichkeit der Trainingsdaten des statistischen Modells im Vergleich zu unseren Daten ins Zentrum. So ist es höchst unwahrscheinlich, dass unsere neuen Daten den Trainingsdaten so sehr gleichen, dass dieser Aspekt vernachlässigbar wäre. Das ist in diesem Fall keine Frage der grundsätzlichen Abstrahierbarkeit von Phänomenen, wie sie sich epistemologisch in allen Fachbereichen mit variierenden Gegenständen stellt: Menschliche Analysen vergleichen Gegenstände sinnentnehmend, um daraus Systematiken zu abstrahieren. So ist die Abstraktion bereits in der Wahl der Vergleichsaspekte enthalten. Computerlinguistische Tools hingegen vergleichen Strings und bilden dann Musterhaftigkeiten – nicht Sinnhaftigkeiten – auf andere Strings ab. Datensätze variieren jedoch inter- und intra-individuell, beispielsweise bzgl. Diachronie, Register, Autor:innenschaft, Sprechsituation und Beziehung zwischen den Sprecher:innen, Sprecher:inneneigenschaften, Sprachkontakt, Entstehungskontext und vieler weiterer Faktoren, die zusammen einen enormen Einfluss auf die Verteilung linguistischer Formen und Phänomene in unseren und den Trainingsdaten haben. Es ist im Einzelfall durchaus möglich, dass einige dieser Aspekte sich für den jeweiligen Zweck hinreichend ähnlich zwischen zwei Datensätzen verhalten. Diese Eigenschaft ist aber modellbezogen, d. h. sie verhält sich relativ zur Forschungsfrage, nicht zu den Strings. Die Maschine kann diese Einschätzung nicht treffen und versucht es auch nicht. Sie bildet schlicht ab, was sie auf anderen Strings musterhaft gelernt hat.

Ließe sich daraus nicht ableiten, dass ein NLP-Tool mit einem statistischen Modell, das möglichst vielseitige Daten bzgl. der genannten Faktoren in seinem Trainingsprozess gesehen hat, in der Lage sein sollte, adäquate Resultate zu erzeugen? Tatsächlich ist dies unwahrscheinlich, gerade weil die sprachliche Variation entlang der genannten Faktoren so stark ist. Denn die Trainingsdaten sind ja keine Menge gemittelter Sprache, sondern eine Menge kontextualisierter Sprache, die nur durch die Abstraktion von fast allen relevanten Variablen überhaupt gemittelt werden kann. Anders gesagt, ein Durchschnitt mit sehr hoher Varianz nützt niemandem, der ein Ergebnis für den Einzelfall möglichst präzise voraussagen will. Es ist also grundsätzlich nötig, eine Fehlerabschätzung auf einem Teil der eigenen Daten vorzunehmen, selbst wenn man sich für eine automatische Annotation entscheidet. Dafür bedarf es aber wiederum einer Lösungsschablone, also eines definierten Modells für den Einzelfall – und das lässt sich nur manuell als Ergebnis eines linguistischen Abwägungsprozesses definieren.

Abbildung 5:

Die Klassifizierung beobachteter Wortformen läuft beim Menschen anders ab als bei der Maschine. Maschine 1 und 2 unterscheiden sich zunächst quantitativ und/oder qualitativ bzgl. ihrer Parameter (Werte, Anordnung, Anzahl, o. ä.) und kommen in ihrer Berechnung zwar zum gleichen Ergebnis, aber mit unterschiedlicher Sicherheit, was sich in den unterschiedlichen Wahrscheinlichkeitswerten der Klassen A und B ausdrückt. Eine Ursache für diesen Unterschied ist, dass Maschine 1 und 2 nicht auf den gleichen Daten trainiert wurden. Ob A „Partikelverb“ und B „kein Partikelverb“ bedeutet oder andersherum, liegt in der Konvention des Modells. Die Entscheidung, ob das Tag A oder B vergeben wird, hängt dann von den anderen kontextuellen Berechnungen ab. Beide Maschinen arbeiten erkennbar modular. Anders als beim Menschen ist die Funktion der einzelnen Module und ihre genaue Gestalt allerdings nicht immer von außen erkennbar. Der Mensch hingegen bezieht in seine Entscheidung die für sein Urteil relevanten Faktoren mit ein, wobei diese auf linguistischen Kategorisierungen basieren und in Richtlinien festgelegt sind. Im Beispiel sind es die Distanzstellung, die Partikelbetonung und ein möglicher Eintrag in ein Vergleichslexikon sowie weitere mögliche Faktoren, die den:die Annotator:in zur positiven Klassifizierung als Partikelverb bewegen. Auch wenn die Maschinen zum kontextuell gleichen Ergebnis kommen, ist das Modell nicht identisch und nicht einmal wirklich vergleichbar, da die Entscheidungsinhalte der Maschine oblik bleiben. Selbst wenn die Maschine in allen Fällen in den gewählten Daten zum selben Ergebnis käme, bedeutet das nicht, dass ihre Repräsentationen den menschlichen entsprechen (s. dazu auch der kluge Hans, ein Pferd, das scheinbar zählen konnte – jedenfalls hob es auf Kommando die richtige Anzahl Male seinen Huf. In Wirklichkeit reagierte Hans auf kleine Signale in der Körpersprache seines menschlichen Auftrittspartners (Pfungst 1907)). In unserem Beispiel wird die Kategorisierung der beiden maschinellen Modelle aber auch nicht in allen Fällen zum selben Ergebnis kommen, da die Kategorienverteilungen (Wahrscheinlichkeit der Kategorie A/B) sich unterscheiden. Welche gemessen am menschlichen Urteil besser performt, lässt sich allgemein nicht beantworten. Wahrscheinlich scheitern beide an wichtigen Punkten.

Die Abhängigkeit des Tools von seinen Trainingsdaten und eine Festlegung des statistischen Modells auf eine hohe Wahrscheinlichkeit bestimmter sprachlicher Strukturen schließt heute nicht mehr aus, dass auch Vorhersagen für ungesehene Formen und Strukturen erzeugt werden können. Wir haben das bereits am vom Treetagger angenommenen Verb dingen weiter oben gesehen. Diese müssen auch nicht zwingend falsch oder gar zufällig sein. Die Stärke moderner neuronaler Modelle als Modelle des Representation Learning liegt auch darin, Muster identifizieren zu können, die sich der regelbasierten Beschreibung durch Ableitungen aus einem gegebenen Lexikon entziehen. Darin liegt aber gleichzeitig die Schwäche solcher Modelle. Sie schließen eben nicht linguistisch, wie es den Anschein haben mag. Stattdessen generalisieren sie durch Anwendung der gelernten mathematischen Funktion, was mal mehr und mal weniger gut funktioniert, d. h., sie übertragen gleichbleibende Muster – die wir nicht kennen und nicht verstehen – auf unterschiedliche Daten. Mit Blick auf linguistische Fragestellungen ist das oft zu ungenau (siehe auch Abbildung 5), weil unsere Anwendungsdaten nicht den Strukturen entsprechen, die das Modell kennt. Wichtiger ist aber, dass die Maschine nicht zweifelt. Sie hört nicht auf zu analysieren, weil sie etwas nicht kennt oder es nicht zu ihrem Training passt. Sie wird vielmehr das nächstwahrscheinliche Muster als Analyseergebnis anbieten. Dabei ist Nähe hier ebenfalls nicht linguistisch, sondern mathematisch anhand der eigenen – oft unbekannten – Parameter der Maschine definiert. Es kann zu ganz guten Annäherungen kommen oder auch zu völlig falschen Ergebnissen. Leider wissen wir nie, wann welcher Fall eintritt und es ist für uns auch nicht zu erkennen, bei welchen Fällen die Maschine überhaupt zweifeln hätte sollen. Die maschinelle Analyse ist also auch in dieser Hinsicht keine Automatisierung des menschlichen Analyseprozesses, denn sie analysiert nicht wie ein Mensch, d. h. in einem epistemologischen Sinn, durch die kontextuell spezifizierte Verbindung verschiedener Konzepte und Anforderungen. Wo die menschliche Analyse Konzepte und Inhalte sinngemäß abstrahiert, verschiebt die Maschine Muster, die sie als optimal für die Beschreibung der Zeichenfolge in einer vorherigen Datenmenge betrachtet hat, auf eine neue Datenmenge.

Abbildung 6:

Syntaktische Annotation eines Partikelverbs nach dem SUD-Schema anhand eines Beispiels aus dem Falko-Korpus (cbs001_2007_10_L2v2.4)

Abbildung 7:

Syntaktische Annotation eines Partikelverbs nach Foth (2006) anhand eines Beispiels aus dem Falko-Korpus (cbs001_2007_10_L2v2.4)

5.1 Überlegter Umgang mit erwartbarer Ambiguität

Neben den bisher beschriebenen Kategorisierungsprobleme, die durch ein (ggf. noch) unklares Verständnis des zu bearbeitenden Phänomens entstehen und die nur durch eine tiefere Auseinandersetzung mit dem Phänomen wirklich ausgeräumt werden können, sind unterschiedliche Arten von Ambiguität zu erwarten. Sie erfordern jeweils eigene Strategien. Einige sind grundsätzlich nicht auflösbar: Bei einer Lacuna (einer Textlücke) in einem historischen Dokument kann es sein, dass der Kontext eines Wortes nicht mehr herstellbar ist und es nie wieder sein wird, ähnlich ist es bei Unleserlichkeiten in handschriftlichen Daten. Diese Ambiguitäten generieren Lücken im Text, für die vor allem eine technische Entscheidung zu treffen ist (sollen z. B. Token leer bleiben dürfen/will man eine Abbildung der Lücke? Darf die Lücke ggf. als Nomen oder Verb interpretiert werden, wenn dadurch syntaktische Abhängigkeiten ermöglicht werden?). Strukturelle Ambiguitäten hingegen werfen konzeptuelle Fragen auf. Hierbei ist zu unterscheiden zwischen solchen, die grundsätzlich innerhalb eines Modells aufgelöst werden können – die also kontextuell eindeutige Kategorisierungen erlauben – und solchen, die auch im Kontext ambig bleiben. Zu ersteren zählt z. B. die Homomorphie des Voll- und Auxiliarverbs haben, zu den zweiten etwa die Interpretationsambiguität der Einbindung von Präpositionalphrasen an einzelne Nomen oder als Satzattribut am Vollverb (co-lexification und co-grammification nach Haspelmath 2023).

In der maschinellen Analyse ist dem Umgang mit struktureller Mehrdeutigkeit oft durch eine Entscheidung in eine festgelegte Richtung ausgewichen worden. Bei der Anbindung von Präpositionalphrasen im Satz erfolgt in manchen regelbasierten Parsern beispielsweise immer eine Anbindung an den jeweiligen Satzknoten, und im Stuttgart-Tübingen-Wortartentagset (STTS) wird für haben und sein immer das Auxiliar-Tag VA vergeben, selbst wenn sie im konkreten Fall Vollverben sind (s. bspw. Westpfahl et al. 2017). In solchen Fällen ist einerseits klar, was zu erwarten ist, andererseits können bestimmte Phänomene nicht ohne Weiteres untersucht werden oder müssen aufwändig manuell auseinandersortiert werden. Eine Variante davon sind neuere Lösungen, die den Kontext einbeziehen, also für homographe Formen aus einer Auswahl von möglichen Labels das Wahrscheinlichste wählen. Auch hier wird aber für oberflächenähnliche Kontexte (d. h. nicht zwingend analytisch ähnliche Kontexte) immer dasselbe, eben das wahrscheinlichste, Label verwendet.

Die linguistische Kategorisierung geht hier natürlich nicht statistisch, sondern kategoriell vor. Das Problem ist, dass das, was als Kontext und korrekte Kategorisierung gilt, auch für den Menschen für verschiedene Ausdrücke unterschiedlich sein kann. Bei der Frage, ob ein beliebiges an in einem Satz eine Verbpartikel oder eine Präposition ist, braucht man syntaktischen Kontext und ein syntaktisches Modell. Wenn man sich aber fragt, ob ein an in einem Wandelkontext bereits eine Verbpartikel ist oder noch eine Präposition, braucht man ein syntaktisches Modell für eine bestimmte Sprachstufe und eine Vorstellung davon, welche Variation in der betrachteten Sprachstufe vorherrscht. Für solche prinzipiellen Fragen bedarf es einer Annotationsrichtlinie, die kontextuell angemessene Entscheidungen festlegt. Manche Ambiguitäten sind dann zwar prinzipiell auflösbar, werfen aber technische Herausforderungen auf, z. B. weil sie doppelte Abhängigkeiten ausdrücken. Im Partikelverbkontext betrifft das häufig die Verwendung von Ellipsen und Auslassungen: Er schiebt die Tasse rüber und die Tür zu (rüber und zu hängen beide von schieben ab, das lässt sich dependenzgrammatisch leicht umsetzen, erfordert aber eine Lösung für die Lemmatisierung von [rüber|zu]schieben) oder Er drückt und schiebt die Tür zu (zu hängt von zwei Köpfen ab, das lässt sich dependenzgrammatisch nicht umsetzen). In diesem Fall muss eine Entscheidung getroffen oder das Modell so angepasst werden, dass es doppelte Kopfzuweisungen erlaubt und auch technisch ermöglicht. Interessanter noch wird es, wenn Kategorien unscharf definiert sind, wie wir es in vielen Beispielen oben (z. B. Klavier spielen) gesehen haben. Hier kann es auch auf Grundlage derselben grammatischen Modelle, sofern sie diesen Fall nicht explizit behandeln, zu unterschiedlichen Einschätzungen – also Unsicherheiten – kommen.

Hier ist wichtig, zu verstehen, dass Menschen unter Unsicherheit nicht modellrational denken, sondern heuristisch (s. a. Chen et al. 2014, Griffin et al. 2001 und Tversky und Kahneman 1974), und dass dabei verschiedene kognitive Verzerrungen (Biases) und Kategorienverkettungen auftreten, die nicht unbedingt dem Forschungsziel entsprechen. Besonders häufig entstehen dann entweder „Restekategorien“, in denen sich alles sammelt, was nicht in die anderen Kategorien passt, oder Kategorien auf Basis von Familienähnlichkeiten. Bei der Familienähnlichkeit handelt es sich um ein Kategorisierungprinzip, das von einer Verkettung von Teileigenschaften der Elemente einer Menge ausgeht (s. a. Wittgenstein 1967 und Wennerberg 2011; ähnliche Konzepte finden sich in kognitiv-semantischen Modellen wie Prototypentheorien oder Exemplarmodellen, siehe bspw. Divjak und Arppe 2013). So sehen die Mitglieder einer Familie einander häufig mengenweise ähnlich: Vielleicht haben zwei Mitglieder dieselbe Nasenform, eins davon teilt sich mit einem dritten außerdem die Haarfarbe, während das andere eine andere Haarfarbe hat, aber eine ähnliche Statur wie ein viertes etc. Insgesamt ergibt sich somit ein Pool von Eigenschaften, deren Verkettung als Ähnlichkeitsprinzip der gesamten Menge wahrgenommen wird, obwohl nur jeweils wenige Elemente sie tatsächlich teilen. Im Korpus hieße das, Element 2 in Kategorie A zu sortieren, weil es so ähnlich ist wie Element 1, das nach seinen Eigenschaften schon in Kategorie A ist: einpacken ist wie wegpacken ist wie wegräumen ist wie verräumen – Moment, das letzte ist kein Partikelverb.^[42]

Eine so gewachsene Kategorisierung ist teilweise willkürlich und teilweise pfadabhängig. Sie ist willkürlich, weil sie Elemente nach Eigenschaften kategorisiert, die den Annotierenden zufällig auffallen, statt nach festgelegt modellrelevanten. Sie ist pfadabhängig, weil nach Eigenschaften kategorisiert wird, die von den Eigenschaften zuvor kategorisierter Elemente abhängen, also von der Reihenfolge, in der sie den Annotierenden begegnen.^[43] Sie ist außerdem ungünstig für die weitere Analyse, da man somit (unabsichtlich) gerade die interessanten Fälle an den Kategoriengrenzen quasi-beliebig verteilt, damit den direkten Zugriff verliert und alle betroffenen Kategorien um Zweifelsfälle anreichert (also verwässert).

Besser ist es, erkannte Unsicherheiten als solche explizit zu machen, indem man sie als unsicher klassifiziert. Dafür können spezielle Tags („möglichesPartikelverb“) oder eine eigene Annotationsebene mit einer Quanti- oder Qualifizierung der Sicherheit (sicher – unsicher – möglich; 0, 0.5, 1; etc.) eingeführt werden. Dann können alle unsicheren Fälle gesammelt ausgegeben und verglichen werden, was die Gesamtpräzision erhöht und außerdem erlaubt, sie gesammelt aus der Analyse auszuschließen oder zur Schärfung der bislang unsicheren Kategorien weiterzuverwenden. Zugrunde liegt auch hier die Komplexität des Konzepts von Ähnlichkeit in der Abstraktion, das wir in diesem Artikel bereits aus unterschiedlicher Perspektive diskutiert haben.

5.2 Modellstruktur: Multi-Layer Thinking

Man kann vergleichsweise viel Ambiguität und Unschärfe umgehen, indem man mehrstufige Konzepte in granulare aufteilt. Nehmen wir an, man wolle etwa eine semantische Kategorisierung von Partikelverben im Korpus vornehmen, die Richtung und Bewegungsart berücksichtigt (rausrennen vs. rausbewegen vs. mitrennen vs. mitbewegen). Hier könnte man z. B. vier verschiedene Kategorien bilden (Art+Richtung, nur_Richtung, nur_Art, weder_noch). Alternativ könnte man Art und Richtung in jeweils einer Spalte annotieren (ja/nein, 1/0 o. ä.). Häufig sind Annotator:innen überzeugt, eine kombinierte Annotation wäre schneller und einfacher, als die Bestandteile einzeln zu annotieren – man müsste nur einmal annotieren und am Ende stünde man ja wieder mit denselben Kombinationen da. Tatsächlich zeigt sich diese Praxis in der Erfahrung als ineffizient und fehleranfällig. Zum einen wird das Arbeitsgedächtnis stärker davon belastet, mehrere Informationen zu verarbeiten, was sowohl die Konzentrationsdauer einschränkt als auch die Fehlerzahl erhöht. Das gilt besonders, wenn eines der Entscheidungsmerkmale unsicher ist und darum immer wieder Zweifel und Fragen aufwirft (s. o. – Heuristiken bei Unsicherheit). Zusätzlich erhöht eine getrennte Annotation die Präzision und die Transparenz über die Kategorienschärfe und erlaubt außerdem nachträgliche Änderungen mit weniger Einbußen. Weiß ich z. B. sicher, was eine Richtung in meinem Modell ist, während die Kategorie Bewegungsart mit größeren Unschärfen belegt ist, so bleibt die sichere Teilinformation präzise erhalten, selbst wenn im späteren Verlauf eine andere Teilinformation geändert, verworfen etc. wird. Wird eine Teilinformation (z. B. nur Richtung) im Kontext anderer Kategorisierungen und Forschungsfragen benötigt, lässt sie sich schnell neu kombinieren, ohne die unerwünschte Information vorher filtern zu müssen. Grundsätzlich ist natürlich möglich, dass hierbei emergente und kumulierte Effekte auftreten, dass also ein Phänomen auf Ebene X systematische Auswirkungen auf Ebene Y hat. Umgekehrt bedeutet ein Verständnis der Ebene Y nicht zwingend ein Verständnis der Ebene X. Somit hilft der Grundsatz eine Information – eine Ebene auch bei der Bewältigung der Komplexität im eigenen Verständnis, da die Bestandteile der Konzepte transparent bleiben. Außerdem kann eine reduktionistische Aufteilung dieser Art bei der Kategorisierung die Erkennung von Emergenzen erleichtern: Es ist leichter, zu erkennen, dass zwei bestimmte Kategorienlabels zuverlässig eine dritte Kategorie ergeben, als dass eins von fünf Labeln in Wirklichkeit aus zwei nicht annotierten Unterkategorien zusammengesetzt ist.

5.3 Schnittstelle zum Analysemodell

Eine häufige Frustrationsquelle bei der Korpusauswertung betrifft die fehlende Passung von Annotations- und Analysemodell, also die Frage, wie man von den annotierten Korpusdaten zu quantitativen Erkenntnissen kommt. Hierzu zählt Zusammenspiel der Annotationskategorien, die technische Modellumsetzung mit (bzw. ohne) Isolier- und Extrahierbarkeit der gewünschten Datenaspekte aus dem Korpus sowie Annahmen und Leerstellen der eingesetzten quantitativen Modelle. Hier ist es notwendig, immer von der Forschungsfrage und der vorgesehenen Analyse auszugehen. Was will ich zählen? Wörter, Silben, Phone, Ausdrücke? Welche Teilaspekte spielen dabei eine Rolle? Interessiere ich mich z. B. für die Produktivität von Partikelverben mit Richtungspartikeln, muss ich einerseits entscheiden, was als Richtungsangabe zählt (einbiegen?) und andererseits, ob ich parallele syntaktische Varianten zum Vergleich zählen will (Er biegt in die Straße?). Ich sollte aber auch eine Vorstellung davon haben, was ich am Ende vergleichen will – z. B. die Zahl der Vorkommen? Die Zahl der Types? Die Zahl der Types der einzelnen Bestandteile (Partikel vs. Basis)? Will man z. B. Silben vergleichen, muss das entweder durch die Tokenisierung oder durch die Markierung relevanter Silben möglich sein, oder man muss anhand der extrahierten Lexeme eine Möglichkeit finden, sie nachträglich zu extrahieren. Will man Verteilungen von Aspekt und Aktionsart vergleichen, müssen beide Kategorien getrennt voneinander extrahierbar sein.

Was offensichtlich und nahezu trivial klingt, ist in der Praxis nicht immer leicht umzusetzen, da Forschungsprozesse nicht deterministisch sind und häufig erst in der Auseinandersetzung mit den Daten ihre endgültige Form annehmen (s. a. Shadrova, Klotz et al., erscheint). Es spart dennoch viel Zeit und Ärger, wenn man vor (je)der Annotation eine Beispielrechnung für das eigene Analysemodell anhand einer kleinen Menge annotierter Daten vornimmt.

Eine solche Vorstellung zu haben ist besonders dann wichtig, wenn mehrere Vergleichskategorien, z. B. Aspekt, Aktionsart, Adjazenz- vs. Distanzstellung, Tempus, Modus etc. zusammenkommen. Während einerseits bekannt ist, dass natürliche Sprache in höchstem Maß multifaktoriell bedingt und beeinflusst ist, ist andererseits ein Vergleich von solchen kaleidoskopischen Faktorenverbünden quantitativ sehr schwierig und wissenschaftspraktisch kaum beherrschbar. Eine gute Lösung ist hierbei die Reduktion entweder auf ein beherrschbares Maß an Komplexität oder auf eine überschaubare Menge von Daten, sodass die Kategorisierung noch manuell korrigiert werden kann. Die vollständige Annotation aller denkbaren Kategorien und Extrapolation über erkannte Muster empfiehlt sich grundsätzlich nicht, da durch das kombinatorische Potential zu viele Einzelfälle entstehen, die nicht interpretier- und häufig nicht einmal mehr im Rahmen einer wissenschaftlichen Publikation beschreibbar sind.

5.4 Systematisierung von Verzerrungen

Aus der Verbindung von Desambiguierung und Definition der Schnittstelle zum Analysemodell ergibt sich auch die Notwendigkeit eines überlegten Umgangs mit Verzerrungen. Auch wenn eine Unsicherheitskategorie eingeführt wird, muss entschieden werden, ob sie schlussendlich als positiver oder negativer Fall in die Zählung einfließt oder gar nicht. Ist es besser, wenn ich möglichst viele potentielle Fälle meines Phänomens erkenne? Eine solche maximale Annotation ist günstig, wenn das Forschungsinteresse zum Beispiel der Menge, also dem Potential der möglichen Varianten gilt, nicht dem Grad der Variabilität. Oder ist es besser, wenn ich nur eindeutige Fälle als solche zähle? Das ist günstiger, wenn man den Grad eines Phänomens einschätzen will („es ist mindestens so ausgeprägt wie beschrieben“). Oder will ich zwei Kategorien als Entweder-Oder annotieren? Dann kann ich entweder eine Kategorie als Basis behandeln (im Zweifel Kategorie X) oder eine dritte Kategorie „weder noch“ oder „beides möglich“ einführen. Ungünstig ist es, solche Zweifelsentscheidungen den einzelnen Annotierenden zu überlassen, da hier neben den bereits genannten Familienähnlichkeiten häufig kognitive Verzerrungen und Prozessprodukte auftreten, wie z. B. die Überannotation einmal geprimter, häufiger oder salienter seltener Kategorien.

Es hat sich zudem als hilfreich erwiesen, eine Fehlerabschätzung anhand einer kleineren Stichprobe vorzunehmen. Das erlaubt zum einen eine Einschätzung der Sicherheit der verbleibenden Daten relativ zu den eigenen Vorstellungen. Ist z. B. eine Fehler- oder Unsicherheitsrate von fünf Prozent bei zehntausend annotierten Datenpunkten akzeptabel? Was ist mit 15 Prozent bei tausend Datenpunkten? Zum anderen ergeben sich hieraus auch Einblicke in mögliche Probleme der vorliegenden Kategorien. Konzentrieren sich die meisten Fehler z. B. auf eine oder zwei Kategorien, sind andere Schlussfolgerungen zu ziehen, als wenn die Fehler weitgehend gleichverteilt sind.

5.5 Teile und herrsche

Bleibt die Datenmenge oder die Komplexität des linguistischen Modells weiterhin zu hoch, ist es günstig, nach weiteren Teilbarkeiten zu suchen. Eine Möglichkeit ist hierbei die Aufteilung über die Zeit, d. h. ein iteratives Vorgehen. Hierbei wird in einer ersten Stufe eine Teilannotation – idealerweise die am besten beherrschbare (einfachste) – hinzugefügt. Das kann zunächst auf einem Teil der Daten geschehen. Oftmals bringt schon die Annotation einer relativ geringen Teilmenge der Daten wichtige konzeptuelle Probleme ans Licht, sodass es nicht nötig ist, viel Zeit und Energie auf die vollständige Annotation aufzuwenden. In einem Zwischenschritt wird der Prozess dann evaluiert. Welche konzeptuellen Probleme traten auf? Welche Kategorien waren davon betroffen? Lässt sich das Problem durch eine Aufteilung der problematischen Kategorien in weniger problematische beheben? Ist es möglich, die gesammelten, also als solche annotierten, Problemfälle zu klassifizieren? Liegt hier ein linguistisches Problem vor, gibt es strukturelle Ambiguitäten?

Ein iteratives Vorgehen bedeutet sowohl, dass schrittweise vorgegangen wird, als auch, dass die Perspektive nur bewusst gewechselt wird und zu jeder Zeit klar ist, an welchen Konzepten gerade gearbeitet wird und an welchen nicht. Das setzt natürlich ein Bewusstsein über die eingesetzten Modelle zu jeder Zeit voraus. Ungünstig ist es, gleichzeitig mehrere Annotationsebenen zu korrigieren oder die Kategorien zu verändern, während (bzw. weil) man das quantitative Modell definiert.

In einem globaleren Sinn empfiehlt sich die Aufteilung in beherrschbare Datensets auch durch die Begrenzung der Datenmenge, nämlich durch den Einsatz von kleinen bis mittelgroßen, tief annotierten Korpora. Hier wird häufig ein Missverhältnis zwischen den Annotationsmöglichkeiten einerseits und dem Bedarf nach Kontrolle aller bekannten Einflussfaktoren und den Ansprüchen der quantitativen Analysemodelle andererseits wahrgenommen. Das gilt besonders bei Arten der quantitativen Analyse, die viele Datenpunkte für ausreichend starke Effekte voraussetzen. Wir argumentieren an der Stelle dafür, diese Herangehensweise methodologisch zu hinterfragen und stattdessen auf Analysemethoden zu setzen, die keine riesigen Datenmengen verlangen. In jedem Fall aber, und besonders bei der Analyse komplexer Phänomene (Definitheit, Informationsstruktur), lohnt es sich, zunächst auf kleine Korpora zu setzen. Unter sehr günstigen Umständen erfährt man durch die Annotation der kleinen Datenmenge genug über die Strukturen, sodass eine teilmaschinelle Annotation für folgende Datenerhebungen ermöglicht wird. In jedem Fall erhält man tiefe Einsichten über den eigenen Datensatz und ist nicht darauf zurückgeworfen, der Maschine mit unbekannten Fehlerquellen und -raten zu vertrauen, denn:

5.6 Algorithmen sind keine vertrauenswürdigen Linguisten

In den vergangenen zwanzig bis dreißig Jahren hat sich in breiten Teilen der empirischen Linguistik eine starke Tendenz zum Einsatz von statistischen oder komputationellen Analysemodellen herausgebildet. Diese ist beeinflusst von der experimentellen Psychologie und der empirischen Sozialwissenschaft mit einer Reihe statistischer Analysemodelle. Drei Zweige spielen dabei eine besondere Rolle: multifaktorielle Clusteringmodelle durch PCA (Principal Component Analysis), besonders bekannt durch die multidimensionale Textanalyse von Douglas Biber (Biber 2019; Biber und Jones 2009), komplexe Regressionen, häufig eingesetzt in experimentellen Zweigen z. B. der Psycholinguistik, Spracherwerbsforschung und Phonetik/Phonologie, und heuristische Verfahren der Informationsextraktion, z. B. Topic Modeling oder Sentiment-Analyse, die in jüngerer Zeit einen hohen Stellenwert in den textbasierten Digitalen Geisteswissenschaften einnehmen (s. a. Shadrova 2021).

Obwohl diese Ansätze wichtige Unterschiede zueinander besitzen, teilen sie das gemeinsame Anliegen, mit komplexen Berechnungen zentrale Faktoren oder Kombinationen aus manuell unüberschaubar großen Datenmengen zu extrapolieren. Hierbei kommt es oft zu demselben Missverständnis wie in unseren bisherigen Ausführungen: Was numerisch zentral, minimal oder maximal ist, muss linguistisch keineswegs äquivalent oder überhaupt plausibel sein.^[44] Weil aber die zugrundeliegenden Algorithmen in der Regel für Linguist:innen nur schwer zu durchschauen sind, gibt es – noch mehr als bei den Ausgaben von Taggern oder Parsern – eine Tendenz dazu, das Ergebnis als modellrelevant, d. h. als bedeutsam im linguistischen Sinn, zu interpretieren. Während bei Taggern oder Parsern mit vergleichsweise geringem Aufwand durch die Überprüfung einer kleinen Ergebnismenge eine Fehlerabschätzung vorgenommen werden kann, ist das v. a. bei Clustering-Algorithmen und komplexen Regressionen in der Regel nicht möglich. Hierbei stellen sich grundsätzliche Fragen der Beschreibungsadäquatheit von semantischen und lexikalischen Kontexten durch statistische Assoziationen für Forschungskontexte (Shadrova 2021; Shadrova 2025).^[45] Insbesondere neigen aber solche komputationellen Studien dazu, die linguistische Beschreibung in den Hintergrund zu stellen (Larsson, Egbert und Biber 2022), die Darstellung also stärker auf die Auswahl der Parameter zu fokussieren als auf die darunterliegende sprachliche Analyse. Diese Tendenz ist im Kontext des hier Formulierten besorgniserregend, zum einen, weil die linguistische Analysetiefe als Erkenntnispotential verloren geht – darüber sprachen wir ausführlich –, zum anderen aber, weil die Vielzahl der komputationellen Ansätze und ihre Komplexität es nahezu unmöglich macht, Ergebnisse zu überprüfen und nachzuvollziehen, somit auch, eigene Forschungen adäquat zu kontextualisieren.^[46] Als Best Practice sollte sich hierbei ausschließlich ein reflektierter Umgang etablieren, der die Ergebnisse solcher Algorithmen nur dann annimmt, wenn sie durchschaubar sind, ihr Einsatz begründet und sie durch eine ausführliche Modelltriangulation eingebettet sind. Kritische Beiträge spielen dabei eine besondere Rolle und sollten immer ernsthaft diskutiert werden, während quantitative Methoden, deren Abbildbarkeit auf die Linguistik unklar oder fraglich ist, zu vermeiden sind (s. a. Larsson und Biber 2024).

5.7 Dokumentation

Der dauerhafte Erfolg aller korpuslinguistischen Prozesse steht und fällt mit der Dokumentation. Hierfür ist eine besondere Disziplin notwendig, da die Dokumentation als solche zunächst einmal nur in geringem Maß wissenschaftliche Früchte trägt und auch in der Praxis selten Freude bereitet.^[47] Der wirkliche Nutzen der Dokumentation zeigt sich oft erst mit zeitlichem Abstand, beispielsweise in der nächsten Annotationsrunde oder bei der späteren Weiterverwertung der Daten.

Grundsätzlich sollte jeder Schritt und jede kategorielle Entscheidung sofort dokumentiert werden. Nach Bedarf kann man im Anschluss an jede Annotationsrunde außerdem die komplette Kategorisierung automatisch extrahieren und an die Dokumentation anhängen. Das kann für einige Phänomene sinnvoll sein (z. B. semantische Klassifikation von Verben), für andere ist es weniger aussagekräftig (z. B. syntaktische Parses). Wichtig ist hier die Außenperspektive: Werden meine Annotationsrichtlinien von Leuten verstanden, die nicht an ihnen mitgewirkt haben, und können sie von ihnen auch gefunden und verwendet werden? An dieser Stelle tritt in der zeitlichen Verzögerung als besondere Ironie zu Tage, dass Entscheidungen, auch solche, an denen lange und intensiv gearbeitet wurde, selbst von den Annotierenden schnell vergessen werden. Stellt man sicher, dass die Richtlinien und Prozessbeschreibungen von Außenstehenden verstanden werden, so steigt die Wahrscheinlichkeit erheblich, dass auch man selbst sie noch rekonstruieren kann.