(1) BLEU

BLEU besteht aus zwei Komponenten, die als Zahlenwerte repräsentiert werden: Brevity Penalty (BP) und Präzision. Letzteres stellt N-Gramm-Übereinstimmungen zwischen maschinellen („Kandidatübersetzung", KÜ) und menschlichen Übersetzungen („Referenzübersetzung“, RÜ)) dar. Brevity Penalty hat dagegen die Funktion zu verhindern, dass die N-Gramm-Übereinstimmungen bei einer sehr kurzen Übersetzung unnatürlich hoch werden (siehe Bsp. 1). Beide Komponenten werden miteinander multipliziert (siehe Bsp. 2).

Bsp. 1

RÜ: North and South Korea have taken confidence-building measures.

KÜ1: Pyongyang and Seoul took measures that build the confidence between them. (3/11).

KÜ2: North and South taken confidence. (5/5)

(RÜ – Referenzübersetzung/KÜ – Kandidatübersetzung)

Die N-Gramm-Übereinstimmungen (in dem Fall „Monogram“) sind bei der kürzeren Übersetzung (KÜ 2) viel höher, obwohl die Übersetzung (KÜ 1) eine bessere Lösung darstellt. Brevity Penalty, der in einem solchen Fall zum Einsatz kommt, wird übrigens dann verhängt, wenn nicht einzelne Sätze, sondern der ganze Text kürzer als RÜ ist.

B r e v i t y P e n a l t y ( B P ) = 1 , i f c > r e 1 - r c , i f c ≤ r (1)

(c – candidate translation, r – reference translation)

(Papineni et al. 2002: 315)

Der gesamte BP-Wert liegt bei eins, wenn die KÜ länger als die RÜ ist (oben) und unter eins, wenn die Erstere kürzer als die Letztere ist (unten)^[2]. Im letzteren Fall wird die KÜ bestraft, weil der BLEU-Wert, der sich durch die Multiplikation von BP (kleiner als eins) mit N-Gramm-Übereinstimmungen ergibt, am Ende niedriger ausfällt.

B L E U = min 1 , c r × ( ∏ i = 1 4 P n i ) ^1/4 (2)

Formel (2) ist die vollständige BLEU-Formel. Pn steht für die Präzision und stellt den gesamten Wert der N-Gramm-Übereinstimmungen dar. Hierbei wird der Anteil der 1~N-Gramm-Übereinstimmungen an den gesamten 1 bis N-Grammen (in der Regel N=4) im Text miteinander multipliziert. Die Hochzahl 1/4 kommt von dem Gewichtungswert 1/N, der in Papineni et al. (2002) vorbestimmt ist.

Zusammenfassend kann die Grundidee von BLEU folgendermaßen beschrieben werden: Der Anteil der Übereinstimmungen von 1~4 Wörtern an der gesamten Übersetzung stellt lexikalische Ähnlichkeiten zwischen KÜ und RÜ dar. Davon soll besonders die Übereinstimmung von 2~4 Grammen Auskunft darüber geben, ob KÜ und RÜ nicht nur in lexikalischer, sondern auch in syntaktischer Hinsicht ähnlich sind. Damit dieser Präzisionswert immer verlässlich bleibt, wird auf eine viel zu kurze KÜ die Strafe BP verhängt, die dann den gesamten BLEU-Wert herunterzieht.

(2) METEOR

METEOR ist zwar auch ein formbasiertes Evaluationssystem, es unterscheidet sich aber in mancher Hinsicht von BLEU. Erstens wird die Übereinstimmung zwischen KÜ und RÜ nur anhand der Monogrammzahlen bemessen. Zweitens wird nicht nur die Präzision (Genauigkeit der Übereinstimmung), sondern auch der Recall (Vollständigkeit der Übereinstimmung) berücksichtigt. Drittens wird die Alignierung der Wörter nicht durch die Übereinstimmung der 2~4 Gramme, sondern durch die Übereinstimmung von „Chunks“ beurteilt.

Auch METEOR besteht aus zwei Komponenten, aus F-Mean und Penalty. Mit F-Mean wird bewertet, wie groß und wie genau die Ähnlichkeiten zwischen KÜ und RÜ sind. Auf Basis des Wertes von Penalty lässt sich beurteilen, wie ähnlich KÜ und RÜ in Bezug auf die Alignierung der Wörter sind (Banerjee and Lavie 2005:65–68).

Bei F-Mean handelt es sich um eine Variante des F-Maßes, das wiederum ein Mittel zwischen Präzision und Recall darstellt. Genauer gesagt ist das F-Maß ein harmonisches Mittel^[3] von Präzision und Recall (van Rijsbergen 1979, Sasaki 2007). Zur Berechnung der Präzision werden die Übereinstimmungen zwischen KÜ und RÜ durch die Monogrammzahl von KÜ (siehe (3)) dividiert und zur Berechnung des Recalls durch die Monogrammzahl von RÜ (siehe (4)).

P = # u n i g r a m _ m a t c h e d _ c ‐ r # u n i g r a m _ c (3)

R = # u n i g r a m _ m a t c h e d _ c ‐ r # u n i g r a m _ r (4)

(c – candidate translation, r – reference translation)

Die Präzision und der Recall stehen beim F-Maß in einem ausgeglichenen Verhältnis (siehe (5)). Beim F-Mean dagegen (siehe (6)) fällt mehr Gewicht auf den Recall, also die Vollständigkeit der Übereinstimmung, als auf die Präzision, die Genauigkeit der Übereinstimmung. So wird der gesamte F-Mean-Wert viel stärker von der Veränderung des Recall-Wertes beeinflusst als von der der Präzision. Die Koeffizienten, wie 10 und 9 in (6), sind jedoch keine festgelegten Zahlen; sie können justiert werden, um die Korrelation mit der RÜ zu erhöhen (Denkowski / Lavie, 2011:87).

F - M a ß = 2 P R R + P (5)

(p – precision, r – recall) (Sasaki 2007:1)

F - M e a n = 10 P R R + 9 P (6)

(Banerjee and Lavie 2005:68)

Penalty bei METEOR, hat eine andere Funktion als bei BLEU. Penalty bestraft KÜ, wenn deren Wortfolgen von denen der RÜ abweichen. Diese Strafe wird schwerer, je weniger Chunk-Übereinstimmungen im Verhältnis zu Monogramm-Übereinstimmungen in der KÜ vorkommen (siehe (7)). Chunks sind dabei nicht auf eine bestimmte Wortzahl (wie z. B. 2~4 Gramme) festgelegt, sondern können beliebig lang sein.

P e n a l t y = 0.5 × ( # c h u n k s # u n i g r a m _ m a t c h e d ) 3

^[4] (7)

(Banerjee and Lavie 2005:68)

Bsp. 3

RÜ: China is the main diplomatic ally and trading partner for North Korea

KÜ: China is the most important ally and trading partner for North Korea.

Hier können zwei Komponenten „China is the“ und „ally and trading partner for North Korea“ als Chunks betrachtet werden. Wenn die Wortfolgen der Wörter in der KÜ hundertprozentig mit denen in der RÜ übereinstimmen würden, läge die Zahl der Chunks bei 1, und in diesem Fall hätte man den niedrigsten Penalty-Wert.

Die vollständige Formel von METEOR sieht folgendermaßen aus:

M E T E O R = F - M e a n × ( 1 - P e n a l t y ) (8)

(Banerjee and Lavie 2005:69)

Wie Formel (8) zeigt, wird der gesamte METEOR-Wert immer von der Penalty negativ beeinflusst, weil der Penalty-Wert niemals größer als eins sein kann (siehe auch (7)). Das heißt, der METEOR-Wert sinkt nach der Multiplikation mit der Penalty zwangsläufig, solange die Alignierung der Wörter in der KÜ nicht hundertprozentig mit der in der RÜ übereinstimmt.

(3) BLEU vs. METEOR

METEOR und BLEU haben jeweils ihre eigenen Stärken. Erstens ist METEOR mit seiner monogrammbasierten Formel vorteilhafter, wenn es darum geht, die Übersetzungsqualität elaboriert zu quantifizieren. Monogrammübereinstimmungen, die bei METEOR benutzt werden, haben einen höheren Prognosewert als 2~4 Grammübereinstimmungen, da sie einen größeren Einfluss auf das gesamte Ergebnis haben (Chung 2018). Außerdem können BLEU-Werte je nach Zahl der N-Gramme stark schwanken. Sie liegen manchmal bei null, weil Übereinstimmungen der 3~4 Gramme nicht sehr häufig vorkommen.^[8]

Zweitens beziehen METEOR und BLEU zur Nutzung von Recall unterschiedliche Positionen. Bei METEOR wird der Recall nicht nur genutzt, sondern auch stark gewichtet (siehe (6)). Bei der Übersetzung gibt es ja nicht nur eine korrekte Lösung, sondern mehrere, die gleichermaßen als berechtigt anzusehen sind. Deshalb ist bei der Bewertung der Übersetzungsqualität, die auf den formellen Übereinstimmungen basiert, die Vollständigkeit (Recall) wichtiger als die Genauigkeit (Präzision). In Lavie et al. (2005) wurde dies sogar mit empirischen Daten belegt. Dort hatte der reine Recall-Wert eine höhere Korrelation mit den menschlichen Bewertungen als die Präzision oder das F-Maß (der Recall ist hier niedriger gewichtet als bei METEOR). Papineni et al. (2002) waren sich zwar der Vorteile des Recalls bewusst, nutzten ihn trotzdem nicht bei BLEU. Dort wurde diese Entscheidung damit begründet, dass die Nutzung des Recalls zu einem fehlerhaften Ergebnis führen könnte, wenn nicht nur eine RÜ, sondern mehrere RÜs zum Einsatz kommen. Denn der Recall bewertet dann solche KÜ höher, welche die in mehreren RÜs vorkommenden Wörter möglichst vollständig wiedergeben (ibid. 314–315).

Drittens sind Chunks bei METEOR ein effektiveres Mittel als 2~4 Gramme bei BLEU, wenn es um die Bewertung der Syntax geht, weil mit Chunks auch die Qualität von längeren Passagen bewertet werden kann. Chunks haben – weil sie Zähler in der Bruchzahl sind (siehe (7)) – einen gemäßigten Einfluss auf den gesamten METEOR-Wert, während 2~4 Übereinstimmungen die BLEU-Werte übermäßig stark beeinflussen, weil sie miteinander multipliziert werden. Dieser Einfluss wird „fatal“, wenn einer dieser Werte bei null liegt. Insofern sind Chunks in rechnerischer Hinsicht auch ein praktischeres Mittel als 2~4 Gramme. Auch bei einer menschlichen Bewertung spielt die Alignierung der Wörter eher eine Nebenrolle und hat keinen starken Einfluss auf das gesamte Ergebnis.

Trotz all dieser Feststellungen, die zugunsten von METEOR ausgefallen sind, ist nicht METEOR, sondern BLEU das meist verwendete Evaluationssystem, wahrscheinlich auch, weil dessen Formel einfach und intuitiv ist.^[9] In der vorliegenden Arbeit wird – ohne Vorurteile – die Validität der beiden Systeme untersucht, um herauszufinden, welches System für die Bewertung der Humanübersetzungen besser geeignet ist.

(1) Grundidee

Nicht nur Maschinen, sondern auch Menschen bewerten die Qualität einer Übersetzung, indem sie die Übersetzungen mit Musterübersetzungen (Referenzübersetzungen) vergleichen. Bei Menschen existieren allerdings diese Musterübersetzungen nur im Kopf. So gesehen sind die Musterübersetzungen der Menschen eine Art Frame (Fillmore 1977), d. h. präverbale Repräsentationen, und können bei der Verbalisierung mit mehreren synonymischen Ausdrücken realisiert werden. Deshalb können die menschlichen Evaluatoren unterschiedliche Übersetzungsvarianten gleichermaßen als „korrekt“ bewerten, wobei ihre Bewertungen je nach ihren Schwerpunkten unterschiedlich ausfallen könnten.

(2) Methodik

Bei der menschlichen Evaluation handelt es sich hauptsächlich um ein Punkteabzugssystem. Evaluatoren erstellen eine Bewertungsmatrix, in der verschiedene Bewertungskriterien aufgelistet sind. Die Kriterien haben, je nach Modell, zwar unterschiedliche Namen (Kategorien), aber im jeweiligen Modell verkörpern sie zusammen „ideale“ Übersetzungen des jeweiligen Evaluators. Die Evaluatoren ziehen entsprechend viele Punkte ab, je nachdem, welchen Kategorien ein Fehler angehört und wie schwer er wiegt. Unten aufgelistet sind die Bewertungskriterien von einigen bekannten Evaluationsmodellen. Ähnliche oder vergleichbare Kriterien sind dabei in derselben Kategorie zusammengefasst, sodass am Ende aus ein paar Dutzend Kriterien acht Kategorien entstanden.

1. Bedeutung – definite lack of comprehension of source language, nonsense, wrong shade of meaning (CTTIC^[10]), unjustified distortion (NAATI^[11]), accurate comprehension of a ST, domain-specific knowledge (Macquarie^[12]), accuracy of the message (Adab 2000), context (Brunette 2000), significant departure from the meaning of an essential element of the message (Sical^[13]), semantic equivalence (Bensoussan / Rosenhouse 1990)

2. Ausdruck – mistranslation of single word (CTTIT), register, style (NAATI), stylistic feature (Macquarie) / terminology, idiomaticity, Literal translation (KLTI^[14]), register (House 1997)

3. Grammatik – syntax, grammar (CTTIC, NAATI), unacceptable structure (CTTIC), Tense, agreement, plural/singular (KLTI)

4. Tilgung/Hinzufügung – unjustified omission, insertion (NAATI), omission/addition affecting meaning, unnecessary repetition (CTTIC), unmotivated omission (KLTI) etc.

5. Formale Kriterien – breach of spelling, punctuation, typographical conventions (CTTIC), orthography (NAATI), numbering, orthography and punctuation (KLTI), format (appearance of text) (Williams 2001) etc.

6. Kohärenz – gibberish (CTTIC), comprehension of the logical argument (Macquarie), logic, cohesion, coherence (Brunette 2000), consistency (KLTI), misinterpretations of macro-level structure (frame, scene), pragmatic etc.

7. Lesbarkeit – readability (KLTI, Macquarie), acceptability (Adab 2000) etc.

8. Funktionalität^[15] – text structure appropriate to the genre (NAATI), Instructions by the client (Macquarie), reader appeal (KLTI), adaptation to end user (Williams 2001), purpose (Brunette 2000), overt and covert translation (House 1997), pragmatic equivalence, fidelity on functional level (Bensoussan / Rosenhouse 1990) etc.

Wenn man die Bewertungskriterien von BLEU und METEOR mit denen der Menschen (oben) vergleichen, sind die Monogrammübereinstimmungen von BLEU mit Kriterien wie “Bedeutung”, “Ausdruck” und “Tilgung/Hinzufügung” vergleichbar, etwa 2–4 Grammübereinstimmungen, mit “Grammatik”. Auf der makrotextuellen Ebene können Monogrammübereinstimmungen auch die “Funktionalität” des Textes beurteilen, weil bei diesem Kriterium das Register eine wichtige Rolle spielt, das oft mit unterschiedlichen Wörtern realisiert wird (Bsp. unterschreiben vs. unterzeichnen). Brevity Penalty hat auch eine makrotextuelle Funktion und kann Auskunft über die “Lesbarkeit” und die “Kohärenz” der Übersetzung geben. Bei METEOR übernimmt F-Mean die Funktion von “Bedeutung”, “Ausdruck”, “Tilgung/Hinzufügung” und “Funktionalität”, weil er einen Durchschnittswert der Monogrammübereinstimmungen darstellt. Penalty bei METEOR ist dagegen mit Kriterien wie “Grammatik”, “Lesbarkeit” und “Kohärenz” zu vergleichen, weil sie mit Chunks, also Multigramm-Übereinstimmungen errechnet und damit von der Textlänge und ‑alignierung beeinflusst wird.

(3) Quantifizierung

Die menschliche Evaluation arbeitet hauptsächlich mit dem Punktabzugs- und die automatische Evaluation mit dem Punktzuschlagssystem. Die Menschen ziehen bei jedem Fehler Punkte ab und geben ggf. zusätzliche Punkte bei einer besonders kreativen Lösung. Die abgezogene Punktzahl variiert abhängig davon, wie groß die Auswirkung des Fehlers auf die betroffene Textstelle bzw. den gesamten Text ist (Waddington 2001 b; Williams 2001). Die Schwere der Fehler ist auch bei der automatischen Evaluation ein wichtiger Faktor.^[16] Denn bei niedrigen BLEU-Werten spielt etwa auch die Länge der fehlerenthaltenden Passage (Auswirkungsmaß) eine Rolle, weil im Fall von Nicht-Übereinstimmungen je nach Länge der N-Gramme mehr oder weniger Punkte abgezogen werden.

(4) Fazit

Die automatische Evaluation hat ihre Stärke in der Bewertung der formalen Eigenschaften von Texten, etwa bei Tilgung/Hinzufügung und Orthografie, weil sie auf den Übereinstimmungen der einzelnen Wörter basieren. So gesehen ist die automatische Evaluation eher für die mikrotextuelle Bewertung geeignet. Penalty (BP bei BLEU) ist dagegen als ein makrotextuelles Bewertungsmittel anzusehen, aber als ein sehr unpräzises, weil Satzlängen oder Wortalignierungen nicht viel über die makrotextuellen Qualitäten (Kohärenz, Lesbarkeit) eines Textes aussagen können.

Die menschliche Evaluation hat dagegen ihre Stärke in der Bewertung der abstrakten Eigenschaften eines Textes, da Menschen mit präverbalen Konzepten einer idealen Übersetzung arbeiten. Menschen verstehen einen Text im Kontext und haben damit einen Überblick über den gesamten Textinhalt. Sie nutzen außerdem Kohäsionsmittel oder Hintergrundwissen, um die Kohärenz oder die Lesbarkeit des Textes zu beurteilen. Im Gegensatz dazu fällt es den Menschen schwer, jedem einzelnen Element des Textes die gleiche Aufmerksamkeit zu schenken. Da die Schwächen von Mensch und Maschine so komplementär sind, können diese möglicherweise durch die Kombination ihrer Stärken kompensiert werden.