BLEU-Score
Der BLEU-Score ist eine Kennzahl, die misst, wie ähnlich eine maschinell erzeugte Übersetzung einer von Menschen angefertigten Musterübersetzung ist. Er wird seit 2002 verwendet, um Übersetzungsprogramme automatisch und ohne menschliche Bewertung zu vergleichen.
Wenn ein Computerprogramm einen Satz von einer Sprache in eine andere überträgt, stellt sich sofort eine Frage: Wie gut ist das Ergebnis? Menschen könnten das beurteilen, aber das kostet Zeit und Geld. Der BLEU-Score ist ein Rechenverfahren, das diese Beurteilung automatisch erledigt. Man gibt ihm die Ausgabe des Programms und eine oder mehrere Übersetzungen, die Menschen vorher angefertigt haben. Er vergleicht beide und gibt eine Zahl zwischen 0 und 1 aus, oft auch als Prozentwert von 0 bis 100 angegeben. Je höher die Zahl, desto stärker ähnelt die Maschinenübersetzung dem menschlichen Vorbild.
Warum Forscher überhaupt eine Zahl brauchen
Wer ein Übersetzungssystem verbessern will, muss messen können, ob eine Änderung wirklich hilft. Ohne eine Kennzahl bleibt nur der Eindruck einzelner Testpersonen. Der BLEU-Score liefert stattdessen ein Ergebnis, das jeder mit denselben Daten nachrechnen kann. Genau diese Wiederholbarkeit machte ihn ab 2002 zum Standard in der Forschung.
Ein zweiter Grund ist die Geschwindigkeit. Ein Team kann pro Tag hunderte Varianten eines Systems testen, wenn die Bewertung Sekunden statt Wochen dauert. Menschliche Gutachter wären dafür viel zu langsam. Deshalb wurden große Fortschritte der maschinellen Übersetzung überhaupt erst durch solche automatischen Maße möglich.
Wichtig ist aber die Einordnung: BLEU misst nicht, ob eine Übersetzung schön oder verständlich ist. Er misst nur Übereinstimmung mit einem Vorbild. Ein Wert von 40 gilt bei vielen Sprachpaaren als solide, ein Wert von 60 als sehr gut. Absolute Zahlen sind trotzdem kaum vergleichbar, weil sie stark vom Testtext abhängen.
Der Vergleich von Wortketten
Das Verfahren zerlegt beide Sätze in kurze Wortfolgen. Eine solche Folge nennt man n-Gramm: ein einzelnes Wort, ein Wortpaar, eine Dreier- oder Vierergruppe. Dann prüft BLEU, wie viele dieser Folgen aus der Maschinenübersetzung auch im menschlichen Vorbild vorkommen. Aus diesen Trefferquoten entsteht der Gesamtwert.
Zwei Korrekturen verhindern billige Tricks. Erstens zählt ein Wort nur so oft, wie es im Vorbild wirklich steht. Ein Programm kann also nicht durch zwanzigmal „der“ punkten. Zweitens gibt es einen Abzug für zu kurze Ausgaben. Denn ein System, das nur ein einziges sicheres Wort ausgibt, hätte sonst eine perfekte Trefferquote.
Daraus folgt die bekannteste Schwäche des Verfahrens. Eine gute Übersetzung mit anderen Wörtern als das Vorbild bekommt einen niedrigen Wert. „Das Auto ist schnell“ und „Der Wagen fährt rasch“ bedeuten dasselbe, teilen aber kaum n-Gramme. BLEU versteht keine Bedeutung, er zählt Übereinstimmungen. Deshalb verwendet man oft mehrere menschliche Vorbilder gleichzeitig, um verschiedene Formulierungen zuzulassen.
BLEU in Modellankündigungen und seine Nachfolger
In Fachartikeln und Pressemitteilungen zu neuen Sprachmodellen taucht der Wert regelmäßig auf. Firmen wie Google oder Meta zeigen Tabellen, in denen ihr System einen um zwei Punkte höheren BLEU-Score erreicht als die Konkurrenz. Wer solche Meldungen liest, sollte wissen, dass diese Punkte nur innerhalb desselben Testdatensatzes etwas bedeuten. Ein Vergleich zwischen zwei verschiedenen Studien ist meist wertlos.
In Produkten selbst begegnet dir die Zahl kaum. Sie steht im Maschinenraum der Entwicklung, nicht auf der Oberfläche von Übersetzungsapps. Trotzdem hat sie deren Qualität mitgeprägt, weil Entwickler jahrelang genau auf diesen Wert hin optimiert haben.
Heute steht BLEU zunehmend in der Kritik. Neuere Maße wie COMET oder BERTScore vergleichen nicht Wörter, sondern die Bedeutung von Sätzen, und stimmen besser mit menschlichen Urteilen überein. Bei modernen Chatbots, die frei formulieren, versagt reines Wörterzählen ohnehin. BLEU bleibt dennoch als schneller, gut verstandener Vergleichsmaßstab im Einsatz.