Konsens-Output

Programme, die Texte oder Antworten erzeugen, arbeiten nicht immer gleich. Stellt man ihnen dieselbe Frage zweimal, kommen oft zwei leicht verschiedene Antworten heraus. Das liegt daran, dass diese Programme bei jedem Wort zwischen mehreren Möglichkeiten würfeln. Ein Konsens-Output nutzt genau das aus. Man lässt dieselbe Aufgabe fünf-, zehn- oder zwanzigmal lösen und schaut, welches Ergebnis am häufigsten auftaucht. Dieses Mehrheitsergebnis gilt dann als die endgültige Antwort.

Warum Mehrheiten zuverlässiger sind als Einzelantworten

Fehler entstehen bei solchen Programmen meist zufällig und an unterschiedlichen Stellen. Wenn ein Rechenweg an einer Stelle abbiegt, tut das der nächste Durchlauf oft nicht. Falsche Antworten verteilen sich deshalb breit, richtige Antworten sammeln sich an einem Punkt. Bei einer Rechenaufgabe gibt es genau ein korrektes Ergebnis, aber Dutzende Arten, sie falsch zu lösen.

Das ist derselbe Effekt wie bei einer Klassenarbeit, die man in Gruppenarbeit korrigiert. Einer allein übersieht einen Fehler leicht. Zehn Leute, die unabhängig voneinander rechnen, kommen selten alle auf denselben falschen Wert. Untersuchungen zu Matheaufgaben zeigen Verbesserungen von mehreren Prozentpunkten, wenn man statt einer Antwort die Mehrheit aus vierzig Durchläufen nimmt.

Wichtig ist eine Abgrenzung: Ein Konsens-Output macht das Programm nicht klüger. Es kann nichts finden, was es nicht ohnehin schon könnte. Wenn das Programm einen Sachverhalt grundsätzlich falsch versteht, sind alle zwanzig Durchläufe einheitlich falsch. Die Mehrheit ist dann selbstbewusst und trotzdem daneben. Das ist der häufigste Irrtum über dieses Verfahren.

Vom Würfeln zur Auszählung

Damit das Verfahren überhaupt funktioniert, müssen sich die Durchläufe unterscheiden. Dafür sorgt ein Regler, der bestimmt, wie stark das Programm beim Erzeugen von Wörtern vom wahrscheinlichsten Weg abweicht. Steht dieser Regler auf null, kommt jedes Mal dasselbe heraus, und die Abstimmung wäre sinnlos. Ein mittlerer Wert erzeugt genug Vielfalt, ohne dass die Antworten wirr werden.

Anschließend werden die Ergebnisse verglichen und ausgezählt. Bei Zahlen oder Ja-Nein-Fragen ist das einfach: Man zählt, wie oft welcher Wert vorkommt. Bei Fließtext ist es schwieriger, weil zwei Antworten dasselbe meinen, aber unterschiedlich formuliert sein können. Dann prüft entweder ein zweites Programm die inhaltliche Übereinstimmung, oder man vergleicht nur die entscheidende Schlussaussage.

Der Preis dafür ist Rechenzeit. Zwanzig Durchläufe kosten ungefähr das Zwanzigfache eines einzelnen. Deshalb setzt man das Verfahren gezielt ein, nicht überall. Manche Systeme brechen früh ab, sobald die ersten fünf Durchläufe einstimmig sind, und rechnen nur bei Uneinigkeit weiter.

Konsens-Outputs in Produkten und Meldungen

In Meldungen über neue KI-Modelle taucht der Begriff oft im Kleingedruckten von Testergebnissen auf. Steht dort ein Hinweis wie « maj@32 », wurde die Aufgabe 32-mal gelöst und die Mehrheit gewertet. Solche Werte sind nicht direkt mit Ergebnissen aus einem einzigen Durchlauf vergleichbar. Wer Modelle vergleicht, sollte deshalb auf diese Angabe achten.

Auch in Produkten steckt das Prinzip drin, ohne dass man es sieht. Manche Chat-Systeme rechnen bei schwierigen Fragen im Hintergrund mehrere Lösungswege durch und zeigen nur das Mehrheitsergebnis an. Ähnliches gilt bei automatischer Übersetzung oder beim Erkennen gesprochener Sprache. Auch Bewertungen von Bewerbungen oder Rechnungen laufen in Firmen manchmal mehrfach, um Ausrutscher zu vermeiden.

Verwandt, aber nicht dasselbe, ist der Begriff Ensemble. Dort lässt man mehrere verschiedene Modelle abstimmen, nicht dasselbe Modell mehrfach. Beide Ansätze verfolgen das gleiche Ziel: Zufällige Ausrutscher sollen sich gegenseitig ausgleichen. Systematische Fehler, die alle Beteiligten teilen, bleiben in beiden Fällen bestehen.