Perplexität

Programme wie ChatGPT arbeiten, indem sie ständig raten, welches Wort als nächstes kommt. Sie geben dabei nicht nur einen Tipp ab, sondern verteilen Wahrscheinlichkeiten auf viele mögliche Wörter. Perplexität misst, wie gut diese Tipps zu einem echten Text passen. Man lässt das Programm einen Text lesen, den es noch nie gesehen hat, und prüft Wort für Wort, wie sicher es das tatsächlich folgende Wort erwartet hat. Ist es meistens sicher und richtig, ist die Perplexität niedrig. Ist es oft überrascht, ist sie hoch. Man kann sich den Wert grob so vorstellen: Eine Perplexität von 10 heißt, das Programm war im Schnitt so unsicher, als müsste es bei jedem Wort zwischen zehn gleich guten Möglichkeiten wählen.

Warum Forscher auf niedrige Werte schauen

Beim Bauen eines Sprachmodells braucht man eine Zahl, die sagt, ob eine Änderung geholfen hat. Genau dafür wird Perplexität benutzt. Sie lässt sich automatisch berechnen, ohne dass ein Mensch Antworten bewerten muss. Deshalb taucht sie in fast jeder Forschungsarbeit über Sprachmodelle auf, oft in Tabellen mit mehreren Testtexten.

Die Zahl ist außerdem sehr empfindlich. Schon kleine Verbesserungen am Aufbau eines Modells oder an den Trainingsdaten zeigen sich sofort. Ein Team kann so hunderte Varianten vergleichen, ohne jedes Mal eine aufwendige Prüfung durch Menschen zu organisieren. Historisch war der Rückgang der Perplexität der wichtigste Hinweis darauf, dass größere Modelle mit mehr Daten tatsächlich besser werden.

Wichtig ist eine Abgrenzung: Perplexität misst Sprachvorhersage, nicht Nützlichkeit. Ein Modell mit sehr guter Perplexität kann trotzdem unhöflich antworten, Quellen erfinden oder Anweisungen ignorieren. Für solche Eigenschaften gibt es andere Tests, etwa Aufgabensammlungen mit richtigen und falschen Lösungen oder Bewertungen durch menschliche Tester.

Wie die Zahl zustande kommt

Das Modell bekommt einen Testtext und sagt für jede Stelle voraus, welches Wort folgt. Für das Wort, das wirklich dort steht, notiert man die vorhergesagte Wahrscheinlichkeit. Bei tausend Wörtern gibt es tausend solcher Zahlen. Aus dem Durchschnitt dieser Werte wird die Perplexität berechnet. Grob gilt: Sie ist der Kehrwert der durchschnittlichen Trefferwahrscheinlichkeit.

Ein Beispiel macht das greifbar. Im Satz « Ich fahre mit dem Bus zur ... » ist « Schule » sehr naheliegend. Gibt das Modell diesem Wort 50 Prozent, ist es an dieser Stelle kaum ratlos. Steht dagegen ein Name in einem Text, den niemand erraten kann, sinkt die Wahrscheinlichkeit auf einen winzigen Wert. Solche Stellen treiben die Perplexität nach oben.

Ein häufiger Irrtum ist, dass man Perplexitätswerte aus verschiedenen Veröffentlichungen direkt vergleichen kann. Das geht meist nicht. Die Zahl hängt vom Testtext ab und davon, wie das Modell Text in Bausteine zerlegt. Manche Systeme rechnen mit ganzen Wörtern, andere mit Wortteilen oder einzelnen Zeichen. Vergleichbar sind Werte nur, wenn Testtext und Zerlegung identisch sind.

Perplexität in Fachartikeln und Produkten

Im Alltag begegnet die Zahl niemandem direkt. Kein Chatbot zeigt seine Perplexität an. Sie steckt aber hinter vielen Meldungen über neue Modelle. Wenn eine Firma schreibt, ihr komprimiertes Modell sei « praktisch gleichwertig », stützt sich das oft auf einen kaum gestiegenen Perplexitätswert.

Besonders wichtig ist das beim Verkleinern von Modellen. Dabei werden die Zahlen im Inneren gröber gespeichert, damit weniger Speicher und Rechenzeit nötig sind. Entwickler prüfen anschließend die Perplexität, um zu sehen, wie viel Qualität verloren ging. Ein Anstieg von 6,2 auf 6,4 gilt als harmlos, ein Sprung auf 12 als Katastrophe.

Nebenbei taucht das Wort auch als Firmenname auf: Die Suchmaschine Perplexity AI hat sich nach der Kennzahl benannt. Wer in News auf den Begriff stößt, sollte also kurz prüfen, ob die Messgröße oder das Unternehmen gemeint ist. In technischen Texten steht meist die Abkürzung PPL, häufig zusammen mit dem Namen des Testtextes.