Logits

Ein Sprachmodell, also ein Programm, das Text fortsetzt, muss bei jedem Schritt eine Entscheidung treffen: Welches Wort kommt als Nächstes? Dafür bewertet es alle Möglichkeiten, die es kennt, mit je einer Zahl. Diese rohen Bewertungszahlen heißen Logits. Sie sind noch keine Prozentangaben: Ein Logit kann 12,4 sein, aber auch minus 3,8. Wichtig ist nur der Vergleich untereinander. Wer den größten Logit hat, ist der Favorit des Modells.

Was Logits über die Unsicherheit des Modells verraten

Logits sind die letzte Stelle, an der man dem Modell noch ungefiltert beim Denken zusehen kann. Danach wird nur noch ein Wort ausgewählt, und alle anderen Informationen verschwinden. Wer die Logits liest, sieht dagegen nicht nur den Favoriten, sondern auch die Plätze zwei bis zehn.

Genau das ist praktisch, um Unsicherheit zu messen. Liegt der beste Logit weit vor allen anderen, ist das Modell sich sehr sicher. Liegen fünf Werte fast gleichauf, ist es im Grunde ein Münzwurf. Bei einer Rechtsfrage oder einer medizinischen Angabe ist dieser Unterschied wichtiger als die Antwort selbst. Manche Systeme markieren solche Antworten deshalb als unzuverlässig oder fragen nach.

Ein häufiger Irrtum: Ein hoher Logit bedeutet nicht, dass die Aussage wahr ist. Er bedeutet nur, dass dieses Wort gut zu den Mustern der Trainingstexte passt. Ein Modell kann sich also mit großer Überzeugung irren. Sicherheit und Richtigkeit sind zwei verschiedene Dinge.

Vom rohen Zahlenvektor zur Wahrscheinlichkeit

Am Ende des Netzes steht eine lange Liste von Zahlen, für jedes bekannte Textstück eine. Bei großen Modellen sind das rund 100.000 bis 200.000 Einträge. Diese Liste ist der Logit-Vektor. Umgerechnet wird sie mit einer festen Formel namens Softmax. Softmax verstärkt große Werte, drückt kleine nach unten und sorgt dafür, dass am Ende alle Zahlen zusammen genau 100 Prozent ergeben.

Zwischen Logits und Softmax greift oft noch ein Regler ein, die Temperatur. Man teilt alle Logits durch eine Zahl. Teilt man durch einen kleinen Wert, werden die Abstände größer und das Modell antwortet sehr vorhersehbar. Teilt man durch einen großen Wert, rücken die Möglichkeiten zusammen und die Antworten werden bunter, aber auch riskanter. Dieselben Logits können so zu ganz verschiedenen Texten führen.

Eine Analogie hilft: Logits sind wie Punktzahlen von Preisrichtern beim Turnen. Die Rohpunkte sagen noch nicht, wer wie viel Prozent Siegchance hat. Erst die Umrechnung macht daraus vergleichbare Anteile. Und wer die Skala streckt oder staucht, verändert das Ergebnis, ohne eine einzige Bewertung anzufassen.

Logits in Schnittstellen, Werkzeugen und Schlagzeilen

Wer über eine Programmierschnittstelle mit einem Modell arbeitet, kann sich oft die sogenannten Logprobs ausgeben lassen. Das sind die aus den Logits berechneten Wahrscheinlichkeiten in einer speziellen Schreibweise. Entwickler nutzen sie, um automatisch zu prüfen, wie sicher eine Antwort war. Auch Werkzeuge, die maschinell erzeugten Text erkennen wollen, arbeiten mit solchen Werten.

In der Forschung tauchen Logits beim Verkleinern von Modellen auf. Beim sogenannten Destillieren lernt ein kleines Modell nicht nur die richtige Antwort des großen, sondern seine komplette Bewertungsliste. Diese Zusatzinformation macht das kleine Modell deutlich besser, als wenn es nur die Endergebnisse sehen würde. Solche kompakten Modelle laufen dann auf Handys statt in Rechenzentren.

In Nachrichten begegnet der Begriff meist indirekt. Wenn es heißt, ein Anbieter habe die Logprobs abgeschaltet, geht es um Kontrolle: Diese Werte verraten viel über den Aufbau eines Modells. Und wenn ein Anbieter mit besonders kreativen oder besonders präzisen Antworten wirbt, steckt oft schlicht eine andere Temperatur dahinter, die auf dieselben Logits angewendet wird.