Logit-Raum
Der Logit-Raum ist die Zwischenstufe, in der ein KI-Modell für jede mögliche Antwortoption eine rohe Punktzahl vergibt, bevor daraus Wahrscheinlichkeiten werden. Diese unbereinigten Zahlen verraten viel darüber, wie sicher sich ein Modell ist und wie es zu seiner Ausgabe kommt.
Ein Sprachmodell schreibt Texte, indem es immer wieder das nächste Wortstück errät. Bevor es sich entscheidet, vergibt es für jede Möglichkeit im gesamten Wortschatz eine Punktzahl. Bei einem typischen Modell sind das rund 100.000 Zahlen auf einmal, eine für jeden möglichen nächsten Baustein. Diese rohen Punktzahlen heißen Logits, und die Gesamtheit aller dieser Zahlen nennt man den Logit-Raum. Sie sind noch keine Wahrscheinlichkeiten: Sie können beliebig groß oder auch negativ sein, und sie ergeben zusammen keine 100 Prozent. Erst ein Umrechnungsschritt macht daraus Prozentwerte, aus denen dann das nächste Wort gezogen wird.
Was die rohen Punktzahlen über das Modell verraten
Wer nur die fertige Antwort eines Chatbots sieht, sieht das Ergebnis einer Auswahl, nicht die Auswahl selbst. Im Logit-Raum steht dagegen, welche Alternativen knapp unterlegen waren. Lag der Zweitplatzierte nur hauchdünn zurück, war die Entscheidung fast ein Münzwurf. War der Abstand riesig, war sich das Modell praktisch sicher. Diese Information geht verloren, sobald nur noch der ausgewählte Text übrig ist.
Genau deshalb ist der Logit-Raum in der Forschung so gefragt. Man kann daraus Maße für die Unsicherheit eines Modells ableiten. Solche Maße helfen, Halluzinationen zu erkennen, also frei erfundene Behauptungen, die selbstbewusst klingen. Ein Modell, das bei einer Jahreszahl innerlich zwischen fünf Kandidaten schwankt, sollte man anders behandeln als eines mit klarem Favoriten.
Es gibt auch eine wirtschaftliche Seite. Viele Anbieter geben über ihre Schnittstelle nur die fertigen Wörter heraus, nicht die vollständigen Logits. Der Grund ist nicht nur Datenmenge: Aus vielen Logit-Ausgaben lassen sich Rückschlüsse auf den inneren Aufbau eines Modells ziehen. Konkurrenten könnten damit ein eigenes Modell auf die Antworten des fremden trainieren. Der Logit-Raum ist also auch ein Geschäftsgeheimnis.
Vom Zahlenvektor zur Wortwahl
Am Ende des Modells sitzt eine letzte Rechenschicht. Sie nimmt die interne Darstellung des bisherigen Textes und multipliziert sie mit einer großen Tabelle. Für jedes Wortstück im Wortschatz fällt dabei eine Zahl heraus. Diese Zahl misst grob, wie gut das Wortstück zum bisherigen Zusammenhang passt. Man kann sich das wie eine Punktevergabe einer Jury vorstellen, bei der jeder Kandidat einzeln bewertet wird, ohne Rücksicht auf die anderen.
Danach folgt eine Funktion namens Softmax. Sie rechnet die Punktzahlen in Prozentwerte um, die sich zu 100 addieren. Große Unterschiede werden dabei verstärkt, kleine gestaucht. Ein Regler namens Temperatur bestimmt, wie stark dieser Effekt ausfällt. Eine niedrige Temperatur teilt die Logits durch eine kleine Zahl und macht den Favoriten noch dominanter, das Modell antwortet dann berechenbar und trocken.
Eine hohe Temperatur gleicht die Unterschiede an und lässt auch unwahrscheinliche Wörter zum Zug kommen. Das wirkt kreativer, erhöht aber das Risiko von Unsinn. Ein häufiger Irrtum ist, Logits selbst schon für Wahrscheinlichkeiten zu halten. Ein Logit von 12 bedeutet für sich genommen gar nichts, nur der Abstand zu den anderen Logits im selben Schritt zählt.
Wo Logits im Betrieb auftauchen
Wer mit Entwicklerwerkzeugen arbeitet, trifft schnell auf Einstellungen wie logprobs oder logit_bias. Die erste zeigt für jedes ausgegebene Wortstück die wahrscheinlichsten Alternativen an. Die zweite erlaubt es, einzelne Wortstücke künstlich zu bevorzugen oder zu unterdrücken, indem man ihre Logits verschiebt. So zwingt man ein Modell zum Beispiel dazu, nur mit Ja oder Nein zu antworten.
Auch beim Verkleinern von Modellen spielt der Logit-Raum eine Rolle. Bei der sogenannten Destillation lernt ein kleines Modell nicht nur die richtigen Antworten eines großen, sondern dessen komplette Punkteverteilung. Die Information, dass Katze knapp vor Hund lag, ist lehrreicher als bloß das Wort Katze. Nachrichten über angeblich abgekupferte Modelle drehen sich fast immer um dieses Verfahren.
Im Alltag begegnet dir der Logit-Raum indirekt, etwa in der Wortvorhersage der Handytastatur. Die drei Vorschläge über der Tastatur sind nichts anderes als die drei höchsten Punktzahlen eines kleinen Sprachmodells. Auch Spamfilter und Bildklassifizierer arbeiten mit derselben Logik: erst rohe Punkte pro Klasse, dann die Umrechnung in Prozente.