Kullback-Leibler-Divergenz
Die Kullback-Leibler-Divergenz ist eine Maßzahl dafür, wie stark zwei Wahrscheinlichkeitsverteilungen voneinander abweichen. Sie misst, wie viel Information verloren geht, wenn man eine Verteilung durch eine andere ersetzt, und ist eine der zentralen Rechengrößen beim Training von KI-Modellen.
Viele Vorhersagen sind keine festen Antworten, sondern Wahrscheinlichkeiten. Ein Wetterdienst sagt nicht „es regnet“, sondern „70 Prozent Regen, 30 Prozent trocken“. Eine solche Liste von Wahrscheinlichkeiten für alle möglichen Fälle nennt man eine Verteilung. Die Kullback-Leibler-Divergenz ist eine Zahl, die angibt, wie sehr sich zwei solche Verteilungen unterscheiden. Sie ist null, wenn beide exakt gleich sind, und wird umso größer, je stärker die Vorhersage von der Wirklichkeit abweicht. Benannt ist sie nach den Mathematikern Solomon Kullback und Richard Leibler, die sie 1951 einführten.
Warum KI-Modelle an dieser Zahl gemessen werden
Ein Sprachmodell sagt bei jedem Schritt voraus, welches Wort als nächstes kommt. Es gibt dabei keine einzelne Antwort aus, sondern Wahrscheinlichkeiten für tausende Wörter. Beim Training vergleicht man diese Vorhersage mit dem, was im Trainingstext tatsächlich stand. Genau dieser Vergleich braucht ein Maß für „wie weit daneben“. Die KL-Divergenz liefert es.
Der Vorteil gegenüber einem simplen Richtig-oder-falsch-Zähler liegt in der Abstufung. Ein Modell, das dem korrekten Wort 40 Prozent gibt, wird milder bestraft als eines mit 2 Prozent. Beide lagen mit ihrem Favoriten daneben, aber das erste war deutlich näher dran. Diese feine Abstufung erlaubt es dem Training, sich Schritt für Schritt zu verbessern.
Ein zweiter Grund ist praktischer Natur. Man will oft, dass ein neues Modell sich nicht zu weit von einem alten entfernt. Beim Feintuning mit menschlichem Feedback etwa soll ein Chatbot höflicher werden, aber nicht sein gesamtes Sprachwissen verlernen. Dafür misst man die KL-Divergenz zwischen altem und neuem Modell und begrenzt sie. Die Zahl wirkt dann wie eine Leine, die das Modell in der Nähe seines Ausgangszustands hält.
Überraschung als Rechengröße
Hinter der Formel steckt der Begriff der Überraschung. Ein Ereignis, dem man 99 Prozent zugetraut hat, überrascht kaum. Eines mit 1 Prozent überrascht stark. Mathematisch drückt man das über den Logarithmus der Wahrscheinlichkeit aus: je kleiner die vorhergesagte Wahrscheinlichkeit, desto größer der Überraschungswert.
Die KL-Divergenz addiert nun alle diese Überraschungen auf, gewichtet nach der wahren Verteilung. Man fragt also: Wie viel überraschter bin ich im Schnitt, wenn ich mich auf die falsche Verteilung verlasse statt auf die richtige? Diese Zusatzüberraschung wird in Bit gemessen, derselben Einheit wie Speicherplatz. Ein Wert von einem Bit bedeutet grob: pro Beobachtung braucht man ein zusätzliches Bit, um dieselbe Information zu übertragen.
Wichtig ist eine Eigenart, über die viele stolpern. Die KL-Divergenz ist kein echter Abstand, denn sie ist nicht symmetrisch. Der Wert von Verteilung A zu B ist meist ein anderer als von B zu A. Deshalb heißt sie Divergenz und nicht Distanz. In der Praxis muss man also immer wissen, welche Verteilung die „wahre“ Rolle spielt und welche die Vorhersage ist.
Wo die Zahl in Forschung und Produkten auftaucht
Im Alltag begegnet man der KL-Divergenz nie direkt, wohl aber ihren Folgen. Jedes große Sprachmodell wurde mit einem Verfahren trainiert, das eng mit ihr verwandt ist: dem sogenannten Cross-Entropy-Loss. Minimiert man diesen Wert, minimiert man rechnerisch genau die KL-Divergenz zwischen Modellvorhersage und Trainingsdaten. Die beiden Größen unterscheiden sich nur um einen Betrag, den das Modell ohnehin nicht beeinflussen kann.
In Fachartikeln und Firmenberichten taucht der Begriff meist beim Feintuning auf. Bei Verfahren wie RLHF, also dem Training mit menschlichen Bewertungen, steht fast immer ein KL-Term in der Zielfunktion. Auch bei der Wissensdestillation ist er zentral: Ein kleines Modell lernt dort, die Wahrscheinlichkeitsverteilungen eines großen Modells nachzuahmen.
Außerhalb der KI nutzt man dasselbe Maß in der Statistik, der Bildkompression und der Genetik. Überall dort geht es um dieselbe Frage: Wie teuer ist es, mit einem vereinfachten Modell der Welt zu arbeiten? Wer in einer Fachmeldung auf „KL“ stößt, kann das meist so übersetzen: Hier wird gemessen, wie weit sich zwei Vorhersagen auseinanderbewegt haben.