Determinismus im Training

Ein KI-Modell entsteht nicht durch Programmieren, sondern durch Lernen aus Beispielen. Dieser Lernvorgang heißt Training. Dabei rechnet ein Computer wochenlang Zahlen um, bis das Modell die Aufgabe beherrscht. Determinismus im Training bedeutet: Startet man diesen Vorgang ein zweites Mal mit denselben Beispielen und denselben Einstellungen, kommt exakt dasselbe Modell heraus. Das klingt selbstverständlich, ist es aber nicht. In der Praxis unterscheiden sich zwei Läufe fast immer leicht, und zwar ohne dass jemand etwas geändert hätte.

Warum Forscher auf identische Läufe angewiesen sind

Wissenschaft lebt davon, dass man Ergebnisse überprüfen kann. Wenn ein Team behauptet, eine neue Methode mache Modelle um drei Prozent besser, muss ein anderes Team das nachrechnen können. Ist das Training nicht wiederholbar, weiß niemand, ob die Verbesserung an der Methode lag oder einfach Glück war. Genau das ist ein bekanntes Problem der KI-Forschung: Viele veröffentlichte Verbesserungen verschwinden, wenn andere sie nachbauen.

Auch beim Entwickeln selbst ist Wiederholbarkeit praktisch. Angenommen, ein Modell verhält sich nach einem Umbau plötzlich schlechter. Nur wenn alles andere gleich geblieben ist, lässt sich der Umbau als Ursache erkennen. Sonst sucht man den Fehler in einem Rauschen aus zufälligen Schwankungen. Entwickler sprechen hier von Debugging, also der systematischen Fehlersuche.

Dazu kommt ein rechtlicher Aspekt. Wer eine KI in Medizin, Banken oder Behörden einsetzt, muss oft belegen können, wie das Modell entstanden ist. Ein Aufsichtsamt kann verlangen, dass ein Trainingslauf nachvollziehbar dokumentiert ist. Ein Modell, dessen Entstehung sich nicht reproduzieren lässt, ist in solchen Bereichen schwer zu verteidigen.

Woher die kleinen Abweichungen kommen

An vielen Stellen im Training werden absichtlich Zufallszahlen benutzt. Die Startwerte des Modells sind zufällig, ebenso die Reihenfolge der Trainingsbeispiele. Computer erzeugen solche Zufallszahlen aber nur scheinbar zufällig: Sie berechnen sie aus einer Startzahl, dem sogenannten Seed. Setzt man denselben Seed, kommt dieselbe Zahlenfolge. Diesen Teil des Problems kann man also leicht in den Griff bekommen.

Schwieriger ist die Rechenhardware. Trainiert wird auf Grafikkarten, die tausende Rechenschritte gleichzeitig ausführen. Welcher davon zuerst fertig wird, hängt von der Auslastung ab und schwanket minimal. Und Computer rechnen mit Kommazahlen nur ungenau gerundet. Addiert man dieselben Zahlen in anderer Reihenfolge, ergibt sich ein winzig anderes Ergebnis. Über Milliarden Rechenschritte hinweg wächst dieser Unterschied an.

Man kann Grafikkarten zwingen, die Reihenfolge festzuhalten. Das kostet aber Geschwindigkeit, manchmal zehn Prozent und mehr. Deshalb unterscheiden Fachleute zwei Ansprüche. Bit-für-Bit-Determinismus heißt: das Ergebnis ist bis zur letzten Ziffer identisch. Statistischer Determinismus heißt nur: die Qualität des Modells ist praktisch gleich, die Zahlen im Inneren nicht. Das zweite Ziel ist billiger und für viele Zwecke ausreichend.

Determinismus in Modellkarten und Prüfberichten

In Forschungsarbeiten zu KI findet sich fast immer ein Absatz zu diesem Thema. Dort stehen der verwendete Seed, die Software-Versionen und der Typ der Grafikkarten. Oft berichten Autoren Ergebnisse als Mittelwert über mehrere Läufe mit verschiedenen Seeds, mitsamt der Schwankungsbreite. Das ist ehrlicher als eine einzelne Zahl aus dem besten Lauf.

In Firmen taucht der Begriff bei der Nachvollziehbarkeit von Modellen auf, englisch Reproducibility. Große Anbieter protokollieren jeden Trainingslauf: Datensatz, Einstellungen, Zeitpunkt, Hardware. Der europäische AI Act verlangt für riskante Anwendungen ähnliche Dokumentation. Vollständiger Determinismus ist dabei selten das Ziel, gute Protokolle sind es.

Ein häufiger Irrtum: Determinismus im Training hat nichts damit zu tun, dass ein Chatbot auf dieselbe Frage unterschiedliche Antworten gibt. Das betrifft die Benutzung des fertigen Modells, nicht seine Entstehung. Dort ist die Streuung meist sogar gewollt, damit Antworten nicht monoton klingen.