Ablationsstudie
Eine Ablationsstudie ist ein Test, bei dem man einzelne Teile eines KI-Systems absichtlich entfernt oder abschaltet, um zu sehen, wie stark die Leistung darunter leidet. So findet man heraus, welche Bestandteile wirklich zum Erfolg beitragen und welche nur mitlaufen.
Wer ein KI-System baut, kombiniert viele Bausteine: bestimmte Daten, bestimmte Rechenschritte, bestimmte Einstellungen. Am Ende funktioniert das Ganze mehr oder weniger gut. Unklar bleibt aber, welcher Baustein den Erfolg tatsächlich bringt. Eine Ablationsstudie klärt das durch Weglassen: Man entfernt einen Bestandteil, lässt alles andere unverändert und misst erneut. Wird das Ergebnis deutlich schlechter, war der Bestandteil wichtig. Bleibt es fast gleich, konnte man ihn offenbar auch streichen. Der Name kommt aus der Medizin, wo „Ablation“ das Entfernen von Gewebe bezeichnet.
Weglassen als Beweis
In Fachaufsätzen zu KI steht meist ein neues Verfahren, das besser abschneidet als bisherige. Solche Verfahren bestehen fast nie aus einer einzigen Idee, sondern aus fünf oder sechs Änderungen gleichzeitig. Ohne Ablationsstudie bleibt völlig offen, welche dieser Änderungen den Unterschied macht. Vielleicht liegt der ganze Fortschritt an mehr Trainingsdaten, und die clever klingende Neuerung bringt gar nichts.
Deshalb verlangen Fachkonferenzen inzwischen fast immer eine Ablationstabelle. Sie ist ein Ehrlichkeitstest für die eigene Erklärung. Wer behauptet, ein bestimmter Trick sei entscheidend, muss zeigen, dass das Ergebnis ohne diesen Trick einbricht.
Für Unternehmen ist der Nutzen sehr handfest. Bausteine kosten Rechenzeit, Speicher und Wartungsaufwand. Wenn eine Ablationsstudie zeigt, dass ein aufwendiger Teil nur ein halbes Prozent Genauigkeit bringt, wirft man ihn heraus. Das System wird billiger im Betrieb und einfacher zu verstehen.
Ein Bauteil raus, alles andere gleich
Das Vorgehen erinnert an ein Rezept, das man Zutat für Zutat abwandelt. Man backt den Kuchen einmal ohne Backpulver, einmal ohne Zucker, einmal ohne Butter. Immer nur eine Zutat fehlt, sonst bleibt alles identisch. So sieht man, welche Zutat der Kuchen wirklich braucht.
Bei KI-Systemen läuft es genauso ab, nur mit anderen Zutaten. Man entfernt zum Beispiel einen Teil der Trainingsdaten, schaltet einen Rechenschritt im Modell ab oder streicht eine Zusatzfunktion aus dem Programm. Danach wird das System neu trainiert oder neu getestet. Gemessen wird mit denselben Aufgaben und derselben Kennzahl wie vorher, etwa dem Anteil richtiger Antworten. Nur so sind die Zahlen vergleichbar.
Zwei Fehler passieren dabei häufig. Erstens verändert man mehrere Dinge auf einmal, dann ist die Ursache nicht mehr zuzuordnen. Zweitens überinterpretiert man kleine Unterschiede. Trainingsläufe schwanken zufällig, weil sie mit Zufallszahlen starten. Ein Rückgang von 91,4 auf 91,1 Prozent kann reines Rauschen sein. Seriöse Studien wiederholen deshalb jeden Lauf mehrmals.
Ablationstabellen in Modellberichten
Am sichtbarsten sind Ablationsstudien in den technischen Berichten großer Sprachmodelle. Firmen wie Google, Meta oder Mistral veröffentlichen darin Tabellen mit Zeilen wie „ohne diesen Trainingsschritt“ oder „ohne diesen Datensatz“. Solche Tabellen sind oft die interessanteste Stelle des ganzen Dokuments. Sie verraten, worauf die Entwickler ihren Vorsprung selbst zurückführen.
Auch außerhalb der Forschung tauchen ähnliche Tests auf. Wer eine Suchfunktion oder einen Chatbot für ein Unternehmen baut, schaltet einzelne Komponenten ab und prüft, ob die Antworten schlechter werden. Nicht selten stellt sich heraus, dass ein teurer Zusatzschritt kaum etwas bewirkt.
Nicht verwechseln sollte man die Ablationsstudie mit dem A/B-Test, wie ihn Webseiten nutzen. Beim A/B-Test bekommen echte Nutzer zwei Varianten zu sehen, und man vergleicht ihr Verhalten. Die Ablationsstudie läuft dagegen im Labor, mit festen Testaufgaben und ohne Publikum. Sie fragt nicht, was Nutzern besser gefällt, sondern welcher Baustein technisch trägt.