Capability Extraction
Capability Extraction bezeichnet alle Methoden, mit denen man aus einem bereits fertig gelernten KI-System herausholt, was es tatsächlich kann. Der Begriff beruht auf der Beobachtung, dass ein System oft mehr beherrscht, als es bei einer schlichten Frage von sich aus zeigt.
Ein KI-System wie ChatGPT hat in einer langen Lernphase aus riesigen Textmengen Muster abgeleitet. Was dabei an Können entstanden ist, weiß zunächst niemand genau — auch die Entwickler nicht. Capability Extraction ist der Sammelbegriff für alle Techniken, mit denen man dieses verborgene Können sichtbar und nutzbar macht. Das Modell selbst wird dabei nicht verändert; man ändert nur die Art, wie man es befragt oder benutzt. Ein Vergleich: Ein Schüler kann eine Aufgabe im Kopf falsch beantworten, sie aber richtig lösen, sobald er sie schriftlich Schritt für Schritt durchgeht. Das Wissen war vorher schon da, nur die Abfrage war ungeschickt.
Warum niemand weiß, was ein Modell wirklich kann
Wenn ein Unternehmen ein neues Modell veröffentlicht, will es dessen Fähigkeiten messen. Dafür gibt es standardisierte Testreihen, sogenannte Benchmarks, etwa Mathematikaufgaben oder Programmieraufgaben. Das Problem: Das Ergebnis hängt stark davon ab, wie man fragt. Dasselbe Modell kann bei derselben Aufgabensammlung 40 Prozent oder 80 Prozent erreichen, je nach Abfragemethode. Eine Zahl allein sagt also wenig aus.
Besonders wichtig wird das bei Sicherheitsprüfungen. Bevor ein mächtiges Modell freigegeben wird, testen Prüfteams, ob es gefährliches Wissen preisgibt — etwa Anleitungen für Waffen oder für Angriffe auf Computersysteme. Wenn diese Prüfer nur oberflächlich fragen, wirkt das Modell harmlos. Ein Angreifer mit besseren Methoden holt später womöglich doch heraus, was drinsteckt. Deshalb versuchen Sicherheitsteams bewusst, so viel Können wie möglich zu extrahieren, bevor andere es tun.
Ein zweiter Grund ist wirtschaftlicher Natur. Ein neues Modell zu trainieren kostet oft dreistellige Millionenbeträge. Bessere Abfragemethoden für ein vorhandenes Modell kosten fast nichts. Wer aus einem bestehenden System noch zehn Prozent mehr Leistung herausholt, spart sich unter Umständen eine ganze Trainingsrunde.
Die Werkzeuge des Herauskitzelns
Die einfachste Technik ist die geschickte Formulierung der Anfrage. Man bittet das Modell, laut mitzudenken und die Rechnung Schritt für Schritt aufzuschreiben. Diese Methode heißt Chain of Thought, also Gedankenkette. Bei Mathematikaufgaben steigt die Trefferquote dadurch teils dramatisch. Ebenfalls wirksam: dem Modell zwei, drei gelöste Beispielaufgaben voranzustellen, damit es das gewünschte Antwortformat erkennt.
Eine zweite Gruppe von Methoden nutzt Wiederholung. Man stellt dieselbe Frage zwanzigmal und lässt das Modell zwanzig Lösungswege erzeugen. Anschließend wählt man die Antwort, die am häufigsten vorkommt, oder lässt ein Prüfprogramm die Vorschläge testen. Beim Programmieren funktioniert das gut, weil man Code einfach ausführen und auf Fehler prüfen kann.
Bei Sicherheitstests kommt eine dritte Gruppe hinzu: Man trainiert das Modell mit wenigen Beispielen leicht nach, um eingebaute Sperren zu umgehen. Fachleute nennen das Fine-Tuning, also Feinabstimmung. Damit prüfen Prüfteams, ob eine gefährliche Fähigkeit wirklich fehlt oder nur unterdrückt wird. Der Unterschied ist entscheidend, denn unterdrücktes Wissen lässt sich zurückholen, fehlendes nicht.
Wo der Begriff in Berichten und Debatten auftaucht
Am häufigsten liest man von Capability Extraction in den Sicherheitsberichten, die Anbieter wie OpenAI, Anthropic oder Google zu neuen Modellen veröffentlichen. Dort steht dann sinngemäß, man habe erhebliche Anstrengungen unternommen, die Fähigkeiten des Modells vollständig auszureizen. Diese Aussage ist wichtig für Aufsichtsbehörden, denn eine schwache Prüfung erzeugt falsche Sicherheit.
Auch in Ranglisten spielt das Thema eine Rolle. Wenn zwei Modelle verglichen werden, streiten Fachleute regelmäßig darüber, ob beide gleich gut abgefragt wurden. Ein Modell mit schlechterer Abfrage schneidet unfair schlecht ab. Deshalb geben seriöse Vergleiche inzwischen mit an, welche Methode verwendet wurde.
Ein häufiger Irrtum ist, Capability Extraction mit dem Trainieren neuer Fähigkeiten zu verwechseln. Das Modell lernt hier nichts Neues dazu. Man findet nur einen besseren Zugang zu dem, was bereits vorhanden ist. Wer das trennt, versteht auch besser, warum ein Modell Monate nach seiner Veröffentlichung plötzlich Aufgaben löst, an denen es anfangs scheiterte.