Skills Bench

Wenn eine Firma behauptet, ihr Computerprogramm könne besonders gut Texte schreiben oder Tabellen auswerten, muss man das überprüfen können. Dafür gibt es Testsammlungen: feste Aufgabenlisten, die jedes Programm unter gleichen Bedingungen lösen muss. Eine Skills Bench ist eine solche Sammlung, aber mit einem besonderen Zuschnitt. Sie fragt nicht ab, was ein Programm weiß, sondern was es praktisch kann. Der Name kommt aus dem Englischen: „skills“ heißt Fähigkeiten, „bench“ ist die Kurzform von „benchmark“, also Maßstab oder Vergleichstest. Getestet werden zum Beispiel das Zusammenfassen eines Vertrags, das Korrigieren eines fehlerhaften Programmcodes oder das Ausfüllen eines Formulars.

Warum Wissenstests allein nicht mehr reichen

Lange Zeit wurden KI-Systeme vor allem mit Multiple-Choice-Fragen bewertet. Solche Tests sind bequem auszuwerten, weil es genau eine richtige Antwort gibt. Sie sagen aber wenig darüber aus, ob ein System im Arbeitsalltag nützlich ist. Ein Programm kann jede Frage zum deutschen Mietrecht richtig beantworten und trotzdem an einem echten Kündigungsschreiben scheitern.

Dazu kommt ein handfestes Problem: Viele klassische Testfragen stehen längst im Internet. Da moderne KI-Modelle aus riesigen Textmengen aus dem Netz lernen, haben sie die Antworten oft schon einmal gesehen. Fachleute nennen das Kontamination. Die Testergebnisse sehen dann glänzend aus, ohne dass das Modell wirklich etwas verstanden hat.

Eine Skills Bench umgeht das teilweise, weil sie Aufgaben stellt, deren Lösung man nicht auswendig lernen kann. Für Unternehmen ist das wichtig: Sie wollen wissen, ob sich der Kauf eines KI-Dienstes rechnet. Auch Aufsichtsbehörden interessieren sich zunehmend dafür, ob Anbieter ihre Leistungsversprechen belegen können.

Aufgaben, Durchläufe und Bewertung

Eine Skills Bench besteht aus drei Teilen. Erstens einer Aufgabenmenge, oft mehrere hundert bis mehrere tausend Einzelaufgaben. Zweitens einer Umgebung, in der die Aufgabe abläuft, etwa einem simulierten Postfach oder einer Testversion einer Software. Drittens einem Bewertungsverfahren, das entscheidet, ob die Aufgabe gelöst wurde.

Die Bewertung ist der schwierigste Teil. Bei Programmieraufgaben ist sie einfach: Man lässt den erzeugten Code laufen und prüft, ob er das Richtige ausgibt. Bei einer Zusammenfassung gibt es keine eindeutig richtige Lösung. Dann bewerten entweder Menschen nach einer festen Punkteliste oder ein zweites KI-Modell übernimmt die Rolle des Prüfers. Beides hat Schwächen, denn menschliche Bewertungen schwanken und ein KI-Prüfer bevorzugt oft Antworten, die klingen wie seine eigenen.

Ein Vergleich hilft: Eine Skills Bench funktioniert wie eine praktische Führerscheinprüfung, nicht wie die Theorieprüfung. Es zählt nicht, ob jemand die Vorfahrtsregel aufsagen kann, sondern ob er an der Kreuzung richtig fährt. Deshalb dauert ein solcher Testlauf auch deutlich länger und kostet mehr Rechenzeit als ein Fragenkatalog.

Skills Benches in Produktankündigungen und Börsenmeldungen

Wer Meldungen über neue KI-Modelle liest, stößt fast immer auf Balkendiagramme mit Testergebnissen. Häufig genannte Beispiele sind SWE-bench für das Beheben echter Softwarefehler oder GAIA für Aufgaben, bei denen ein System selbstständig im Netz recherchiert. Solche Zahlen bewegen inzwischen Aktienkurse, weil Investoren daraus ableiten, wer technisch vorne liegt.

Genau deshalb lohnt Skepsis. Anbieter suchen sich gern die Tests aus, bei denen sie gut abschneiden. Ein verbreiteter Irrtum ist außerdem, dass ein Vorsprung von zwei Prozentpunkten viel bedeute. Bei einigen hundert Aufgaben liegt so ein Unterschied oft im Bereich des Zufalls. Aussagekräftiger ist, ob ein Vorsprung über mehrere unabhängige Tests hinweg stabil bleibt.

Größere Unternehmen bauen deshalb eigene Skills Benches mit Aufgaben aus dem eigenen Betrieb. Diese Aufgaben stehen nirgends im Internet und passen genau zum geplanten Einsatz. Das ist aufwendig, liefert aber die einzige Zahl, die für die eigene Entscheidung wirklich zählt.