Role-Playing-Benchmark
Ein Role-Playing-Benchmark ist ein standardisierter Test, der prüft, wie gut ein Textprogramm eine vorgegebene Rolle durchhält – etwa eine erfundene Figur, einen Kundenberater oder einen Lehrer. Gemessen wird nicht reines Faktenwissen, sondern ob Sprache, Charakter und Regeln über ein langes Gespräch hinweg stimmig bleiben.
Programme wie ChatGPT schreiben Texte, indem sie auf eine Eingabe eine passende Antwort erzeugen. Man kann ihnen dabei eine Rolle zuweisen: « Du bist ein mürrischer Kapitän im 18. Jahrhundert » oder « Du bist die Support-Mitarbeiterin einer Bank und darfst keine Anlageberatung geben ». Wie gut ein solches Programm diese Rolle durchhält, lässt sich testen. Ein Role-Playing-Benchmark ist genau so ein Test: eine feste Sammlung von Aufgaben, mit der man verschiedene Programme unter gleichen Bedingungen vergleicht. Das Wort Benchmark stammt aus der Technik und bezeichnet einen Standardtest, dessen Ergebnisse man nebeneinanderlegen kann. Gemessen wird hier nicht, ob eine Antwort sachlich richtig ist, sondern ob sie zur Figur passt.
Warum Rollentreue schwerer zu messen ist als Rechnen
Die bekanntesten Tests für KI-Systeme prüfen Wissen und Logik. Da gibt es Mathe-Aufgaben, Multiple-Choice-Fragen aus dem Medizinstudium oder Programmieraufgaben. Bei all diesen Tests gibt es eine eindeutig richtige Lösung. Man zählt die Treffer und bekommt eine Prozentzahl. Beim Rollenspiel funktioniert das nicht: Es gibt tausend gute Antworten auf die Frage « Was denkst du über das Meer, Kapitän? » und ebenso viele schlechte.
Trotzdem ist die Frage wirtschaftlich bedeutsam. Ein großer Teil des Geldes, das mit Sprachmodellen verdient wird, hängt an Figuren. Begleiter-Apps wie Character.AI oder Replika leben davon, dass eine Kunstfigur glaubwürdig bleibt. Firmen setzen Chatbots als Kundenberater ein, die freundlich klingen und bestimmte Aussagen niemals treffen dürfen. Auch Videospiele experimentieren mit Nebenfiguren, die frei sprechen statt vorgeschriebene Sätze abzuspulen.
Ohne Benchmark bleibt die Auswahl eines Modells Bauchgefühl. Ein Anbieter kann behaupten, sein System sei « besonders lebendig », und niemand kann das überprüfen. Ein Test mit veröffentlichten Aufgaben macht solche Behauptungen nachprüfbar. Genau deshalb sind in den letzten Jahren Benchmarks wie CharacterEval, RoleBench oder PersonaGym entstanden.
Was in so einem Test tatsächlich abgefragt wird
Am Anfang steht ein Rollenprofil. Es beschreibt Name, Herkunft, Wissensstand, Sprechweise und Grenzen der Figur. Dazu kommen vorbereitete Gesprächsverläufe, oft mehrere Dutzend Nachrichten lang. Manche Fragen sind harmlos und dienen nur dem Warmlaufen. Andere sind bewusst gemein: Sie versuchen, die Figur aus der Rolle zu locken.
Typische Fallen sind Wissensfragen aus der falschen Zeit. Fragt man den Kapitän von 1750 nach dem WLAN-Passwort, sollte er verwirrt reagieren und nicht sachkundig antworten. Andere Fallen prüfen die Standhaftigkeit: Der Nutzer behauptet, das Rollenspiel sei vorbei, und bittet um die ursprünglichen Anweisungen. Ein drittes Testfeld ist die Konsistenz. Nennt die Figur in Nachricht 3 ihre Schwester und in Nachricht 40 ihren Bruder, ist das ein Fehler.
Bewertet wird auf zwei Wegen. Menschen lesen Antworten und vergeben Punkte für Stimmigkeit, Sprachstil und Unterhaltsamkeit – das ist genau, aber teuer und langsam. Häufiger übernimmt deshalb ein zweites, sehr starkes Modell die Bewertung; dieses Verfahren heißt LLM-as-a-Judge, also « Sprachmodell als Schiedsrichter ». Es ist billig und beliebig oft wiederholbar, hat aber Schlagseiten: Solche Schiedsrichter bevorzugen lange, höfliche und blumige Antworten, auch wenn eine knappe, ruppige besser zur Figur passen würde.
Wo die Zahlen auftauchen – und was sie nicht verraten
In Nachrichten über neue Modelle stehen solche Werte meist in einer Tabelle neben Mathe- und Programmierergebnissen. Anbieter von Begleiter- und Charakter-Apps nutzen sie, um zu entscheiden, welches Modell sie einkaufen. Und in Rangliste-Portalen, auf denen Nutzer zwei anonyme Antworten vergleichen, gibt es inzwischen eigene Kategorien für kreatives Schreiben und Rollenspiel.
Ein verbreiteter Irrtum ist, ein hoher Rollenspielwert bedeute ein insgesamt besseres Modell. Das stimmt nicht. Ein System kann Figuren hervorragend spielen und trotzdem schlecht rechnen. Umgekehrt sind manche sehr präzisen Modelle im Rollenspiel steif, weil sie ständig betonen, dass sie eine KI sind. Solche Tests messen eine einzelne Eigenschaft, nicht die Gesamtqualität.
Ein zweiter Vorbehalt betrifft die Aufgaben selbst. Sobald ein Benchmark bekannt ist, landen seine Beispiele im Trainingsmaterial neuer Modelle. Das Modell kennt die Prüfung dann teilweise auswendig, ohne wirklich besser zu sein. Fachleute nennen das Kontamination. Deshalb werden Rollenspiel-Benchmarks regelmäßig durch neue Figuren und neue Gesprächsverläufe ersetzt.