IFEval

Wer ein KI-Sprachmodell benutzt, gibt oft nicht nur eine Frage vor, sondern auch Regeln: „Antworte in maximal 100 Wörtern“, „Verwende keine Aufzählungspunkte“, „Beginne den Text mit dem Wort Hallo“. IFEval – kurz für Instruction Following Evaluation – ist ein Testverfahren, das prüft, ob ein Modell solche Vorgaben tatsächlich einhält. Es geht dabei nicht darum, ob die Antwort inhaltlich stimmt, sondern ob die Form korrekt ist. Das klingt nach einer Kleinigkeit, ist aber in der Praxis ein häufiger Schwachpunkt moderner Sprachmodelle.

Warum das Befolgen von Anweisungen so schwer zu messen ist

Es gibt viele Methoden, Sprachmodelle zu testen. Die meisten prüfen, ob eine Antwort wahr oder falsch ist – etwa bei Wissensfragen oder Rechenaufgaben. Das lässt sich klar beurteilen. Schwieriger ist es bei offenen Aufgaben, bei denen das Ergebnis stark variieren darf, solange bestimmte Regeln eingehalten werden. Genau hier liegt die Herausforderung.

Frühere Tests verlangten oft, dass ein Mensch die Antwort bewertet. Das ist aufwendig, teuer und nicht immer einheitlich. IFEval löst dieses Problem, indem es nur Anweisungen verwendet, die sich automatisch und eindeutig prüfen lassen. Entweder enthält der Text mehr als 200 Wörter – oder nicht. Entweder beginnt die Antwort mit einem bestimmten Wort – oder nicht. Es gibt kein Graugebiet, deshalb ist die Messung verlässlich wiederholbar.

Wie IFEval einen Test aufbaut

IFEval besteht aus rund 500 Aufgaben. Jede Aufgabe enthält eine Anfrage an das Modell sowie eine oder mehrere messbare Vorgaben. Die Vorgaben stammen aus einem festgelegten Katalog mit etwa 25 Kategorien – darunter Längenbeschränkungen (z. B. „mindestens 300 Wörter“), Formatvorgaben (z. B. „antworte nur in Großbuchstaben“), inhaltliche Einschränkungen (z. B. „erwähne das Wort Klimawandel nicht“) oder Strukturvorgaben (z. B. „nutze genau drei Absätze“).

Ausgewertet wird auf zwei Ebenen. Auf der Ebene der einzelnen Anweisung zählt, ob jede Vorgabe für sich genommen erfüllt wurde. Auf der Ebene der gesamten Aufgabe gilt eine Antwort nur dann als bestanden, wenn alle Vorgaben gleichzeitig eingehalten wurden. Das ist strenger: Ein Modell, das vier von fünf Regeln befolgt, gilt auf Aufgabenebene trotzdem als gescheitert. Diese Unterscheidung zeigt, wie gut ein Modell mehrere Anforderungen gleichzeitig im Blick behält.

Ein typischer Irrtum ist, IFEval mit einem allgemeinen Qualitätstest zu verwechseln. Es sagt nichts darüber aus, ob ein Modell klug, kreativ oder faktentreu ist. Es misst einzig die Fähigkeit, explizite Regeln umzusetzen. Ein Modell kann bei IFEval gut abschneiden und trotzdem sachlich falsche Antworten liefern – und umgekehrt.

IFEval in Benchmarks und Produktberichten

IFEval wurde 2023 von Google-Forschern entwickelt und veröffentlicht. Seitdem taucht es regelmäßig in den technischen Berichten auf, die Unternehmen wie Google, Meta oder Mistral veröffentlichen, wenn sie ein neues Modell vorstellen. Es gehört zu einer Handvoll Tests, die sich als inoffizieller Standard durchgesetzt haben, weil sie automatisiert, reproduzierbar und schwer zu „trainieren weg“ sind.

Dieser letzte Punkt ist wichtig. Manche Benchmarks verlieren ihren Wert, weil Modelle gezielt auf die Testfragen trainiert werden und deshalb gut abschneiden, ohne wirklich besser zu sein. Bei IFEval ist das schwerer, weil die Vorgaben aus einem großen Kombinationsraum stammen und die eigentliche Aufgabe jedes Mal anders lautet. Die Fähigkeit, Anweisungen zu folgen, lässt sich nicht einfach auswendig lernen.

In der Praxis ist das Einhalten von Anweisungen eine der häufigsten Anforderungen im echten Einsatz von Sprachmodellen. Wer ein Modell in eine Software einbettet, gibt ihm feste Regeln vor – zum Beispiel, immer in einer bestimmten Sprache zu antworten oder keine persönlichen Daten zu wiederholen. IFEval misst genau diese Fähigkeit und ist deshalb für Entwickler aussagekräftiger als viele reine Wissenstests.