ARC-AGI

ARC-AGI ist eine Sammlung von Rätseln, mit der man Computerprogramme prüft. Jedes Rätsel besteht aus kleinen farbigen Gittern, ähnlich wie karierte Blätter mit ausgemalten Kästchen. Man sieht zwei oder drei Beispielpaare: links ein Gitter vorher, rechts dasselbe Gitter nachher. Aus diesen Beispielen muss man selbst herausfinden, nach welcher Regel das Gitter verändert wurde. Dann bekommt man ein neues Gitter und soll die Regel darauf anwenden. Für Menschen sind die meisten dieser Aufgaben leicht, für Maschinen lange Zeit erstaunlich schwer.

Warum ausgerechnet bunte Kästchen so viel verraten

Der Franzose François Chollet, damals Forscher bei Google, veröffentlichte ARC im Jahr 2019. Sein Ziel war es, einen Test zu bauen, den man nicht durch Auswendiglernen bestehen kann. Bei vielen anderen Prüfungen für Sprachmodelle ist genau das ein Problem. Die Fragen stehen irgendwo im Internet, und die Programme haben das gesamte Internet als Lernstoff gelesen. Ein gutes Ergebnis beweist dann wenig.

Die ARC-Rätsel sind deshalb neu erfunden und werden zum Teil geheim gehalten. Jede Aufgabe hat ihre eigene Regel, die in keiner anderen Aufgabe vorkommt. Auswendiglernen hilft also nicht. Was hilft, ist die Fähigkeit, aus zwei Beispielen ein Muster abzuleiten und es auf einen neuen Fall zu übertragen. Genau diese Fähigkeit meint man, wenn man von echter Verallgemeinerung spricht.

Deshalb gilt ARC-AGI in der Fachwelt als eine Art Lackmustest. Jahrelang lösten die besten Programme kaum ein Fünftel der Aufgaben, während Menschen im Schnitt über 75 Prozent schafften. Diese Lücke war ein starkes Argument gegen die Behauptung, moderne KI-Systeme würden bereits denken. Wenn sie kleiner wird, ist das eine echte Nachricht.

Vom Beispielpaar zur richtigen Regel

Die Gitter sind höchstens 30 mal 30 Kästchen groß und nutzen zehn Farben. Die Regeln greifen auf Wissen zurück, das schon kleine Kinder haben. Dass Dinge Objekte sind, dass man zählen kann, dass Formen gespiegelt oder gedreht werden. Eine Regel könnte lauten: färbe jede geschlossene Fläche gelb. Eine andere: setze das kleinste Objekt in die Mitte des größten.

Ein Programm bekommt die Beispielpaare als Zahlenraster und muss das Ausgabegitter Kästchen für Kästchen erzeugen. Es zählt nur eine exakt richtige Lösung, halbe Punkte gibt es nicht. Meist sind zwei Versuche pro Aufgabe erlaubt. Ein Teil der Rätsel bleibt beim Anbieter unter Verschluss, damit niemand vorab darauf trainieren kann.

Ab 2024 machten Systeme große Sprünge, die vor der Antwort in Zwischenschritten rechnen. Man nennt das Testzeit-Rechnen: Das Modell probiert mehrere Lösungswege durch, bevor es sich festlegt. OpenAIs Modell o3 erreichte Ende 2024 über 85 Prozent auf der ersten ARC-Version. Allerdings kosteten manche Läufe tausende Dollar an Rechenzeit für eine einzige Aufgabe. Die Antwort der Organisatoren war ARC-AGI-2, eine schwerere Fassung mit Aufgaben, die deutlich mehr Kombinationsschritte verlangen.

ARC-AGI in Schlagzeilen und Preisgeldern

Am häufigsten begegnet dir der Begriff in Meldungen über neue Modelle. Wenn OpenAI, Google oder Anthropic ein System vorstellen, steht der ARC-Wert oft in der Ergebnistabelle. Er wird gern zitiert, weil er als besonders schwer zu schummeln gilt. Für Anleger ist er ein Hinweis darauf, wie viel echter Fortschritt hinter einer Ankündigung steckt.

Daneben gibt es den ARC Prize, einen öffentlichen Wettbewerb mit Preisgeldern in Millionenhöhe. Teilnehmer müssen ihre Lösung offenlegen und dürfen nur begrenzte Rechenleistung nutzen. Damit soll verhindert werden, dass allein der Geldbeutel über den Sieg entscheidet.

Ein verbreiteter Irrtum lohnt die Klarstellung. Ein hoher ARC-Wert bedeutet nicht, dass eine Maschine allgemeine Intelligenz besitzt. Der Test misst eine einzelne, eng umrissene Fähigkeit an abstrakten Gittern. Chollet selbst betont, dass ARC nur zeigt, was Systeme noch nicht können. Bestehen sie den Test, braucht es einen neuen.