ARC-AGI-3
ARC-AGI-3 ist ein Test, mit dem geprüft wird, wie gut Computerprogramme unbekannte Aufgaben eigenständig durchschauen. Statt einzelner Rätselbilder muss ein Programm dabei kleine Spiele spielen, deren Regeln ihm niemand verrät.
ARC-AGI-3 ist ein Test für Computerprogramme, die selbstständig Probleme lösen sollen. Solche Tests nennt man Benchmarks: standardisierte Aufgaben, die alle Teilnehmer bekommen, damit man ihre Ergebnisse vergleichen kann. Bei ARC-AGI-3 besteht die Aufgabe darin, kleine Spiele auf einem farbigen Raster zu spielen. Die Regeln dieser Spiele werden nirgends erklärt. Das Programm muss durch Ausprobieren herausfinden, was seine Züge bewirken und wie es gewinnt. Entwickelt wird der Test von der ARC Prize Foundation, einer gemeinnützigen Organisation rund um den Forscher François Chollet.
Der Name steht für „Abstraction and Reasoning Corpus“. Übersetzt heißt das etwa: Sammlung von Aufgaben zum Abstrahieren und Schlussfolgern. Die Zahl 3 markiert die dritte Generation. Die ersten beiden Versionen zeigten nur stille Bilderrätsel. Version 3 ist die erste, bei der das Programm handeln und die Folgen seiner Handlungen beobachten muss.
Der Streit um die Frage, was Maschinen wirklich können
Die meisten bekannten KI-Tests bestehen aus Prüfungsfragen. Mathematikaufgaben, Medizinexamen, Programmieraufgaben. Solche Fragen stehen millionenfach im Internet. Ein Programm, das mit riesigen Textmengen trainiert wurde, hat sehr ähnliche Aufgaben oft schon gesehen. Ein gutes Ergebnis beweist dann wenig über echtes Verstehen.
ARC-AGI-3 ist bewusst so gebaut, dass Auswendiglernen nicht hilft. Jedes Spiel ist neu erfunden und taucht in keinem Trainingsdatensatz auf. Wer hier punkten will, muss aus wenigen Beobachtungen eine Regel ableiten. Genau diese Fähigkeit halten viele Forscher für den Kern von Intelligenz.
Wichtig ist auch die Vergleichsgröße: Menschen. Die Testaufgaben werden vorab von Testpersonen gespielt, und aufgenommen wird nur, was praktisch jeder Mensch schafft. Der Abstand zwischen Mensch und Maschine wird dadurch direkt sichtbar. Bei der Vorgängerversion lagen Menschen lange weit vorn, während gute Programme nur einen kleinen Teil lösten. Solche Zahlen sind ein Gegengewicht zu Werbeversprechen der Anbieter.
Spielen statt raten: der Aufbau der Aufgaben
Eine Aufgabe in ARC-AGI-3 sieht aus wie ein sehr einfaches Videospiel. Auf einem Raster liegen farbige Felder. Das Programm kann Züge machen, etwa eine Figur bewegen oder ein Feld anklicken. Nach jedem Zug bekommt es das neue Bild zurück. Mehr Informationen gibt es nicht: keine Anleitung, kein Text, keine Punkteerklärung.
Der Ablauf ist also eine Schleife aus Beobachten, Handeln und Nachjustieren. Das Programm bildet eine Vermutung über die Regeln. Dann testet es diese Vermutung mit einem Zug. Passt das Ergebnis nicht, muss die Vermutung korrigiert werden. Man kann sich das vorstellen wie ein Brettspiel ohne Regelheft: Man legt eine Karte, sieht die Reaktion der Mitspieler und schließt daraus auf die Regel.
Gemessen wird nicht nur, ob ein Spiel gelöst wird. Wichtig ist auch, wie viele Versuche dafür nötig sind. Diese Größe nennt man Effizienz. Ein System, das eine Million Züge blind durchprobiert, gilt nicht als intelligent. Zusätzlich begrenzen die Veranstalter die Rechenkosten pro Aufgabe. Damit soll verhindert werden, dass schlichte Rechenkraft das Denken ersetzt.
ARC-AGI-3 in Schlagzeilen und Firmenpräsentationen
Der Test taucht vor allem dann in den Nachrichten auf, wenn ein Unternehmen ein neues Modell vorstellt. Modelle sind die trainierten Programme hinter Diensten wie ChatGPT oder Gemini. Ihre Ergebnisse bei ARC-AGI werden in Prozentwerten angegeben und gern zitiert. Meldungen wie „Modell X erreicht erstmals Y Prozent“ beziehen sich oft auf diesen Benchmark.
Rundherum gibt es einen offenen Wettbewerb, den ARC Prize. Forschungsteams und Einzelpersonen reichen dort Lösungen ein, es winken Preisgelder. Die Ergebnisse stehen öffentlich in einer Rangliste. Das macht den Test auch für Anleger interessant, die wissen wollen, ob Fortschritt echt ist oder nur behauptet.
Ein verbreiteter Irrtum: Ein Spitzenwert bei ARC-AGI-3 bedeutet nicht, dass eine Maschine so denkt wie ein Mensch. Der Test misst einen eng umrissenen Ausschnitt, nämlich das schnelle Erschließen neuer Regeln. Sprachgefühl, Faktenwissen oder Zuverlässigkeit im Alltag prüft er nicht. Man sollte ihn deshalb als eines von mehreren Thermometern lesen, nicht als Gesamtnote.