Long-Horizon-Aufgaben
Long-Horizon-Aufgaben sind Aufgaben, die ein Computerprogramm nicht in einem einzigen Schritt löst, sondern über viele aufeinander aufbauende Schritte hinweg. Sie gelten als eine der größten offenen Schwierigkeiten für heutige KI-Systeme, weil sich kleine Fehler über die lange Kette hinweg aufschaukeln.
Manche Aufgaben sind mit einer einzigen Antwort erledigt. „Wie viele Einwohner hat Hamburg?“ ist so eine Aufgabe. Andere Aufgaben ziehen sich über viele Schritte hin, die aufeinander aufbauen. „Plane eine Klassenfahrt nach Rom“ ist so eine: Termine prüfen, Preise vergleichen, Unterkunft buchen, Eltern informieren. Solche mehrstufigen Aufgaben nennt man in der KI-Forschung Long-Horizon-Aufgaben, also Aufgaben mit langem Horizont. Der Begriff sagt nichts darüber, wie schwer ein einzelner Schritt ist. Er sagt nur, dass viele Schritte nötig sind und dass spätere Schritte von früheren abhängen.
Warum lange Aufgabenketten die Schwachstelle heutiger KI sind
Sprachmodelle sind sehr gut in Einzelschritten. Sie schreiben einen Absatz, übersetzen einen Satz oder korrigieren einen Programmcode zuverlässig. Sobald aber zwanzig solcher Schritte hintereinander laufen sollen, bricht die Zuverlässigkeit ein. Der Grund ist einfache Wahrscheinlichkeitsrechnung: Wenn jeder Schritt zu 95 Prozent gelingt, gelingt eine Kette aus zwanzig Schritten nur noch zu etwa 36 Prozent. Fehler summieren sich nicht, sie multiplizieren sich.
Dazu kommt ein zweites Problem. Ein Modell merkt oft nicht, dass es sich verlaufen hat. Es arbeitet einen falschen Plan konsequent weiter ab, statt zurückzugehen. Menschen bemerken bei einer Bastelanleitung meist nach drei Schritten, dass etwas nicht passt. Ein KI-System baut in solchen Fällen mitunter die ganze Konstruktion schief zu Ende.
Wirtschaftlich ist das entscheidend. Eine KI, die auf Zuruf einen Text schreibt, ist ein Werkzeug. Eine KI, die eigenständig eine Buchhaltung über einen Monat führt, wäre ein Ersatz für Arbeitsstunden. Der Unterschied zwischen beidem ist genau die Fähigkeit zu Long-Horizon-Aufgaben. Deshalb messen Unternehmen inzwischen, wie lange eine Aufgabe dauern darf, damit ein Modell sie noch schafft.
Planen, Erinnern, Nachkorrigieren
Damit ein System lange Ketten durchhält, braucht es drei Dinge. Erstens einen Plan: Die große Aufgabe wird in überschaubare Teilaufgaben zerlegt, bevor die Arbeit beginnt. Zweitens ein Gedächtnis, in dem Zwischenergebnisse gespeichert werden. Drittens eine Kontrolle, die prüft, ob ein Schritt wirklich funktioniert hat.
In der Praxis wird das meist so gebaut: Das Modell schreibt seinen eigenen Plan als Liste auf und hakt Punkte einzeln ab. Nach jedem Punkt bekommt es eine Rückmeldung aus der echten Welt. Bei Programmieraufgaben ist das etwa die Fehlermeldung des Computers. Diese Rückmeldung ist wertvoller als jede Selbsteinschätzung des Modells, weil sie unbestechlich ist.
Ein technisches Nadelöhr ist das Kontextfenster, also die Menge an Text, die ein Modell gleichzeitig überblicken kann. Bei sehr langen Aufgaben passt der bisherige Verlauf irgendwann nicht mehr hinein. Man behilft sich mit Zusammenfassungen oder externen Notizdateien. Trainiert werden solche Fähigkeiten zunehmend mit bestärkendem Lernen: Das System probiert lange Aufgaben aus und wird nur für das erfolgreiche Endergebnis belohnt.
Von Agenten-Demos bis zur Modellbewertung
Der Begriff taucht überall dort auf, wo von KI-Agenten die Rede ist. Damit sind Programme gemeint, die selbstständig mehrere Werkzeuge bedienen, etwa einen Browser, eine Tabelle und ein E-Mail-Postfach. Genau dort entscheidet sich, ob ein Modell nur einzelne Antworten liefert oder eine echte Aufgabe zu Ende bringt.
In Nachrichten über neue Modelle findest du dazu oft Vergleichstests. Bekannt ist etwa die Kennzahl, wie lange eine Aufgabe für einen Menschen dauern würde, die ein Modell noch in etwa der Hälfte der Fälle löst. Diese Zeitspanne wächst seit Jahren deutlich, von wenigen Minuten in Richtung mehrerer Stunden. Solche Zahlen sind mit Vorsicht zu lesen, weil sie stark von der Auswahl der Testaufgaben abhängen.
Ein häufiger Irrtum ist, Long-Horizon-Aufgaben mit langen Texten zu verwechseln. Ein Modell, das einen 300-Seiten-Roman zusammenfasst, verarbeitet zwar viel Text, aber in einem einzigen Schritt. Entscheidend ist nicht die Menge der Eingabe, sondern die Anzahl der abhängigen Handlungen. Wer beides trennt, versteht Produktversprechen aus der Branche deutlich besser.