Bitter Lesson
Die Bitter Lesson ist eine bekannte These des KI-Forschers Richard Sutton aus dem Jahr 2019. Sie besagt: Verfahren, die einfach viel Rechenleistung und viele Daten nutzen, schlagen langfristig fast immer Verfahren, in die Menschen ihr Fachwissen von Hand eingebaut haben.
Die Bitter Lesson ist eine These über die Geschichte der künstlichen Intelligenz. Der kanadische Forscher Richard Sutton formulierte sie 2019 in einem kurzen Text. Seine Beobachtung: Jahrzehntelang haben Forscher versucht, Computern ihr eigenes Wissen über ein Problem direkt einzuprogrammieren. Sie schrieben etwa auf, welche Schachstellungen gut sind oder wie deutsche Grammatik funktioniert. Am Ende gewannen aber immer die Programme, die stattdessen aus Unmengen von Beispielen selbst lernten und dabei sehr viel Rechenzeit verbrauchten. Bitter, also bitter, nennt Sutton diese Lektion, weil sie für Forscher kränkend ist: Ihr sorgfältig aufgebautes Fachwissen wurde am Ende von schlichter Rechenkraft überholt.
Warum die Lektion so wehtut
Sutton führt mehrere Beispiele an. Im Schach setzten viele Forscher darauf, dem Computer menschliche Denkmuster beizubringen. Gewonnen hat 1997 aber Deep Blue, ein Programm, das vor allem stumpf sehr viele Züge durchrechnete. Ähnlich lief es beim Go und bei der Spracherkennung. In beiden Feldern verloren die handgebauten, wissensbasierten Systeme gegen Verfahren, die aus Daten lernten.
Der Grund liegt laut Sutton in den Kosten. Rechenleistung wird über Jahrzehnte immer billiger, und zwar dramatisch. Menschliche Denkarbeit wird nicht billiger. Ein Verfahren, das von schnelleren Chips automatisch profitiert, wächst also mit der Zeit mit. Ein Verfahren, das auf eingebautes Menschenwissen setzt, bleibt stehen, sobald das Wissen aufgeschrieben ist.
Deshalb ist die Bitter Lesson mehr als eine historische Anekdote. Sie ist für viele Firmen eine Handlungsanweisung. Wenn man zwischen zwei Ansätzen wählen muss, sollte man den nehmen, der bei zehnmal mehr Rechenleistung zehnmal besser wird. Das erklärt einen Teil der milliardenschweren Investitionen in Rechenzentren.
Suchen und Lernen statt Regeln schreiben
Sutton nennt zwei Methoden, die sich beliebig mit Rechenleistung füttern lassen. Die erste ist Suche: Das Programm probiert sehr viele Möglichkeiten durch und bewertet sie. Die zweite ist Lernen: Das Programm passt seine internen Zahlenwerte an Millionen von Beispielen an, bis seine Vorhersagen stimmen. Beide Methoden werden mit mehr Chips und mehr Zeit einfach besser, ohne dass jemand neue Regeln formulieren muss.
Ein Vergleich macht das deutlich. Stell dir zwei Köche vor. Der eine lernt bei einem Meister hundert feste Rezepte und kocht sie perfekt. Der andere probiert jeden Tag tausend Varianten aus und behält, was schmeckt. Kurzfristig ist der erste besser. Sobald der zweite eine Küche mit tausend Herdplatten bekommt, zieht er vorbei.
Wichtig ist eine Abgrenzung. Die Bitter Lesson behauptet nicht, dass Nachdenken sinnlos ist. Sie unterscheidet zwei Arten von Forschungsarbeit. Fertiges Wissen über die Welt einzubauen bringt langfristig wenig. Bessere Lernverfahren und bessere Suchverfahren zu entwickeln bringt sehr viel, denn davon profitiert jede zusätzliche Rechenstunde.
Die These in aktuellen KI-Debatten
In Nachrichten über KI taucht die Bitter Lesson häufig als Argument auf. Wenn ein Sprachmodell wie GPT vor allem dadurch besser wird, dass man es größer macht und mit mehr Text trainiert, verweisen Beobachter auf Sutton. Auch AlphaGo und sein Nachfolger AlphaZero gelten als Musterbeispiele. AlphaZero lernte Go allein durch Spiele gegen sich selbst, ohne menschliche Partien, und wurde stärker als die Version mit menschlichem Vorwissen.
Umgekehrt wird die These auch als Warnung zitiert. Wer ein KI-Produkt auf handgeschriebenen Regeln aufbaut, riskiert, dass ein größeres Modell dieselbe Aufgabe bald von allein löst. Solche Firmen gelten in der Branche als anfällig, weil der nächste Modellsprung ihr Alleinstellungsmerkmal wegwischen kann.
Die Bitter Lesson ist aber nicht unumstritten. Kritiker halten fest, dass Rechenleistung, Strom und Trainingsdaten endlich sind und nicht ewig so schnell wachsen können. Außerdem stecken auch in heutigen Modellen viele menschliche Entscheidungen, etwa bei der Auswahl der Trainingsdaten oder beim Feinschliff der Antworten. Die These ist also eher eine Faustregel für langfristige Trends als ein Naturgesetz.