Scratchpad

Programme wie ChatGPT schreiben Texte Wort für Wort. Sie haben keinen versteckten Speicher, in dem sie in Ruhe rechnen könnten. Alles, was sie « denken », müssen sie tatsächlich hinschreiben. Ein Scratchpad ist genau dafür da: ein Notizbereich, in dem das Programm Zwischenschritte festhält, bevor es die endgültige Antwort nennt. Der Name ist wörtlich gemeint, denn « scratch pad » heißt auf Englisch Schmierzettel. Statt sofort eine Zahl auszuwerfen, notiert das Programm also erst den Rechenweg.

Warum ein Schmierzettel die Fehlerquote senkt

Bei jedem einzelnen Wort steht dem Programm nur eine begrenzte Menge Rechenzeit zur Verfügung. Eine schwierige Aufgabe in einem einzigen Schritt zu lösen, ist deshalb oft unmöglich. Schreibt das Programm dagegen zwanzig Zwischenschritte, hat es zwanzigmal so viel Rechenzeit zur Verfügung. Der Schmierzettel kauft dem Modell also buchstäblich Bedenkzeit.

Dazu kommt ein zweiter Effekt. Jedes bereits geschriebene Wort kann das Programm beim nächsten Wort wieder lesen. Ein Zwischenergebnis, das einmal auf dem Zettel steht, muss nicht im Kopf behalten werden. Der Text selbst wird zum Gedächtnis. Ohne Notizen müsste das Modell alle Teilergebnisse gleichzeitig verarbeiten, was bei längeren Aufgaben schnell schiefgeht.

Messbar ist der Unterschied erheblich. Bei Textaufgaben aus der Mathematik steigen Trefferquoten durch schrittweises Rechnen oft von unter dreißig auf über sechzig Prozent. Das Modell ist dabei nicht klüger geworden. Es nutzt nur die Fähigkeiten besser, die es ohnehin schon hatte.

Vom Prompt bis zum eingebauten Denkbereich

Die einfachste Variante ist ein Satz in der Eingabe: « Denke Schritt für Schritt. » Diese Aufforderung nennt man Prompt, also Anweisung an das Modell. Sie genügt oft schon, damit das Programm seinen Rechenweg ausbreitet, statt zu raten. Man kann auch ein gelöstes Beispiel mitliefern, an dem sich das Modell orientiert.

Aufwendiger ist die zweite Variante: Man trainiert das Modell gezielt darauf, Zwischenschritte zu erzeugen. Dazu bekommt es während des Trainings tausende Aufgaben mit ausgeschriebenem Lösungsweg vorgelegt. Solche Modelle notieren dann von selbst, ohne dass man sie darum bittet. Bei neueren Systemen ist dieser Notizbereich fest eingebaut und wird dem Nutzer gar nicht mehr vollständig angezeigt.

Ein verbreiteter Irrtum ist, das Scratchpad sei ein Protokoll der echten internen Vorgänge. Das stimmt nicht. Die Notizen sind selbst nur erzeugter Text und können falsch sein, während das Endergebnis stimmt, oder umgekehrt. Ein Modell kann einen fehlerhaften Rechenweg aufschreiben und trotzdem zufällig richtig landen. Man sollte den Zettel also lesen, aber nicht blind glauben.

Wo der Notizblock in Produkten auftaucht

Wenn ein Chatbot bei einer Knobelaufgabe eine nummerierte Liste von Überlegungen liefert, siehst du ein sichtbares Scratchpad. Bei sogenannten Reasoning-Modellen, also Modellen mit eingebauter Denkphase, erscheint stattdessen oft nur ein Hinweis wie « denkt nach ». Die Notizen laufen dann im Hintergrund und werden vor der Antwort verworfen oder gekürzt.

Das hat einen Preis, der in Wirtschaftsmeldungen regelmäßig auftaucht. Jedes Wort auf dem Schmierzettel kostet Rechenzeit und damit Geld, obwohl es der Nutzer nie zu sehen bekommt. Anbieter rechnen diese unsichtbaren Wörter mit ab. Ein Modell, das lange nachdenkt, kann für dieselbe Frage ein Vielfaches kosten.

Auch beim Thema Sicherheit spielt der Begriff eine Rolle. Forschende lesen die Notizen mit, um zu erkennen, ob ein Modell auf einem sinnvollen Weg zur Antwort kommt. Gleichzeitig wächst die Sorge, dass Modelle in ihrem Notizbereich etwas anderes planen als das, was sie am Ende sagen. Beide Debatten wirst du in News rund um KI immer wieder finden.