Forward Pass
Der Forward Pass ist der Rechenweg, den eine Eingabe durch ein KI-Modell von vorne bis hinten nimmt, bis am Ende ein Ergebnis herauskommt. Er ist die kleinste Recheneinheit in KI-Systemen: jede Antwort und jedes Trainingsbeispiel beginnt mit einem Forward Pass.
Ein KI-Modell ist im Kern eine sehr lange Rechenvorschrift. Sie besteht aus vielen Schichten, die hintereinander liegen und jeweils Zahlen umformen. Der Forward Pass ist ein einzelner Durchlauf durch diese Kette, von der Eingabe bis zum Ergebnis. Man gibt zum Beispiel ein Bild hinein, und jede Schicht gibt ihr Zwischenergebnis an die nächste weiter. Am Ende steht eine Ausgabe, etwa die Einschätzung « Katze, 93 Prozent ». Der Name kommt daher, dass die Rechnung dabei nur in eine Richtung läuft: nach vorne, ohne Rückweg.
Warum ein einzelner Durchlauf die Rechnung bestimmt
Der Forward Pass ist die Maßeinheit, in der Fachleute über Aufwand sprechen. Wer wissen will, wie teuer ein KI-Dienst ist, zählt letztlich Durchläufe. Ein Chatbot mit Millionen Nutzern führt am Tag Milliarden davon aus. Jeder einzelne kostet Strom und belegt für Millisekunden einen Spezialchip.
Wie aufwendig ein Durchlauf ist, hängt an der Größe des Modells. Modelle enthalten Parameter, also gelernte Zahlen, die in der Rechnung benutzt werden. Grob gilt: je mehr Parameter mitrechnen, desto länger dauert ein Forward Pass. Deshalb gibt es Bauweisen, bei denen pro Durchlauf nur ein Teil der Parameter aktiv ist. Sie senken die Kosten, ohne das Modell zu verkleinern.
Auch beim Lernen ist der Forward Pass der erste Schritt. Erst wenn das Modell eine Antwort geliefert hat, kann man sie mit der richtigen Lösung vergleichen. Ohne Durchlauf gibt es also nichts zu korrigieren. Deshalb steht er am Anfang jeder Trainingsrunde.
Der Weg von der Eingabe zur Ausgabe
Zuerst wird die Eingabe in Zahlen übersetzt. Ein Bild wird zu Helligkeitswerten, ein Text zu Zahlencodes für Wortbausteine. Diese Zahlen wandern dann in die erste Schicht. Dort werden sie mit den gelernten Parametern verrechnet, meist durch viele Multiplikationen und Additionen.
Das Ergebnis geht weiter an die nächste Schicht, und so fort. Man kann sich das wie eine Fabrikstraße vorstellen. Jede Station bearbeitet, was die vorige geliefert hat, und niemand schickt Material zurück. Frühe Schichten erkennen einfache Muster wie Kanten, spätere abstraktere Dinge wie Gesichter. Die letzte Schicht formt daraus die eigentliche Ausgabe.
Der Gegenbegriff heißt Backward Pass. Dabei läuft die Rechnung rückwärts durch dieselben Schichten, um herauszufinden, welcher Parameter den Fehler mitverursacht hat. Dieser Rückweg passiert nur beim Training. Im laufenden Betrieb gibt es ausschließlich Forward Passes. Ein häufiger Irrtum ist, dass ein Modell beim Antworten weiterlernt. Das tut es nicht, denn ohne Rückweg ändert sich kein einziger Parameter.
Forward Passes in Chatbots und Grafikkarten-Zahlen
Am deutlichsten sieht man den Begriff bei Sprachmodellen. Ein solches Modell erzeugt Text nicht auf einmal, sondern Wortbaustein für Wortbaustein. Für jeden einzelnen Baustein läuft ein kompletter Forward Pass. Eine Antwort mit 300 Bausteinen bedeutet also 300 Durchläufe hintereinander. Genau deshalb erscheint der Text im Chatfenster tröpfelnd und nicht als Block.
In Nachrichten über Chiphersteller taucht der Begriff indirekt auf. Wenn von Rechenleistung, Tokens pro Sekunde oder Auslastung von Rechenzentren die Rede ist, geht es um die Frage, wie viele Durchläufe eine Anlage pro Sekunde schafft. Auch Angaben zum Stromverbrauch einer KI-Anfrage beruhen darauf.
Für Nutzer ist der Forward Pass indirekt spürbar. Die Wartezeit bis zum ersten Wort ist die Dauer des ersten Durchlaufs. Große Modelle antworten deshalb langsamer als kleine. Wer eine App mit KI-Funktion baut, plant sein Budget in der Regel entlang dieser Durchläufe.