Batch-Verarbeitung

Ein Computer kann Aufgaben auf zwei Arten annehmen. Entweder er erledigt jede Anfrage sofort, sobald sie eintrifft. Oder er sammelt viele Anfragen und arbeitet sie später gemeinsam ab. Die zweite Variante heißt Batch-Verarbeitung, auf Deutsch auch Stapelverarbeitung. Ein Batch ist dabei einfach ein Stapel gleichartiger Aufgaben, die zusammen bearbeitet werden. Das Gegenstück nennt man Echtzeitverarbeitung: dort zählt jede Sekunde, bei der Batch-Verarbeitung zählt der Gesamtdurchsatz.

Warum Stapel billiger sind als Einzelstücke

Fast jede Maschine arbeitet effizienter, wenn sie eine Sache oft hintereinander tut. Eine Bäckerei backt hundert Brötchen in einem Ofengang, nicht in hundert. Das Aufheizen kostet gleich viel, egal wie voll der Ofen ist. Bei Computern ist es ähnlich: Vorbereitung, Datenladen und Umschalten kosten Zeit, unabhängig von der Menge.

Besonders deutlich wird das bei Grafikkarten, den Spezialchips hinter fast jeder modernen KI. Sie enthalten tausende kleine Rechenwerke, die gleichzeitig arbeiten können. Schickt man ihnen eine einzelne Aufgabe, bleibt der größte Teil des Chips ungenutzt. Schickt man ihnen dreißig Aufgaben auf einmal, laufen sie fast voll ausgelastet. Die Rechenzeit steigt dabei kaum, der Durchsatz aber massiv.

Deshalb ist Batch-Verarbeitung vor allem eine Kostenfrage. Anbieter von KI-Diensten verlangen für Batch-Aufträge oft nur die Hälfte des normalen Preises. Der Deal ist einfach: Du verzichtest auf sofortige Antwort, dafür wird es günstiger. Wer eine Million Produktbeschreibungen übersetzen lassen will, spart so sehr viel Geld.

Vom Warteschlangen-Sammeln bis zum fertigen Stapel

Technisch braucht es zuerst eine Warteschlange. Eingehende Aufgaben werden dort abgelegt, statt sofort bearbeitet zu werden. Ein Steuerprogramm entscheidet dann, wann ein Stapel voll genug ist. Typische Regeln lauten: starte, sobald 64 Aufgaben zusammengekommen sind, oder spätestens nach fünf Sekunden. Danach geht der ganze Stapel gemeinsam an den Rechner.

Die Größe des Stapels nennt man Batch Size. Sie ist der zentrale Regler dieses Verfahrens. Ein großer Stapel bedeutet niedrige Kosten pro Aufgabe, aber längere Wartezeit für den Einzelnen. Ein kleiner Stapel antwortet schnell, verschenkt aber Rechenleistung. Außerdem braucht ein großer Stapel mehr Arbeitsspeicher, weil alle Daten gleichzeitig vorliegen müssen.

Bei Chatbots gibt es eine besondere Schwierigkeit. Die Antworten sind unterschiedlich lang, also wird eine früher fertig als die andere. Moderne Systeme nutzen deshalb Continuous Batching: Sobald ein Platz im Stapel frei wird, rückt eine neue Anfrage nach. Der Stapel bleibt permanent voll, statt auf den langsamsten Teilnehmer zu warten.

Vom Bankkonto bis zur nächtlichen Modellauswertung

Banken sind das klassische Beispiel. Überweisungen werden tagsüber gesammelt und nachts in großen Läufen verbucht. Deshalb erscheint eine Zahlung manchmal erst am nächsten Werktag auf dem Konto. Auch Gehaltsabrechnungen, Stromrechnungen und Handyabrechnungen entstehen in solchen nächtlichen Läufen.

In der KI-Welt begegnet dir der Begriff an zwei Stellen. Beim Training lernt ein Modell nicht aus einem Beispiel nach dem anderen, sondern immer aus einem Stapel gleichzeitig. Beim Betrieb des fertigen Modells bündeln die Anbieter die Anfragen vieler Nutzer in einem Batch. Du merkst davon nichts, es senkt aber die Kosten hinter deinem Chatfenster erheblich.

Ein häufiger Irrtum ist, Batch-Verarbeitung sei altmodisch und Echtzeit immer besser. Tatsächlich ergänzen sich beide. Ein Notruf-System oder ein Bremsassistent darf niemals sammeln und warten. Eine Auswertung von zehn Millionen Kundenkommentaren dagegen muss nicht in einer Sekunde fertig sein. Die richtige Frage lautet nicht, was schneller ist, sondern wie schnell es wirklich sein muss.