Padding

Computer rechnen am schnellsten, wenn sie viele Daten gleichzeitig verarbeiten. Das klappt aber nur, wenn alle Daten die gleiche Größe haben. In der Praxis ist das nie der Fall: Ein Satz hat fünf Wörter, der nächste dreißig. Ein Foto ist quadratisch, das andere breit. Padding löst dieses Problem, indem es die kürzeren Daten mit bedeutungslosen Platzhaltern auffüllt, bis alle gleich lang sind. Das Wort kommt aus dem Englischen und heißt so viel wie Polsterung oder Wattierung.

Warum Stapelverarbeitung gleiche Längen braucht

Moderne KI-Systeme laufen auf Grafikkarten. Diese Chips sind darauf ausgelegt, tausende gleichartige Rechnungen parallel auszuführen. Damit das funktioniert, müssen die Daten als rechteckige Zahlentabelle vorliegen. Eine Tabelle mit unterschiedlich langen Zeilen gibt es aber nicht. Also füllt man die kurzen Zeilen auf, bis das Rechteck vollständig ist.

Der Gewinn ist enorm. Ohne Padding müsste man jeden Satz einzeln durch das Modell schicken. Mit Padding gehen 64 oder 128 Sätze gleichzeitig durch, in fast derselben Zeit. Das senkt die Kosten pro Anfrage um ein Vielfaches. Genau deshalb ist Padding kein Randdetail, sondern Standard in praktisch jedem Trainingsdurchlauf.

Es gibt allerdings einen Preis. Wenn ein Stapel einen sehr langen und viele sehr kurze Sätze enthält, besteht die Tabelle größtenteils aus Platzhaltern. Das Modell rechnet dann über Leerstellen und verschwendet Zeit. Fachleute sortieren die Daten deshalb oft vorher nach Länge, damit ähnlich lange Beispiele zusammen in einen Stapel kommen.

Platzhalter setzen und wieder ausblenden

Bei Text benutzt man ein spezielles Zeichen, das Padding-Token. Es steht für nichts und kommt in echtem Text nicht vor. Ein Satz mit fünf Wörtern wird in einem Stapel der Länge zwanzig also mit fünfzehn dieser Platzhalter verlängert. Ob sie vorne oder hinten angehängt werden, hängt vom Modelltyp ab. Bei Sprachmodellen, die Text fortsetzen, hängt man sie oft vorne an, damit das Ende der Eingabe direkt am Antwortbeginn liegt.

Damit die Platzhalter das Ergebnis nicht verfälschen, braucht es einen zweiten Schritt: die Maske. Das ist eine zusätzliche Tabelle aus Nullen und Einsen, die für jede Position angibt, ob dort echte Daten stehen. Das Modell rechnet zwar über alle Positionen, gewichtet die maskierten aber mit null. Vergisst man die Maske, lernt das Modell aus den Platzhaltern Muster, die es gar nicht gibt. Das ist einer der häufigsten Anfängerfehler beim Training.

In der Bildverarbeitung meint Padding etwas leicht anderes. Dort legt man einen Rahmen aus Nullen um das Bild, bevor ein Filter darüberläuft. Ohne diesen Rahmen würde das Bild bei jedem Verarbeitungsschritt an den Rändern schrumpfen. Man nennt das Zero-Padding, weil der Rahmen aus lauter Nullen besteht.

Padding in Kostenrechnungen und Fehlermeldungen

Als Nutzer eines Chatbots siehst du Padding nie direkt. Es steckt eine Ebene tiefer, in der Software, die deine Anfrage an das Modell weiterreicht. Sichtbar wird es dort, wo Anbieter über Effizienz sprechen. Wenn eine Firma meldet, sie habe die Auslastung ihrer Grafikkarten verbessert, geht es oft genau darum: weniger verschwendete Rechenzeit für Platzhalter.

Wer selbst mit KI-Bibliotheken arbeitet, stößt schnell darauf. Fehlermeldungen über nicht zusammenpassende Größen von Datentabellen sind fast immer Padding-Probleme. Auch in Anleitungen zu Werkzeugen wie PyTorch oder Hugging Face taucht der Begriff ständig auf, meist zusammen mit der zugehörigen Maske.

Ein verwandter Begriff ist Truncation, das Abschneiden. Padding verlängert zu kurze Eingaben, Truncation kürzt zu lange. Beide zusammen bringen jede Eingabe auf die feste Länge, die das Modell verarbeiten kann. Verwechseln sollte man Padding außerdem nicht mit dem gleichnamigen Begriff aus dem Webdesign. Dort bezeichnet Padding den Abstand zwischen einem Rahmen und dem Inhalt darin.