Durchsatz

Durchsatz ist eine Mengenangabe pro Zeit. Er sagt, wie viel Arbeit ein System in einer Sekunde, Minute oder Stunde schafft. Bei einem Supermarkt wären das Kunden pro Stunde an der Kasse. Bei einem Computerdienst, der Texte schreibt, sind es Wörter pro Sekunde. Wichtig ist der Unterschied zur Wartezeit: Der Durchsatz zählt die Gesamtmenge, nicht wie lange ein einzelner Kunde ansteht. Eine Kasse kann viele Kunden pro Stunde abfertigen, während der Letzte in der Schlange trotzdem lange wartet.

Warum das wichtig ist

Wer einen KI-Dienst betreibt, kauft teure Rechner und bezahlt Strom. Diese Kosten laufen pro Stunde weiter, egal wie viel gerade passiert. Je mehr Anfragen dieselbe Maschine in dieser Stunde beantwortet, desto günstiger wird jede einzelne Antwort. Deshalb ist Durchsatz für Anbieter direkt eine Geldfrage.

Für Nutzer zeigt sich derselbe Wert anders. Ist der Durchsatz zu niedrig für die Anzahl der Anfragen, entstehen Warteschlangen. Dann kommen Antworten langsam an, Anfragen werden abgewiesen oder der Dienst begrenzt, wie oft man ihn pro Tag nutzen darf. Nach dem Start eines beliebten Chatbots ist genau das oft zu beobachten.

In Quartalszahlen von Chipherstellern und Rechenzentrumsbetreibern taucht Durchsatz deshalb regelmäßig auf. Ein Chip, der doppelt so viele Anfragen pro Sekunde schafft, ersetzt zwei alte Chips. Das ist ein Verkaufsargument mit einer klaren Zahl dahinter.

Wie man ihn erhöht

Der wichtigste Trick heißt Bündelung, auf Englisch Batching. Statt eine Anfrage nach der anderen zu bearbeiten, sammelt das System viele Anfragen und rechnet sie gemeinsam. Grafikchips sind darauf ausgelegt, sehr viele gleichartige Rechenschritte parallel auszuführen. Eine einzelne Anfrage lässt große Teile des Chips ungenutzt, dreißig gleichzeitige Anfragen füllen ihn aus.

Dabei entsteht ein Zielkonflikt. Wer länger sammelt, bekommt größere Bündel und mehr Durchsatz. Gleichzeitig wartet die erste Anfrage im Bündel länger auf ihre Antwort. Anbieter suchen also einen Kompromiss zwischen hohem Durchsatz und kurzer Wartezeit.

Daneben helfen schnellere Chips, mehr Chips und sparsamere Modelle. Ein Modell, das pro Anfrage nur einen Teil seiner Bausteine benutzt, verbraucht weniger Rechenzeit. Damit passen mehr Anfragen in dieselbe Sekunde. Auch gröber gespeicherte Zahlen im Modell wirken in dieselbe Richtung.

Begrenzt wird der Durchsatz meist von einem Engpass. Oft ist es nicht die Rechenleistung, sondern die Geschwindigkeit, mit der Daten aus dem Speicher zum Chip fließen. Wie bei einer Autobahn nützt eine breitere Fahrbahn nichts, wenn die Auffahrt einspurig bleibt.

Wo man dem Begriff begegnet

Bei KI-Chatbots wird Durchsatz meist in Tokens pro Sekunde angegeben. Ein Token ist ein Textbaustein, ungefähr ein halbes bis ein ganzes Wort. Vergleichsseiten listen für jeden Anbieter, wie viele Tokens pro Sekunde er liefert. Wer Programme schreibt, die einen KI-Dienst nutzen, sieht dort auch Obergrenzen für Anfragen pro Minute.

Außerhalb von KI ist der Begriff genauso verbreitet. Beim Internetanschluss ist die Angabe in Megabit pro Sekunde ein Durchsatz. Bei Festplatten sind es Megabyte pro Sekunde, in der Industrie Werkstücke pro Stunde. Wenn du in Tests Wörter wie « Throughput » oder « Tokens/s » liest, geht es immer um dieselbe Grundfrage: Wie viel pro Zeit?