Throttling

Throttling bedeutet, dass ein System absichtlich langsamer wird oder Anfragen ablehnt, sobald eine bestimmte Grenze erreicht ist. Diese Grenze ist meist die Anzahl der Anfragen pro Minute oder pro Tag. Überschreitet ein Nutzer sie, bekommt er eine Fehlermeldung oder muss warten, bis das Kontingent sich erneuert. Der Begriff kommt aus dem Englischen und bedeutet wörtlich « drosseln » — also das Herunterregeln von Geschwindigkeit oder Durchfluss. In der Technik gilt das Prinzip überall dort, wo eine begrenzte Ressource — zum Beispiel Rechenleistung, Speicher oder Netzwerkkapazität — auf viele Nutzer aufgeteilt werden muss.

Throttling als Schutz und Steuerungswerkzeug

Ohne Throttling könnte ein einziger Nutzer oder ein einziges Programm ein System für alle anderen blockieren. Stell dir vor, hundert Nutzer teilen sich einen Server. Schickt einer davon tausend Anfragen pro Sekunde, bleibt für die restlichen 99 kaum noch Kapazität. Throttling verhindert genau das, indem es jedem Nutzer ein festes Kontingent zuweist.

Gleichzeitig ist Throttling ein Geschäftsmodell. Viele Anbieter geben kostenlose Zugänge mit niedrigen Limits und verkaufen höhere Kontingente in bezahlten Tarifen. Wer die kostenlose Version der OpenAI-API nutzt, bekommt deutlich weniger Anfragen pro Minute erlaubt als ein zahlender Unternehmenskunde. Das Limit zwingt Nutzer nicht direkt zum Kauf — es macht das Upgrade attraktiver.

Wie Kontingente gemessen und durchgesetzt werden

Das gängigste Verfahren heißt Token Bucket, zu Deutsch « Token-Eimer ». Jeder Nutzer hat einen gedachten Eimer, der sich in regelmäßigen Abständen mit Marken — den sogenannten Tokens — füllt. Jede Anfrage kostet eine bestimmte Anzahl dieser Marken. Ist der Eimer leer, werden neue Anfragen abgewiesen, bis er sich wieder aufgefüllt hat. Das erlaubt kurze Lastspitzen, verhindert aber dauerhaften Missbrauch.

Daneben gibt es das einfachere Sliding-Window-Verfahren: Das System zählt schlicht, wie viele Anfragen in den letzten 60 Sekunden eingegangen sind. Wird ein Schwellenwert überschritten, folgt die Sperre. Beide Verfahren laufen vollautomatisch, meist auf Servern, die dem eigentlichen Dienst vorgelagert sind — der eigentliche Inhalt wird gar nicht erst aufgerufen, wenn das Limit bereits erreicht ist.

Wichtig ist auch, was genau gemessen wird. Manche Systeme begrenzen die Anzahl der Anfragen, andere den Datendurchsatz in Megabyte, und KI-Dienste wie GPT zählen häufig die sogenannten Tokens — die kleinsten Sprachbausteine, aus denen Text besteht. Eine lange Anfrage kostet dann mehr als eine kurze, selbst wenn beide technisch gesehen nur eine einzelne Anfrage sind.

Throttling in KI-Produkten und im Alltag

Wer ChatGPT in der kostenlosen Version intensiv nutzt, stößt früher oder später auf eine Meldung wie « You’ve reached your limit ». Das ist Throttling. Auch Musikdienste wie Spotify drosseln gelegentlich die Downloadgeschwindigkeit für Offline-Inhalte, wenn ein Nutzer ungewöhnlich viele Titel in kurzer Zeit herunterlädt. Mobilfunkanbieter sprechen von Throttling, wenn sie nach dem Verbrauch des monatlichen Datenkontingents die Internetgeschwindigkeit auf wenige Kilobit pro Sekunde reduzieren.

In der Berichterstattung über KI-Unternehmen taucht der Begriff vor allem im Zusammenhang mit APIs auf — also Schnittstellen, über die Entwickler KI-Modelle in eigene Anwendungen einbinden. Wenn ein Anbieter wie Anthropic oder Google seine Kapazitäten ausweitet, kündigt er oft gleichzeitig höhere Throttling-Limits an. Steigt die Nachfrage schneller als die Infrastruktur, werden die Limits dagegen verschärft. Throttling ist damit ein indirekter Hinweis auf den Betriebszustand eines Dienstes: Enge Limits signalisieren, dass die Nachfrage das Angebot gerade übersteigt.

Ein häufiger Irrtum ist, Throttling mit einem Ausfall gleichzusetzen. Der Unterschied ist wesentlich: Bei einem Ausfall funktioniert ein Dienst für niemanden. Beim Throttling funktioniert er weiterhin — nur nicht unbegrenzt für jeden. Wer das Limit noch nicht erreicht hat, merkt oft gar nichts davon.