Rate Cap

Ein Rate Cap ist eine feste Obergrenze für die Nutzung eines Onlinedienstes in einem bestimmten Zeitraum. Ein Anbieter legt zum Beispiel fest: höchstens 60 Anfragen pro Minute, oder höchstens 50 Bildgenerierungen pro Tag. Wer diese Grenze erreicht, bekommt keine Antwort mehr, sondern eine Fehlermeldung. Meist muss man dann nur warten, bis der Zeitraum abgelaufen ist und der Zähler wieder bei null steht. Der englische Begriff bedeutet wörtlich „Ratendeckel“, gemeint ist der Deckel auf der Nutzungsrate. Man findet dafür auch das Wort Rate Limit, beides meint in der Praxis dasselbe.

Warum Anbieter die Nutzung deckeln

KI-Dienste kosten bei jeder einzelnen Nutzung echtes Geld. Hinter einer Antwort steckt Rechenzeit auf spezialisierten Chips, die knapp und teuer sind. Anders als bei einer normalen Webseite ist eine Anfrage also nicht fast gratis. Ohne Obergrenze könnte ein einziger Nutzer mit einem automatisierten Skript in wenigen Stunden Kosten in Tausenderhöhe verursachen.

Der zweite Grund ist Fairness zwischen den Nutzern. Die Rechenkapazität eines Anbieters ist zu jedem Zeitpunkt begrenzt. Würden einige wenige Kunden sie komplett belegen, wären die Antwortzeiten für alle anderen unbrauchbar lang. Ein Rate Cap verteilt die knappe Kapazität, statt sie nach dem Prinzip „wer am schnellsten klickt“ zu vergeben.

Drittens sind Rate Caps ein Schutz vor Angriffen und Missbrauch. Sie erschweren es, massenhaft Passwörter durchzuprobieren oder ein Modell durch Millionen Anfragen systematisch auszuspähen. Nebenbei sind sie ein Verkaufsinstrument: Die kostenlose Version eines Chatbots hat enge Grenzen, das Bezahlabo großzügigere. Genau an dieser Stelle merken die meisten Menschen zum ersten Mal, dass es Rate Caps überhaupt gibt.

Wie der Zähler im Hintergrund arbeitet

Technisch führt der Anbieter für jeden Nutzer einen Zähler. Bei jeder Anfrage steigt er um eins. Ist die Grenze erreicht, lehnt der Server weitere Anfragen ab und schickt einen Fehlercode zurück, meist die Nummer 429 mit der Bedeutung „zu viele Anfragen“. Oft steht in der Antwort auch, wie viele Sekunden man warten soll.

Für den Zeitraum gibt es zwei gängige Verfahren. Beim festen Fenster wird der Zähler zu jeder vollen Minute zurückgesetzt. Beim gleitenden Fenster zählt der Dienst immer die letzten 60 Sekunden ab jetzt. Ein beliebtes Bild für die zweite Variante ist ein Eimer mit Löchern: Jede Anfrage gießt einen Tropfen hinein, unten läuft ständig etwas ab. Läuft der Eimer über, ist Schluss.

Bei Sprachmodellen wird oft nicht nur die Zahl der Anfragen gezählt, sondern auch die Textmenge. Gemessen wird sie in Tokens, also in Wortbausteinen von wenigen Buchstaben Länge. Ein typisches Limit lautet dann: 500 Anfragen und 200.000 Tokens pro Minute. Ein langer Text kann das Limit also sprengen, obwohl es nur eine einzige Anfrage war.

Rate Caps im Alltag und in den Nachrichten

Am sichtbarsten sind Rate Caps in Chatbots. Sätze wie „Du hast das Limit für dieses Modell erreicht, versuch es in drei Stunden wieder“ sind nichts anderes als ein Rate Cap in Aktion. Auch Bildgeneratoren, Übersetzungsdienste und Programmierassistenten arbeiten mit solchen Grenzen. Wer sich einmal geärgert hat, dass ein Werkzeug plötzlich streikt, hat die Regel meist einfach ausgeschöpft.

In Wirtschaftsnachrichten tauchen Rate Caps als Hinweis auf knappe Rechenkapazität auf. Senkt ein Anbieter kurz nach dem Start eines neuen Modells die Limits, deutet das oft auf überlastete Rechenzentren hin. Lockert er sie, sind neue Chips in Betrieb oder das Modell läuft effizienter. Für Beobachter der Branche sind Limits deshalb ein kleiner Frühindikator.

Ein häufiger Irrtum ist, ein Rate Cap sei dasselbe wie ein Kostendeckel. Das stimmt nicht ganz. Ein Rate Cap begrenzt das Tempo der Nutzung, ein Ausgabenlimit begrenzt die Rechnung am Monatsende. Viele Anbieter kombinieren beides, weil sonst ein fehlerhaftes Programm zwar langsam, aber unaufhörlich Kosten produzieren würde.