cl100k_base

Computer rechnen mit Zahlen, nicht mit Buchstaben. Ein Sprachprogramm muss geschriebenen Text deshalb zuerst in Zahlen übersetzen. Dafür gibt es eine feste Liste von Textbausteinen: jedes Wort, jede Silbe und jedes Satzzeichen aus dieser Liste hat eine eigene Nummer. cl100k_base ist eine solche Liste. Sie enthält knapp 100.000 Einträge, daher das „100k“ im Namen. Die Firma OpenAI hat sie erstellt, und die Programme ChatGPT, GPT-3.5 und GPT-4 haben Text jahrelang mit genau dieser Liste in Zahlen umgewandelt.

Warum die Bausteinliste über den Preis entscheidet

Anbieter von KI-Diensten rechnen nicht nach Wörtern oder Zeichen ab, sondern nach diesen Bausteinen. Sie heißen im Fachjargon Token. Wer eine Anfrage an ein Modell schickt, zahlt für jeden Token in der Frage und für jeden Token in der Antwort. Die Bausteinliste bestimmt also direkt, wie teuer ein Text ist.

Dabei ist cl100k_base nicht für alle Sprachen gleich sparsam. Sie wurde überwiegend an englischem Text aufgebaut. Englische Wörter passen deshalb oft als ein einziger Baustein hinein. Deutsche Wörter zerfallen häufiger in mehrere Teile, besonders lange Zusammensetzungen wie „Krankenversicherung“. Bei Sprachen mit anderer Schrift, etwa Thai oder Hindi, wird es noch ungünstiger. Derselbe Inhalt kostet dort ein Vielfaches.

Ein zweiter Grund ist das Kontextfenster. Das ist die Menge an Text, die ein Modell gleichzeitig überblicken kann, gemessen in Token. Wenn ein Modell 8.000 Token verarbeitet, hängt es von der Bausteinliste ab, wie viele Seiten Text das tatsächlich sind. Effiziente Zerlegung bedeutet also mehr nutzbaren Platz.

Wie die 100.000 Bausteine entstanden sind

Die Liste wurde nicht von Hand geschrieben, sondern aus großen Textmengen berechnet. Das Verfahren heißt Byte Pair Encoding, abgekürzt BPE. Es startet mit einzelnen Zeichen und sucht dann das Zeichenpaar, das am häufigsten nebeneinander auftaucht. Dieses Paar wird zu einem neuen Baustein zusammengefasst. Der Schritt wiederholt sich zehntausende Male, bis die gewünschte Anzahl erreicht ist.

Das Ergebnis ist eine Mischung aus ganzen Wörtern und Wortteilen. Häufige Wörter wie „und“ oder „ the“ bekommen einen eigenen Eintrag. Seltene Wörter werden aus mehreren Stücken zusammengesetzt. Ein Name, den die Liste nicht kennt, wird notfalls Buchstabe für Buchstabe abgebildet. So kann jeder beliebige Text dargestellt werden, auch Emojis oder Programmcode.

Wichtig ist die Abgrenzung zum Modell selbst. cl100k_base lernt nichts und versteht nichts. Es ist reines Nachschlagen in einer festen Tabelle, vergleichbar mit einem Zeichensatz. Die Intelligenz steckt im Modell dahinter. Deshalb kann dieselbe Liste von mehreren Modellen genutzt werden, und ein Nachfolger wie o200k_base mit rund 200.000 Bausteinen macht ein Modell nicht klüger, sondern nur sparsamer.

Wo der Name in Werkzeugen und Rechnungen auftaucht

Wer selbst Programme schreibt, die KI-Modelle ansprechen, stößt schnell auf den Namen. Die Software-Bibliothek tiktoken von OpenAI erwartet, dass man die passende Liste angibt. Dort steht dann wörtlich „cl100k_base“ im Code. Auch viele Kostenrechner im Netz zählen Token nach diesem Schema.

Im Alltag merkt man die Zerlegung an einer bekannten Schwäche. Fragt man ein älteres Modell, wie viele „r“ im Wort „Erdbeere“ stecken, kommt oft eine falsche Zahl. Das Modell sieht keine einzelnen Buchstaben, sondern nur zwei oder drei Bausteine. Auch das Rückwärtsbuchstabieren von Wörtern fällt aus demselben Grund schwer.

In Fachartikeln wird cl100k_base heute meist historisch erwähnt. Neuere OpenAI-Modelle wie GPT-4o nutzen die größere Liste o200k_base. Andere Anbieter haben ohnehin eigene Bausteinlisten, etwa Google für Gemini oder Meta für Llama. Deshalb lassen sich Token-Zahlen zwischen Anbietern nur eingeschränkt vergleichen. Wer Preise gegenüberstellt, sollte immer prüfen, welche Zerlegung dahintersteckt.