Bits per Byte

Ein Byte ist die übliche Speichereinheit für ein Zeichen in einem Text, also etwa für ein „A“ oder ein Komma. Ein Bit ist die kleinste Informationseinheit überhaupt: eine Null oder eine Eins. In ein Byte passen acht Bits. Bits per Byte misst nun, wie viele Bits ein Computerprogramm im Durchschnitt tatsächlich benötigt, um ein solches Zeichen eines Textes festzuhalten. Programme, die Sprache gut vorhersagen können, kommen mit deutlich weniger als acht Bits aus, weil sie vieles schon erraten können. Genau deshalb benutzt man diese Zahl, um zu vergleichen, wie gut verschiedene Programme Sprache verstanden haben.

Warum eine Kompressionszahl über Sprachverständnis Auskunft gibt

Hinter der Kennzahl steckt eine überraschende Idee: Vorhersagen und Komprimieren sind dasselbe Problem. Wer weiß, welches Zeichen als Nächstes kommt, muss es nicht mehr voll ausschreiben. Nach „Guten Morg“ ist das nächste Zeichen fast sicher ein „e“. Dieses „e“ kostet dann nur einen Bruchteil eines Bits an Information. Ein Modell, das Sprache schlecht versteht, muss dagegen für jedes Zeichen viel Platz einplanen.

Daraus folgt eine sehr praktische Eigenschaft. Bits per Byte lässt sich auf jedem beliebigen Text ausrechnen, ohne dass jemand vorher Aufgaben mit richtigen Antworten formulieren muss. Man braucht keine Prüfungsfragen, keine Bewertung durch Menschen, keine Zusatzarbeit. Der Text selbst ist die Prüfung. Das macht die Zahl billig, objektiv und beliebig oft wiederholbar.

In der Forschung ist das wichtig, weil viele andere Tests unzuverlässig geworden sind. Bekannte Fragenkataloge tauchen irgendwann in den Trainingsdaten auf, und dann misst der Test nur noch Auswendiglernen. Bei Bits per Byte kann man einfach einen brandneuen Text nehmen, den es beim Training noch nicht gab. Auch die sogenannten Skalierungsgesetze, also die Faustregeln darüber, wie viel besser ein Modell durch mehr Daten und mehr Rechenzeit wird, beruhen auf solchen Messungen.

Von der Wahrscheinlichkeit zur Zahl

Ein Sprachmodell liest einen Text und gibt für die nächste Texteinheit Wahrscheinlichkeiten aus. Hält es die richtige Fortsetzung für sehr wahrscheinlich, war die Vorhersage gut. Aus dieser Wahrscheinlichkeit rechnet man den Informationsgehalt in Bits aus. Eine Vorhersage mit 50 Prozent Trefferchance kostet genau ein Bit. Eine mit 25 Prozent kostet zwei Bits, eine mit fast hundert Prozent fast null Bits.

Diese Bits addiert man über den gesamten Text und teilt sie durch die Anzahl der Bytes im Originaltext. Der letzte Schritt ist entscheidend. Moderne Modelle lesen Text nämlich nicht Zeichen für Zeichen, sondern in Häppchen, sogenannten Tokens. Wie groß diese Häppchen sind, ist bei jedem Modell anders. Durch das Teilen durch die Bytes verschwindet dieser Unterschied wieder aus der Rechnung.

Genau darin liegt der Vorteil gegenüber der verwandten Kennzahl Perplexität, die man in Fachartikeln viel häufiger liest. Perplexität wird pro Token berechnet und hängt damit von der Häppchen-Einteilung ab. Zwei Modelle mit unterschiedlicher Einteilung lassen sich so kaum fair vergleichen. Bits per Byte ist gegen diesen Effekt weitgehend immun. Zur Einordnung: Gute Sprachmodelle liegen bei englischem Text heute unter einem Bit pro Byte, klassische Packprogramme wie ZIP brauchen etwa das Doppelte bis Dreifache.

Wo die Zahl in Fachartikeln und Produkten auftaucht

Am häufigsten begegnet man Bits per Byte in wissenschaftlichen Veröffentlichungen zu neuen Modellen. Dort steht sie in Tabellen neben Testdatensätzen mit Namen wie „The Pile“, einer großen Sammlung gemischter Texte. Auch Firmen wie OpenAI, Meta oder DeepMind nutzen die Zahl intern, um während des Trainings zu prüfen, ob ein Modell überhaupt Fortschritte macht.

Im Alltag sieht man den Wert dagegen nie. Kein Chatbot zeigt an, mit wie vielen Bits pro Byte er gerade arbeitet. Die Kennzahl ist ein Werkzeug für Entwickler, kein Verkaufsargument. Wenn in Nachrichten von einem „besseren“ Modell die Rede ist, steckt aber oft eine solche Messung im Hintergrund.

Ein verbreiteter Irrtum lohnt zum Schluss die Erwähnung. Ein niedriger Wert bedeutet nicht automatisch, dass ein Modell hilfreich, höflich oder sachlich richtig antwortet. Gemessen wird nur die Vorhersagegüte auf Textebene. Ein Modell kann Sprache hervorragend fortsetzen und trotzdem Unsinn behaupten. Deshalb steht die Zahl in Berichten immer neben anderen Tests, nie allein.