SPEED-Bench

SPEED-Bench ist ein Prüfverfahren für Computerprogramme, die selbstständig Texte oder Antworten erzeugen. Solche Prüfverfahren nennt man auch Benchmarks: standardisierte Aufgabenpakete, die man verschiedenen Systemen vorlegt, um sie vergleichen zu können. Das Besondere an SPEED-Bench liegt schon im Namen, denn „speed“ heißt Geschwindigkeit. Gemessen wird also nicht nur, ob ein System die richtige Antwort findet, sondern auch, wie lange es dafür braucht und wie viel Rechenleistung es verschlingt. Man kann sich das wie einen Fahrradtest vorstellen, der nicht nur fragt, ob das Rad heil ankommt, sondern auch, wie schnell und mit welchem Kraftaufwand. Wichtig ist: Es gibt in der Branche keinen einzigen, allgemein anerkannten Test dieses Namens, sondern mehrere Verfahren, die unter ähnlichen Bezeichnungen laufen.

Warum Tempo bei KI zur Kostenfrage wird

Lange Zeit interessierte bei KI-Systemen fast nur eine Frage: Wie klug ist die Antwort? Bekannte Tests bestehen daher aus Schulaufgaben, Programmieraufgaben oder Wissensfragen. Das ist sinnvoll, greift aber zu kurz. Denn ein System, das eine perfekte Antwort in zwei Minuten liefert, ist für einen Chat-Dienst mit Millionen Nutzern unbrauchbar.

Hinter dem Tempo steht direkt Geld. Jede Antwort wird auf teuren Spezialchips in großen Rechenzentren berechnet. Braucht ein System doppelt so lange, kostet der Betrieb ungefähr doppelt so viel und verbraucht auch etwa doppelt so viel Strom. Unternehmen, die KI in ihre Produkte einbauen, müssen deshalb abwägen: ein wenig mehr Qualität gegen deutlich höhere laufende Kosten.

Ein zweiter Grund ist die Nutzererfahrung. Menschen brechen ab, wenn eine Antwort zu lange auf sich warten lässt. Bei Sprachassistenten liegt die Schwelle bei wenigen Zehntelsekunden. Tests, die Geschwindigkeit mitmessen, machen genau diesen Unterschied sichtbar, der in reinen Wissenstests komplett unsichtbar bleibt.

Was bei einem Geschwindigkeitstest gemessen wird

Der Ablauf ist immer ähnlich. Man legt dem System eine feste Liste von Aufgaben vor, immer dieselbe für alle Kandidaten. Dabei laufen Stoppuhren mit. Am Ende stehen mehrere Zahlen nebeneinander: die Trefferquote bei den Aufgaben und verschiedene Zeit- und Verbrauchswerte.

Zwei Zeitwerte sind besonders üblich. Der erste ist die Wartezeit bis zum ersten Zeichen der Antwort. Der zweite ist die Ausgaberate, also wie viele Wortbausteine pro Sekunde nachkommen. Solche Wortbausteine heißen Tokens; ein längeres deutsches Wort besteht oft aus zwei oder drei davon. Dazu kommen häufig noch Angaben zum Energieverbrauch oder zum benötigten Arbeitsspeicher.

Ein typischer Irrtum ist, solche Zahlen für Eigenschaften des Modells zu halten. Sie hängen stark von der Hardware ab, auf der getestet wurde, und von der Anzahl gleichzeitiger Anfragen. Deshalb sind Ergebnisse nur vergleichbar, wenn die Testbedingungen offengelegt und identisch sind. Wer Werte aus zwei verschiedenen Quellen gegeneinanderstellt, vergleicht meist Äpfel mit Birnen.

Wo solche Bestenlisten auftauchen

Am häufigsten begegnen dir Geschwindigkeitstests in Meldungen über neue KI-Modelle. Firmen veröffentlichen dann Tabellen, in denen ihr System schneller oder sparsamer abschneidet als die Konkurrenz. Solche Zahlen sind Marketing und sollten mit Vorsicht geleswerden – die Firma wählt selbst aus, welchen Test sie zeigt.

Praktisch relevant sind sie für Entwickler, die einen KI-Dienst einkaufen. Anbieter verkaufen Zugang meist pro Million Tokens, und dazu kommen Zusagen über Antwortzeiten. Geschwindigkeitstests helfen bei der Entscheidung, welcher Anbieter für welchen Zweck passt. Für einen Chatbot im Kundenservice zählt Tempo, für eine nächtliche Datenauswertung eher der Preis.

Abzugrenzen ist SPEED-Bench von reinen Fähigkeitstests wie MMLU, einem großen Wissensquiz für Sprachmodelle. Dort geht es allein um Richtigkeit. Erst die Kombination aus beidem ergibt ein brauchbares Bild davon, ob ein System für ein echtes Produkt taugt.