MTEB

Manche KI-Modelle beantworten keine Fragen, sondern übersetzen Texte in lange Zahlenlisten. Solche Zahlenlisten nennt man Einbettungen, und sie funktionieren wie eine Ortsangabe auf einer Landkarte der Bedeutung: Texte mit ähnlichem Inhalt landen dicht beieinander. Damit lässt sich zum Beispiel eine Suche bauen, die auch dann etwas findet, wenn der Nutzer andere Wörter benutzt als der gesuchte Text. MTEB ist ein öffentlicher Test, der solche Modelle vergleichbar macht. Die Abkürzung steht für Massive Text Embedding Benchmark, also etwa „riesiger Test für Text-Zahlenlisten“. Der Test besteht aus über hundert einzelnen Aufgaben, und am Ende bekommt jedes Modell eine Punktzahl.

Warum eine einzelne Punktzahl über Millionen entscheidet

Wer eine Firmensuche, einen Chatbot mit Dokumentenzugriff oder eine Produktempfehlung baut, braucht ein Einbettungsmodell. Es gibt hunderte davon, von großen Anbietern und aus der Open-Source-Gemeinschaft. Ohne einen gemeinsamen Test müsste jedes Unternehmen selbst wochenlang ausprobieren. MTEB liefert eine erste Antwort in Minuten.

Vor MTEB testete fast jeder Anbieter sein Modell auf selbst gewählten Aufgaben. Natürlich sah dabei jedes Modell gut aus. Ein gemeinsamer Test mit festen Regeln macht Werbeversprechen überprüfbar. Deshalb steht die MTEB-Platzierung heute in fast jeder Ankündigung eines neuen Einbettungsmodells.

Wichtig ist aber die Grenze des Tests. Eine hohe Punktzahl sagt nichts über Geschwindigkeit, Preis oder Speicherbedarf. Ein Modell auf Platz eins kann zehnmal so teuer sein wie eines auf Platz zwölf. In der Praxis wählen Entwickler deshalb oft ein kleineres Modell mit leicht schlechterer Punktzahl.

Aus welchen Aufgaben sich die Punktzahl zusammensetzt

MTEB besteht aus mehreren Aufgabentypen. Bei der Suche bekommt das Modell eine Frage und einen großen Stapel Texte. Gemessen wird, ob die passenden Texte oben landen. Bei der Gruppierung soll das Modell Texte ohne Vorgaben in sinnvolle Themenhaufen sortieren.

Andere Aufgaben prüfen Ähnlichkeit. Zwei Sätze werden vorgelegt, Menschen haben ihre Ähnlichkeit vorher auf einer Skala bewertet. Das Modell muss möglichst nah an dieses menschliche Urteil herankommen. Wieder andere Aufgaben prüfen Einordnung, etwa ob eine Produktbewertung positiv oder negativ ist.

Am Ende werden die Ergebnisse aller Aufgaben zu einem Durchschnitt verrechnet. Das ist praktisch, aber auch die größte Schwäche. Ein Modell kann in der Suche schwach und beim Sortieren stark sein, und der Durchschnitt verdeckt das. Wer ein Modell für eine Suche braucht, sollte deshalb nur die Suchaufgaben anschauen. Die Ergebnisse liegen einzeln vor, man muss sie nur aufklappen.

Das Leaderboard und seine Fallstricke

MTEB ist am bekanntesten durch seine Rangliste auf der Plattform Hugging Face, einer Art großem Online-Lager für frei verfügbare KI-Modelle. Jeder kann sein Modell testen lassen und eintragen. Die Liste ändert sich fast wöchentlich. Wenn in den Tech-News steht, ein neues Modell sei „führend bei Einbettungen“, ist meist diese Rangliste gemeint.

Ursprünglich war MTEB stark auf Englisch ausgerichtet. Inzwischen gibt es Erweiterungen für Deutsch, Französisch, Chinesisch und viele weitere Sprachen. Für deutschsprachige Anwendungen lohnt sich der Blick auf diese Teilranglisten, denn ein englischer Spitzenreiter kann im Deutschen deutlich abfallen.

Ein typischer Irrtum ist die Verwechslung mit Tests für Sprachmodelle wie ChatGPT. MTEB misst keine Antwortqualität und keine Logik. Es misst nur, wie gut Bedeutung in Zahlen übersetzt wird. Ein weiterer Fallstrick: Weil die Testdaten öffentlich sind, können Anbieter ihre Modelle gezielt darauf trainieren. Fachleute nennen das Überanpassung, und sie ist ein Grund, Ranglistenplätze nie als alleinigen Beweis zu nehmen.