Intelligence Index
Der Intelligence Index ist eine Sammelnote für KI-Modelle: Mehrere Testergebnisse werden zu einer einzigen Punktzahl verrechnet, damit man Modelle direkt vergleichen kann. Bekannt gemacht hat den Begriff die Analysefirma Artificial Analysis, deren Index in Fachpresse und Firmenpräsentationen häufig zitiert wird.
Wer wissen will, welches KI-Programm besser ist, hat ein Messproblem. Es gibt Dutzende Prüfungen: Mathematikaufgaben, Programmieraufgaben, Wissensfragen, logische Rätsel. Ein Programm gewinnt beim Rechnen, ein anderes beim Programmieren. Der Intelligence Index löst das, indem er viele solcher Prüfungen zu einer einzigen Zahl zusammenrechnet. Ein Programm bekommt dann zum Beispiel 60 von 100 Punkten, ein anderes 45. Es ist also eine Art Gesamtnote auf dem Zeugnis, gebildet aus vielen Einzelnoten.
Was eine einzige Punktzahl im Markt anrichtet
Solche Ranglisten entscheiden mit über Geld. Firmen, die KI einkaufen, müssen aus einem Dutzend Anbietern wählen und haben keine Zeit für eigene Tests. Sie schauen auf die Rangliste. Ein Anbieter, der dort ein paar Plätze steigt, wird in Nachrichtenartikeln erwähnt und bekommt neue Kunden.
Deshalb tauchen die Punktzahlen sofort im Marketing auf. Wenn ein Unternehmen ein neues Modell vorstellt, steht die Indexzahl auf Folie zwei. Auch Börsenanalysten benutzen sie als Argument dafür, ob ein KI-Anbieter technisch vorne liegt oder zurückfällt. Eine Zahl, die eigentlich nur ein Testergebnis ist, wird so zu einem wirtschaftlichen Signal.
Das erzeugt einen bekannten Nebeneffekt. Wer weiß, worauf getestet wird, kann darauf hin optimieren. Manche Anbieter trainieren ihre Modelle gezielt mit Aufgaben, die den Testaufgaben ähneln. Die Punktzahl steigt dann, ohne dass das Modell im Alltag wirklich besser geworden ist. Fachleute nennen das Überanpassung an den Test — vergleichbar mit einem Schüler, der nur alte Klausuren auswendig lernt.
Aus welchen Tests sich die Punktzahl zusammensetzt
Grundlage sind einzelne standardisierte Tests, im Fachjargon Benchmarks. Jeder besteht aus einer festen Aufgabensammlung mit bekannten Lösungen. Das Modell bearbeitet alle Aufgaben, danach zählt man die richtigen Antworten. Ein bekannter Test enthält schwere Prüfungsfragen aus Universitätsfächern, ein anderer echte Programmierprobleme aus der Softwareentwicklung.
Der Index nimmt mehrere dieser Ergebnisse und bildet daraus einen Durchschnitt. Meist werden die Werte vorher auf eine gemeinsame Skala gebracht, oft von 0 bis 100. Manche Betreiber gewichten einzelne Tests stärker, wenn sie als aussagekräftiger gelten. Genau in dieser Auswahl und Gewichtung liegt der subjektive Teil: Wer Programmieraufgaben doppelt zählt, erzeugt eine andere Rangliste als jemand, der Wissensfragen bevorzugt.
Wichtig ist die Abgrenzung zu Nutzerbewertungen. Bei Bestenlisten wie der Chatbot Arena stimmen Menschen darüber ab, welche von zwei Antworten ihnen besser gefällt. Der Intelligence Index dagegen misst objektiv nachprüfbare Richtigkeit. Beide Verfahren liefern regelmäßig unterschiedliche Sieger, weil sympathische Antworten und korrekte Antworten nicht dasselbe sind.
Wo die Indexzahlen auftauchen
Am häufigsten begegnet man dem Begriff in Technik- und Finanznachrichten. Sätze wie „das Modell erreicht 70 Punkte im Intelligence Index und liegt damit vor der Konkurrenz“ sind Standard geworden. Auch Grafiken, die Punktzahl gegen Preis pro Anfrage auftragen, stammen fast immer von solchen Indexbetreibern.
In Unternehmen dient der Index als Vorauswahl. Eine IT-Abteilung nimmt die drei bestplatzierten Modelle und testet sie dann an eigenen Aufgaben. Das ist sinnvoll, denn der Index sagt nichts darüber, wie gut ein Modell mit den speziellen Dokumenten einer Versicherung oder einer Behörde umgeht.
Für Privatnutzer bleibt eine schlichte Faustregel. Die Punktzahl zeigt grob, in welcher Liga ein Modell spielt, mehr nicht. Unterschiede von zwei oder drei Punkten wird man beim Chatten nicht merken. Ein Sprung von 30 auf 60 Punkten dagegen ist deutlich spürbar, etwa bei mehrstufigen Rechenaufgaben.