Artificial Analysis

Artificial Analysis ist eine Firma, die Computerprogramme mit künstlicher Intelligenz vergleicht und die Ergebnisse veröffentlicht. Gemeint sind vor allem Programme, die auf Texteingaben antworten, also Chatbots wie ChatGPT, Gemini oder Claude. Solche Programme gibt es inzwischen von Dutzenden Anbietern, und sie unterscheiden sich stark in Qualität und Preis. Artificial Analysis lässt sie alle dieselben Aufgaben lösen und misst dabei mit. Herauskommen Ranglisten, in denen man ablesen kann, welches Programm wie gut abschneidet, wie schnell es antwortet und was seine Nutzung kostet. Die Firma sitzt in Australien und verkauft selbst keine KI, ist also von keinem der getesteten Anbieter abhängig.

Warum eine neutrale Rangliste gebraucht wird

Anbieter von KI-Programmen testen ihre eigenen Produkte und veröffentlichen die Ergebnisse selbst. Dabei suchen sie sich naturgemäß die Aufgaben aus, bei denen sie gut aussehen. Wer eine Pressemitteilung liest, erfährt selten, in welchen Bereichen ein Modell schwach ist. Eine dritte Stelle, die alle Anbieter nach demselben Verfahren prüft, schafft hier eine Vergleichsbasis.

Für Unternehmen geht es dabei um viel Geld. Wer eine Software baut, die täglich Millionen Anfragen an ein KI-Modell schickt, zahlt für jede einzelne Antwort. Ein Modell, das nur wenig schlechter ist, aber ein Zehntel kostet, kann die bessere Wahl sein. Genau diese Abwägung zwischen Qualität und Kosten macht Artificial Analysis sichtbar, indem beide Werte in derselben Grafik stehen.

Die Zahlen tauchen deshalb regelmäßig in Wirtschaftsnachrichten auf. Wenn ein chinesisches Labor ein Modell veröffentlicht, das im Ranking nahe an das teuerste US-Modell heranreicht, ist das eine Nachricht mit Folgen für Aktienkurse. Rankings sind hier weniger ein sportlicher Wettkampf als eine Marktinformation.

Was genau gemessen wird

Die Qualität wird über standardisierte Aufgabensammlungen ermittelt, sogenannte Benchmarks. Das sind Sammlungen von Fragen mit bekannter richtiger Antwort, etwa Mathematikaufgaben, Programmieraufgaben oder Wissensfragen auf Universitätsniveau. Jedes Modell bekommt dieselben Fragen, und der Anteil richtiger Antworten ergibt eine Punktzahl. Artificial Analysis fasst mehrere solcher Sammlungen zu einem Gesamtwert zusammen, dem Intelligence Index.

Daneben wird gemessen, wie sich ein Modell im echten Betrieb anfühlt. Zwei Werte sind dabei zentral: die Zeit bis zum ersten Wort der Antwort und die Zahl der Wörter pro Sekunde danach. Beides wird nicht einmalig geprüft, sondern rund um die Uhr, weil Server je nach Auslastung unterschiedlich schnell sind. Der dritte Wert ist der Preis, den der Anbieter pro verarbeitete Textmenge verlangt.

Ein häufiger Irrtum ist, diese Punktzahlen für ein objektives Maß von Intelligenz zu halten. Sie messen nur, wie gut ein Modell bestimmte Testaufgaben löst. Wenn Aufgaben aus einem bekannten Benchmark im Trainingsmaterial eines Modells vorkommen, hat es die Lösungen praktisch auswendig gelernt. Fachleute nennen das Kontamination, und es ist der Grund, warum Benchmarks regelmäßig erneuert werden müssen.

Wo die Zahlen auftauchen

Am häufigsten begegnet man Artificial Analysis in Berichten über neue Modellveröffentlichungen. Sätze wie « liegt im Artificial-Analysis-Index gleichauf mit GPT-5 » stammen aus diesen Ranglisten. Auch die Anbieter selbst zitieren die Werte gern in ihren Ankündigungen, allerdings meist nur dann, wenn sie gut ausfallen.

Die Ranglisten sind öffentlich im Netz einsehbar und kosten nichts. Wer selbst ein Projekt mit KI baut, kann dort nachschlagen, welches Modell für seinen Zweck passt. Geld verdient die Firma mit ausführlicheren Datenpaketen für Unternehmen und Investoren. Vergleichbare Angebote sind die LMArena, wo Menschen zwei anonyme Antworten gegeneinander bewerten, und die Ranglisten der Plattform Hugging Face.