Code Arena

Eine Code Arena ist eine Website, auf der zwei Computerprogramme dieselbe Programmieraufgabe bearbeiten. Man tippt zum Beispiel ein: « Baue mir eine Seite mit einem Countdown bis Silvester. » Beide Programme schreiben daraufhin ihren eigenen Lösungsvorschlag, und man sieht beide Ergebnisse nebeneinander. Erst danach entscheidet man, welche Lösung besser gefällt. Wer die Vorschläge geschrieben hat, erfährt man in vielen Fällen erst nach der Wahl. Aus Millionen solcher Abstimmungen entsteht eine öffentliche Rangliste.

Warum Ranglisten aus Publikumsvoten entstanden sind

Lange Zeit hat man KI-Systeme mit festen Aufgabensammlungen geprüft. Solche Sammlungen enthalten Programmierprobleme mit einer eindeutig richtigen Lösung. Das Problem dabei: Die Aufgaben stehen frei im Internet. Wenn ein System beim Lernen diese Seiten gelesen hat, kennt es die Antworten bereits. Die Punktzahl misst dann eher das Gedächtnis als das Können.

Eine Arena umgeht das, weil die Aufgaben von echten Nutzern kommen und jedes Mal neu sind. Niemand kann eine Frage auswendig lernen, die es vorher nicht gab. Außerdem prüft eine Arena etwas anderes als eine Aufgabensammlung. Sie misst nicht nur, ob der Code läuft, sondern ob Menschen ihn brauchbar finden. Verständliche Struktur, sinnvolle Namen und eine kurze Erklärung fließen mit ein.

Für Firmen sind diese Ranglisten inzwischen ein Marketinginstrument. Ein Anbieter, der bei einer bekannten Arena vorne liegt, erwähnt das in jeder Pressemitteilung. Entwicklerteams wiederum nutzen die Listen als groben Anhaltspunkt bei der Frage, welches System sie einkaufen. Damit hängen an ein paar Ranglistenplätzen erhebliche Geldsummen.

Vom einzelnen Duell zur Punktzahl

Die Rechnung dahinter stammt aus dem Schach. Jedes System startet mit einer Punktzahl, dem sogenannten Elo-Wert. Gewinnt es ein Duell, steigt der Wert, verliert es, sinkt er. Entscheidend ist, gegen wen: Ein Sieg über einen starken Gegner bringt viele Punkte, ein Sieg über einen schwachen kaum welche. Nach genügend Duellen pendelt sich für jedes System eine ziemlich stabile Zahl ein.

Damit das fair bleibt, werden die Paarungen zufällig gezogen. Auch die Anzeige links und rechts wechselt, damit keine Seite bevorzugt wird. Die Namen bleiben während der Bewertung verborgen, sonst würden bekannte Marken allein durch ihren Ruf gewinnen. Manche Arenen zeigen zusätzlich eine laufende Vorschau der erzeugten Webseite, damit man das Ergebnis sieht und nicht nur den Quelltext liest.

Wichtig ist die Menge. Bei hundert Stimmen sagt eine Rangliste fast nichts aus, bei Hunderttausenden wird sie belastbar. Deshalb geben seriöse Arenen zu jedem Wert eine Schwankungsbreite an. Liegen zwei Systeme fünf Punkte auseinander, ist das oft reiner Zufall und kein echter Unterschied.

Wo diese Duelle im Alltag auftauchen

Am bekanntesten ist die LMArena, früher Chatbot Arena, aus dem Umfeld der Universität Berkeley. Dort gibt es neben dem allgemeinen Chat auch eigene Bereiche für Programmieraufgaben und für kleine Webseiten. Andere Projekte bauen den Vergleich direkt in die Programmierumgebung ein: Man tippt Code, bekommt zwei Vervollständigungsvorschläge und wählt einen aus. Die Bewertung entsteht dann nebenbei bei der normalen Arbeit.

In Wirtschaftsnachrichten begegnet einem der Begriff meist nach einer Produktvorstellung. Dann heißt es, ein neues Modell habe in der Arena einen Spitzenplatz erreicht. Solche Meldungen bewegen Aktienkurse und Investorenstimmungen, obwohl die Zahl dahinter nur ein Publikumsurteil ist.

Ein häufiger Irrtum ist, eine Arena messe objektive Qualität. Sie misst Beliebtheit unter denen, die abstimmen. Diese Gruppe besteht überwiegend aus technikaffinen Menschen und ist kein Abbild aller Nutzer. Ausführliche, hübsch formatierte Antworten schneiden oft besser ab, auch wenn eine knappe Lösung sauberer wäre. Eine Arena ersetzt daher keinen echten Test im eigenen Projekt, sondern liefert nur einen ersten Anhaltspunkt.