QwenChineseBench

QwenChineseBench ist eine Sammlung von Prüfungsaufgaben für Computerprogramme, die Sprache verarbeiten. Solche Programme beantworten Fragen, fassen Texte zusammen oder schreiben selbst Texte. Der Test besteht aus vielen Aufgaben auf Chinesisch, deren richtige Lösung vorher festgelegt wurde. Das Programm bearbeitet sie, und danach zählt man aus, wie viele Antworten stimmen. Das Ergebnis ist eine Punktzahl, mit der man verschiedene Programme direkt vergleichen kann. Der Name verweist auf Qwen, eine bekannte Programmfamilie des chinesischen Konzerns Alibaba.

Warum Chinesisch einen eigenen Test braucht

Die meisten bekannten Prüfungen für KI-Systeme sind auf Englisch geschrieben. Ein System kann darin sehr gut abschneiden und trotzdem auf Chinesisch schwach sein. Der Grund liegt im Lernmaterial: Wer überwiegend englische Texte gelesen hat, kennt englische Redewendungen besser. Eine gute englische Punktzahl sagt also wenig über die chinesische Leistung aus.

Dazu kommt, dass Chinesisch technisch anders funktioniert. Es gibt keine Leerzeichen zwischen den Wörtern, und ein einzelnes Schriftzeichen kann je nach Nachbarzeichen etwas anderes bedeuten. Auch die Themen unterscheiden sich: Fragen zur chinesischen Geschichte, zu Sprichwörtern oder zum dortigen Rechtssystem tauchen in englischen Tests kaum auf. Genau diese Lücke soll ein Test wie QwenChineseBench schließen.

Für Firmen hat das einen handfesten Grund. Wer ein KI-Produkt in China verkaufen will, muss belegen können, dass es dort brauchbar arbeitet. Eine Punktzahl aus einem chinesischen Test ist dafür ein Argument, das Kunden und Investoren verstehen.

Vom Aufgabenblatt zur Punktzahl

Der Ablauf ähnelt einer Klausur mit Lösungsblatt. Zuerst stellt man eine feste Menge Aufgaben zusammen, oft mehrere tausend. Jede Aufgabe hat eine hinterlegte Musterlösung. Das getestete Programm bekommt die Aufgaben nacheinander vorgelegt und antwortet. Anschließend vergleicht ein Auswertungsprogramm die Antworten mit den Musterlösungen.

Bei Multiple-Choice-Fragen ist das einfach: Buchstabe richtig oder falsch. Schwieriger wird es bei frei formulierten Antworten, etwa bei einer Zusammenfassung. Hier arbeitet man mit Ähnlichkeitsmaßen oder lässt ein zweites, sehr starkes KI-System die Antwort benoten. Dieses Verfahren heißt LLM-as-a-Judge, also KI als Prüfer. Es spart Arbeit, hat aber eigene Schwächen, weil auch der Prüfer sich irren kann.

Ein bekanntes Problem heißt Kontamination. Wenn die Testaufgaben irgendwann frei im Internet standen, könnten sie im Lernmaterial des Programms gelandet sein. Dann erinnert sich das System an die Lösung, statt zu denken. Die Punktzahl sieht gut aus, sagt aber nichts über echtes Können. Deshalb halten Anbieter Teile solcher Tests unter Verschluss oder erneuern sie regelmäßig.

Wo solche Punktzahlen auftauchen

Am häufigsten begegnen dir solche Werte in Meldungen über neue KI-Modelle. Dort steht dann eine Tabelle mit Testnamen in der linken Spalte und Prozentzahlen daneben. Chinesische Anbieter wie Alibaba, DeepSeek oder Moonshot nutzen solche Zahlen, um sich mit amerikanischen Konkurrenten zu vergleichen. Auch Finanznachrichten greifen sie auf, weil sie als Hinweis auf den technischen Abstand zwischen Ländern gelten.

Beim Lesen lohnt sich Skepsis. Die Firma, die ein Modell verkauft, wählt selbst aus, welche Tests sie zeigt. Tests mit schlechtem Abschneiden fehlen dann einfach. Ein Vorsprung von einem Punkt ist außerdem meist bedeutungslos, weil die Messung schwankt. Aussagekräftig sind eher deutliche Abstände oder Ergebnisse, die unabhängige Stellen nachgeprüft haben.

Praktisch nützlich sind solche Tests vor allem für Entwickler. Wer eine Anwendung für chinesische Nutzer baut, kann damit mehrere Modelle vorsortieren, bevor er sie selbst ausprobiert. Ersetzen kann der Test den eigenen Praxisversuch aber nicht. Ein Modell mit guter Punktzahl kann bei den speziellen Texten einer Firma trotzdem versagen.