ERQA
ERQA ist ein Maßstab, mit dem gemessen wird, wie gut ein KI-Sprachmodell Fragen über Beziehungen zwischen realen Personen, Orten und Dingen beantwortet. Er testet gezielt, ob ein Modell nicht nur einzelne Fakten kennt, sondern auch versteht, wie diese Fakten miteinander zusammenhängen.
ERQA steht für Entity-Relationship Question Answering. „Entity“ bedeutet dabei so viel wie ein benanntes Ding in der Welt — eine Person, ein Unternehmen, ein Land, ein Produkt. „Relationship“ ist die Beziehung zwischen zwei solchen Dingen, zum Beispiel: Wer hat welche Firma gegründet? Welches Land grenzt an welches andere? ERQA ist ein Benchmark, also ein standardisierter Test, der misst, wie gut ein KI-Modell genau solche Fragen beantwortet. Er prüft nicht nur, ob das Modell einen Fakt kennt, sondern ob es den richtigen Zusammenhang zwischen zwei Dingen herstellt. Das ist schwieriger, als es klingt.
Warum einfaches Faktenwissen nicht ausreicht
Viele frühe Tests für Sprachmodelle prüften isolierte Fakten: Was ist die Hauptstadt von Frankreich? Das ist nützlich, aber zu einfach. In der Praxis stellen Menschen viel häufiger Fragen, die mehrere Wissenselemente verbinden: Welche Firma wurde von demselben Gründer geleitet, der zuvor bei Tesla angestellt war? Um das zu beantworten, muss ein Modell zwei Entitäten und ihre Beziehung gleichzeitig im Blick behalten.
Genau hier setzt ERQA an. Es macht einen Fehler sichtbar, der ohne diesen Test verborgen bleibt: Ein Modell kann bei einfachen Faktenfragen gut abschneiden und trotzdem scheitern, sobald mehrere Entitäten ins Spiel kommen. Für Entwickler ist das eine wichtige Rückmeldung, weil echte Anwendungen — Suchmaschinen, automatische Recherchewerkzeuge, Wissensdatenbanken — genau diese Relationsverknüpfung brauchen.
Aufbau eines ERQA-Tests
Ein ERQA-Benchmark besteht aus vielen Frage-Antwort-Paaren. Jede Frage ist so gebaut, dass sie eine klar definierte Beziehung zwischen zwei oder mehr Entitäten abfragt. Die Antwort ist meistens kurz und eindeutig — eine Person, ein Datum, ein Ortsname. Das Modell bekommt die Frage, liefert eine Antwort, und diese wird maschinell mit der richtigen Antwort verglichen.
Dabei ist die Zusammenstellung der Fragen entscheidend. Gute ERQA-Datensätze achten darauf, dass die richtigen Antworten nicht durch simples Mustererkennen erreichbar sind. Das Modell soll wirklich schlussfolgern, nicht nur die häufigste Wortkombination aus seinem Training wiederholen. Manche Varianten des Tests fügen deshalb absichtlich seltene oder verschachtelte Beziehungen ein, die im normalen Sprachgebrauch weniger oft vorkommen.
Ein verwandter Begriff ist das sogenannte Knowledge-Graph-QA: Dabei wird die Frage nicht in freier Sprache gestellt, sondern direkt an eine strukturierte Datenbank gerichtet. ERQA arbeitet dagegen mit normalem Text und ist daher eine härtere Prüfung für Sprachmodelle, die in der freien Welt eingesetzt werden sollen.
Wo ERQA in der Praxis auftaucht
ERQA begegnet einem vor allem in Forschungsarbeiten, die neue Sprachmodelle vorstellen oder vergleichen. Wenn ein KI-Labor ein neues Modell veröffentlicht, listet es in der Regel eine Tabelle mit Benchmark-Ergebnissen auf. ERQA ist dabei einer von mehreren Maßstäben, der speziell auf relationales Denken zielt — neben anderen Tests für Logik, Mathematik oder Textverständnis.
In Produkten taucht ERQA nicht direkt auf — kein Nutzer sieht den Benchmark. Aber seine Ergebnisse beeinflussen indirekt, wie gut ein Sprachassistent bei Fragen wie „Wer ist der CEO der Firma, die das iPhone herstellt?“ antwortet. Suchmaschinen, die KI-generierte Antworten einbauen, wie Googles AI Overviews oder Microsofts Copilot in Bing, profitieren direkt von Modellen, die auf solchen Tests gut abschneiden.
Für Unternehmen, die KI-Modelle für interne Wissensdatenbanken einsetzen, ist ERQA besonders relevant. Dort geht es oft genau darum, Verbindungen zwischen Personen, Projekten und Dokumenten herzustellen — also genau das, was ERQA misst.