CRM Bench

Große Unternehmen speichern alles, was sie über ihre Kunden wissen, in einer zentralen Software. Dort stehen Bestellungen, Beschwerden, offene Rechnungen und Notizen aus Telefonaten. Diese Art von Software nennt man CRM, kurz für Customer Relationship Management, also Kundenbeziehungsmanagement. Bekannte Anbieter sind Salesforce, Microsoft und SAP. CRM Bench ist eine Sammlung von Testaufgaben, die misst, wie gut ein KI-System in einer solchen Umgebung zurechtkommt. Die KI bekommt dabei keine Quizfragen, sondern echte Arbeitsaufträge in einer nachgebauten Firmendatenbank.

Warum Chatbot-Ranglisten hier nicht weiterhelfen

Die meisten bekannten KI-Tests prüfen Wissen und Logik. Sie stellen Mathematikaufgaben, Physikfragen oder Programmierrätsel. Ein Modell kann darin glänzen und im Büroalltag trotzdem versagen. Denn im Büro geht es selten um die richtige Antwort auf eine klar gestellte Frage.

Im Kundenservice muss ein System erst herausfinden, welche Informationen es überhaupt braucht. Es muss die passenden Datensätze suchen, mehrere davon verknüpfen und daraus eine Schlussfolgerung ziehen. Genau diese Schritte bildet CRM Bench ab. Das Ergebnis sagt einem Unternehmen mehr darüber, ob sich der Einsatz lohnt, als eine allgemeine Rangliste.

Dazu kommt ein wirtschaftliches Motiv. Firmen geben viel Geld für Kundenservice aus, und jede automatisierte Anfrage spart Personalkosten. Gleichzeitig ist der Schaden groß, wenn die KI einem Kunden eine falsche Rechnungssumme nennt. Ein Test, der Fehlerquoten sichtbar macht, ist deshalb bares Geld wert.

Was in den Testaufgaben passiert

Der Test läuft in einer Kopie eines echten CRM-Systems. Darin liegen erfundene, aber realistisch aufgebaute Daten: hunderte Kunden, tausende Vorgänge, Produkte und Servicemitarbeiter. Das KI-System bekommt keinen direkten Zugriff auf alles auf einmal. Es muss selbst Abfragen stellen, so wie ein Mitarbeiter eine Suchmaske benutzt.

Eine typische Aufgabe lautet etwa: Finde heraus, welcher Mitarbeiter im letzten Quartal die meisten Beschwerden zu einem bestimmten Produkt bearbeitet hat. Dafür sind mehrere Schritte nötig. Die KI muss filtern, zählen, vergleichen und am Ende einen einzigen Namen nennen. Weil die richtige Antwort vorher feststeht, lässt sich maschinell prüfen, ob sie stimmt.

Interessant ist auch der umgekehrte Fall. Manche Aufgaben sind absichtlich unlösbar, weil die nötigen Daten fehlen. Ein gutes System sagt dann, dass es die Frage nicht beantworten kann. Ein schlechtes erfindet eine plausibel klingende Antwort. Dieses Erfinden nennt man Halluzination, und CRM Bench macht es messbar.

CRM Bench in Produktankündigungen und Börsennachrichten

Am häufigsten taucht der Begriff in Mitteilungen von Softwarekonzernen auf. Salesforce hat mit CRMArena einen solchen Test selbst veröffentlicht und bewirbt damit seine eigenen KI-Assistenten. Wenn ein Hersteller den Maßstab mitliefert, an dem er gemessen wird, ist Skepsis angebracht. Unabhängige Zahlen sind aussagekräftiger als die des Anbieters.

Auch in der Finanzberichterstattung spielen solche Werte eine Rolle. Analysten fragen, ob KI-Assistenten wirklich Arbeit übernehmen oder nur Demos liefern. Ergebnisse aus CRM Bench werden dann als Beleg zitiert, in beide Richtungen. Frühe Messungen zeigten, dass selbst starke Modelle nur einen Teil der Aufgaben korrekt lösten.

Für dich als Leser ist vor allem eine Unterscheidung nützlich. CRM Bench ist ein Benchmark, also ein Messverfahren, kein Produkt, das man kaufen kann. Es sagt nichts darüber aus, wie freundlich eine KI formuliert. Es sagt nur, wie oft sie in einem konkreten Arbeitsumfeld richtig liegt.