Counter-Metric

Unternehmen und Software-Teams messen ihren Erfolg meistens an einer einzigen Hauptzahl. Bei einer Video-App kann das die Zeit sein, die Menschen mit Videos verbringen. Solche Zahlen lassen sich aber oft auf unangenehme Weise steigern. Man kann die Sehdauer erhöhen, indem man immer aufregendere Inhalte zeigt, bis die Nutzer sich hinterher schlecht fühlen und die App löschen. Eine Counter-Metric ist die zweite Zahl, die genau davor warnt: Sie misst den Schaden, der bei der Jagd auf die Hauptzahl entstehen könnte. Die Hauptzahl soll steigen, die Counter-Metric darf sich dabei nicht verschlechtern.

Warum eine einzige Erfolgszahl gefährlich ist

Sobald eine Zahl zum Ziel wird, verändert sie das Verhalten der Menschen, die daran gemessen werden. Ein Support-Team, das nach der Zahl bearbeiteter Anfragen bewertet wird, schließt Fälle schnell und schlampig. Ein Empfehlungssystem, das auf Klicks optimiert wird, lernt reißerische Überschriften. In beiden Fällen steigt die Zahl, während das eigentliche Ziel verfehlt wird.

Diesen Effekt kennt man als Goodhart’s Law: Eine Kennzahl verliert ihre Aussagekraft, sobald sie zur Zielvorgabe wird. Counter-Metrics sind der praktische Umgang damit. Man gibt nicht vor, die perfekte Einzelzahl gefunden zu haben. Stattdessen spannt man zwei Zahlen gegeneinander, die man nicht gleichzeitig auf billige Weise verbessern kann.

Bei KI-Systemen ist das besonders wichtig, weil dort ein Programm selbstständig optimiert. Ein Mensch merkt irgendwann, dass er Unsinn tut. Ein Modell, das auf eine Zielzahl trainiert wird, merkt es nicht. Es findet zuverlässig auch die Abkürzungen, die niemand haben wollte.

Wie man ein Zahlenpaar sinnvoll wählt

Eine gute Counter-Metric misst genau die Nebenwirkung, die der einfachste Missbrauch der Hauptzahl erzeugen würde. Man überlegt also zuerst: Wie könnte ich diese Zahl auf unehrliche Weise steigern? Was dabei kaputtgeht, wird gemessen. Zur Sehdauer passt die Zahl der Nutzer, die die App nach einer Woche noch öffnen. Zur Zahl bearbeiteter Support-Fälle passt der Anteil der Kunden, die sich ein zweites Mal mit demselben Problem melden.

Beide Zahlen werden nebeneinander beobachtet, zum Beispiel in einem A/B-Test. Dabei bekommt eine Hälfte der Nutzer die neue Version, die andere die alte. Vorher legt das Team eine Grenze fest: Die Hauptzahl muss um mindestens einen bestimmten Betrag steigen, und die Counter-Metric darf um höchstens einen kleinen Betrag fallen. Wird die Grenze verletzt, gilt die Änderung als gescheitert, auch wenn die Hauptzahl schön aussieht.

Ein häufiger Irrtum: Man kann nicht einfach zwanzig Counter-Metrics nehmen und hoffen, dass so nichts übersehen wird. Bei sehr vielen Zahlen sieht immer irgendeine schlecht aus, allein aus Zufall. Dann diskutiert das Team endlos, statt zu entscheiden. Zwei bis vier gut gewählte Gegenzahlen sind in der Praxis üblich.

Counter-Metrics in Produkten und Quartalsberichten

In der Entwicklung großer Sprachmodelle ist das Muster fest eingebaut. Ein Modell soll hilfsbereiter antworten, deshalb ist die Hauptzahl die Nutzerzufriedenheit. Als Gegenzahl misst man, wie oft das Modell erfundene Fakten liefert oder auf gefährliche Bitten eingeht. Solche Sicherheitszahlen nennt man auch Guardrail-Metriken, weil sie wie eine Leitplanke wirken.

Auch in Finanznachrichten begegnet dir das Prinzip, oft ohne den englischen Begriff. Wenn ein Konzern steigenden Umsatz meldet, schauen Analysten sofort auf die Gewinnspanne und die Kundenabwanderung. Umsatz lässt sich mit Rabatten kaufen, deshalb ist er allein wenig wert. Die zweite Zahl entscheidet, ob das Wachstum gesund ist.

Für dich als Leser ist das ein brauchbarer Prüfreflex. Wenn irgendwo nur eine einzige Erfolgszahl präsentiert wird, fehlt meist die Gegenzahl. Die Frage lautet dann: Welche Zahl müsste ich sehen, um zu erkennen, dass dieser Erfolg teuer erkauft wurde?