Akzeptanzrate

Viele Programme machen heute Vorschläge, bevor man selbst etwas eingetippt hat. Das Handy schlägt das nächste Wort vor, ein Schreibprogramm ergänzt einen ganzen Satz. Die Akzeptanzrate ist die Zahl, die angibt, wie oft solche Vorschläge angenommen werden. Man teilt dafür die Zahl der übernommenen Vorschläge durch die Zahl aller gezeigten Vorschläge. Kommen hundert Vorschläge und der Nutzer übernimmt dreißig davon, liegt die Akzeptanzrate bei 30 Prozent. Sie ist damit kein Maß für Intelligenz, sondern ein Maß für praktischen Nutzen.

Was 30 Prozent über ein Produkt verraten

Ob eine Software gut ist, lässt sich schwer messen. Man kann Modelle in Tests antreten lassen, aber Tests sind künstlich. Die Akzeptanzrate misst dagegen echtes Verhalten von echten Menschen. Niemand übernimmt freiwillig einen Vorschlag, der ihm nicht hilft. Deshalb gilt die Kennzahl in vielen Firmen als ehrlicher als jeder Benchmark, also jeder standardisierte Vergleichstest.

Für Unternehmen hängt daran auch Geld. Jeder erzeugte Vorschlag kostet Rechenleistung, egal ob er angenommen wird oder nicht. Eine niedrige Akzeptanzrate bedeutet also, dass man für viel Ausschuss bezahlt. Steigt die Rate, sinken die Kosten pro tatsächlich genutztem Vorschlag. Deshalb berichten Anbieter wie GitHub oder Google diese Zahl regelmäßig an Investoren.

Man sollte die Zahl allerdings nicht überschätzen. Eine hohe Akzeptanzrate kann auch bedeuten, dass die Vorschläge sehr kurz und banal sind. Wer nur einzelne Klammern ergänzt, wird fast immer akzeptiert. Wer ganze Funktionen vorschlägt, wird häufiger abgelehnt, spart im Erfolgsfall aber viel mehr Zeit. Die Kennzahl allein sagt also wenig, ohne dass man weiß, wie groß die Vorschläge sind.

Vom Tastendruck zur Prozentzahl

Technisch protokolliert das Programm zwei Ereignisse. Erstens: Ein Vorschlag wurde angezeigt. Zweitens: Der Nutzer hat ihn übernommen, meist durch Drücken der Tab-Taste. Aus diesen beiden Zählern ergibt sich der Bruch. Diese Daten fließen anonymisiert an den Anbieter zurück, oft Millionen Mal pro Tag.

Schwierig wird die Messung bei Grenzfällen. Was zählt, wenn jemand einen Vorschlag annimmt und dann sofort die Hälfte davon wieder löscht? Manche Anbieter messen deshalb zusätzlich, wie viel vom übernommenen Text nach zehn Minuten noch im Dokument steht. Diese strengere Variante heißt oft Retention, also Verbleibsquote. Sie liegt regelmäßig deutlich unter der reinen Akzeptanzrate.

Verwechseln sollte man die Akzeptanzrate nicht mit der Genauigkeit eines Modells. Genauigkeit fragt, ob eine Antwort sachlich richtig ist. Die Akzeptanzrate fragt nur, ob ein Mensch sie brauchbar fand. Ein korrekter, aber umständlicher Vorschlag wird abgelehnt. Ein knapper, halb passender Vorschlag wird manchmal trotzdem übernommen und danach von Hand angepasst.

Wo die Zahl in Nachrichten auftaucht

Am bekanntesten ist die Kennzahl bei Programmierassistenten. GitHub nannte für Copilot über die Jahre Werte im Bereich von etwa 25 bis 35 Prozent. Solche Zahlen werden gern zitiert, wenn es um die Frage geht, wie stark KI die Softwareentwicklung wirklich verändert. Auch Google berichtete, dass ein wachsender Anteil seines neuen Programmcodes aus angenommenen Vorschlägen stammt.

Außerhalb des Programmierens taucht der Begriff bei Suchvorschlägen, automatischen E-Mail-Antworten und Übersetzungswerkzeugen auf. In der Übersetzungsbranche misst man, wie viele maschinelle Sätze ein Mensch unverändert stehen lässt. Achtung: In anderen Zusammenhängen meint Akzeptanzrate etwas ganz anderes, etwa den Anteil angenommener Bewerbungen an einer Universität. Im Tech-Kontext ist fast immer die Vorschlagsquote gemeint.