Jagged Technological Frontier

Programme, die Texte schreiben oder Fragen beantworten, sind bei manchen Aufgaben verblüffend stark und bei anderen erstaunlich schwach. Das Merkwürdige daran: Welche Aufgabe in welche Gruppe fällt, lässt sich für Menschen kaum erraten. Ein solches Programm kann einen juristischen Vertrag sinnvoll zusammenfassen. An der Frage, wie viele Buchstaben „Erdbeere“ hat, scheitert es womöglich. Forscher der Harvard Business School haben dafür 2023 das Bild einer zackigen Grenze geprägt: Jagged Technological Frontier. Die Fähigkeiten enden nicht an einer geraden Linie, sondern springen wie eine Bergkette mit Gipfeln und tiefen Tälern.

Warum Nutzer der KI zu viel und zu wenig zutrauen

Menschen schließen ständig von einer Leistung auf andere. Wer eine schwierige Matheklausur besteht, kann vermutlich auch einfache Prozentrechnung. Bei KI-Systemen gilt dieser Schluss nicht. Genau deshalb ist die zackige Grenze mehr als eine Kuriosität: Sie zerstört unser normales Urteilsvermögen über Kompetenz.

Das führt zu zwei entgegengesetzten Fehlern. Manche vertrauen dem System zu sehr, weil es an einer Stelle brillant war, und übernehmen ungeprüft eine falsche Zahl oder ein erfundenes Zitat. Andere verlieren nach einem albernen Fehler jedes Vertrauen und nutzen das Werkzeug auch dort nicht mehr, wo es klar überlegen wäre. Beides kostet Geld und Zeit.

Die genannte Harvard-Studie mit Beratern der Firma Boston Consulting Group zeigte das deutlich. Bei Aufgaben innerhalb der Fähigkeiten des Modells arbeiteten die Berater mit KI schneller und besser. Bei einer bewusst außerhalb liegenden Aufgabe waren die KI-Nutzer dagegen häufiger falsch als die Gruppe ohne KI. Das Werkzeug half also nicht neutral, es schadete an der falschen Stelle aktiv.

Woher die Zacken kommen

Ein Sprachmodell hat nicht gelernt, die Welt zu verstehen. Es hat aus riesigen Textmengen gelernt, welche Wortbausteine typischerweise aufeinander folgen. Was oft und in vielen Varianten in den Trainingsdaten vorkam, beherrscht es gut. Was selten vorkam oder gar nicht in Textform steht, bleibt eine Lücke.

Dazu kommt die Bauweise. Modelle zerlegen Text nicht in Buchstaben, sondern in größere Häppchen, sogenannte Token. Ein Wort ist für das Modell oft ein einziger Block ohne sichtbare Einzelbuchstaben. Deshalb sind Buchstabenrätsel schwer, während anspruchsvolle Zusammenfassungen leicht sind. Für einen Menschen ist die Schwierigkeit genau umgekehrt sortiert.

Die Grenze verschiebt sich außerdem laufend. Jede neue Modellgeneration füllt einige Täler auf und reißt manchmal neue auf. Eine Schwäche, über die vor einem Jahr alle lachten, kann heute behoben sein. Eine feste Liste der Dinge, die KI nicht kann, veraltet deshalb schnell.

Die Zacken im eigenen Arbeitsalltag finden

Im Alltag begegnet einem der Effekt bei jedem Chatbot. Er formuliert eine Bewerbung überzeugend und rechnet danach eine simple Ratenzahlung falsch. Er kennt den Aufbau eines Gedichts, erfindet aber eine Quelle dazu. Wer das als zufällige Schlamperei abtut, hat das Muster nicht erkannt.

In Unternehmen ist daraus eine eigene Aufgabe geworden. Teams testen systematisch, welche ihrer Arbeitsschritte innerhalb und welche außerhalb der Grenze liegen. Der Begriff taucht deshalb in Wirtschaftsnachrichten oft auf, wenn es um Produktivität durch KI geht. Studien mit widersprüchlichen Ergebnissen erklären sich häufig damit, dass sie unterschiedliche Punkte der zackigen Grenze getestet haben.

Ein verwandter, aber engerer Begriff ist die Halluzination, also die erfundene Falschaussage. Sie ist nur eine Ausprägung des Problems. Die Jagged Technological Frontier meint das größere Muster: Leistung und wahrgenommene Schwierigkeit hängen bei KI nicht zusammen. Die praktische Konsequenz ist unspektakulär, aber wirksam. Man prüft Ergebnisse dort besonders genau, wo man die Antwort selbst beurteilen kann.