Conformal Prediction

Computerprogramme, die aus Beispielen lernen, geben normalerweise genau eine Antwort. Ein Bilderkennungsprogramm sagt etwa: « Das ist eine Katze. » Wie sicher es sich dabei ist, bleibt oft unklar. Conformal Prediction ändert diese Ausgabe. Statt einer einzelnen Antwort liefert das Verfahren eine Auswahl möglicher Antworten, etwa « Katze oder Luchs ». Diese Auswahl wird so berechnet, dass sie die richtige Antwort in einem vorher festgelegten Anteil der Fälle enthält — zum Beispiel in 95 Prozent.

Eine Garantie, die auch bei schlechten Modellen hält

Viele Lernprogramme geben Prozentzahlen aus, etwa « 87 Prozent Katze ». Diese Zahlen klingen nach Wahrscheinlichkeit, sind aber häufig zu optimistisch. Fachleute sprechen dann von schlecht kalibrierten Werten: Das Programm behauptet 99 Prozent Sicherheit und liegt trotzdem regelmäßig daneben. Auf solche Zahlen kann man keine Entscheidung stützen.

Conformal Prediction umgeht dieses Problem, weil es die Verlässlichkeit nachträglich misst statt sie zu glauben. Das Verfahren prüft an echten Daten, wie oft das Modell in der Vergangenheit falsch lag. Daraus leitet es ab, wie breit die Antwortmenge sein muss. Die versprochene Trefferquote hält dann auch, wenn das zugrunde liegende Modell mittelmäßig ist. Ein schwaches Modell wird dadurch nicht klüger — seine Antwortmengen werden nur größer und damit ehrlicher.

Besonders wertvoll ist das dort, wo Fehler teuer sind. In der Medizin, bei Kreditentscheidungen oder in der Industrie will man wissen, wann eine Maschine sich nicht festlegen kann. Eine Antwortmenge mit fünf Möglichkeiten ist ein klares Signal: Hier sollte ein Mensch nachsehen.

Der Rechenweg mit dem Kalibrierungsstapel

Das Verfahren braucht einen eigenen Datensatz, den sogenannten Kalibrierungsstapel. Das sind Beispiele mit bekannter richtiger Antwort, die das Modell beim Lernen nie gesehen hat. Für jedes dieser Beispiele berechnet man, wie schlecht das Modell abgeschnitten hat. Dieser Wert heißt Nichtkonformitätswert und ist oft einfach der Abstand zur Wahrheit.

Aus diesen Werten entsteht eine Rangliste der Fehler. Wenn man eine Trefferquote von 95 Prozent möchte, sucht man den Wert, unter dem 95 Prozent aller Fehler liegen. Das ist die Schwelle. Bei einer neuen Anfrage nimmt man dann alle Antworten in die Menge auf, deren Fehlerwert unter dieser Schwelle bleibt.

Man kann sich das wie eine Kleidergröße vorstellen, die man nicht schätzt, sondern an hundert Kunden misst. Die Regel bleibt gleich, nur der Zuschnitt richtet sich nach den echten Messwerten. Wichtig ist eine Bedingung: Die neuen Daten müssen den Kalibrierungsdaten ähneln. Verschiebt sich die Realität stark, etwa weil eine Kamera ausgetauscht wurde, verliert die Garantie ihre Gültigkeit.

Vom Wetterbericht bis zum Chatbot

Der Grundgedanke ist älter als das Schlagwort. Wenn der Wetterdienst eine Temperaturspanne von 18 bis 22 Grad nennt, arbeitet er mit derselben Idee: ein Bereich statt einer Zahl. Conformal Prediction macht daraus ein Verfahren mit belastbarer mathematischer Grundlage, das sich auf beliebige Lernprogramme aufsetzen lässt.

In Produkten begegnet man dem Begriff meist im Hintergrund. Medizinische Bildauswertung nutzt ihn, um Verdachtsfälle an Ärztinnen weiterzureichen. In der Qualitätskontrolle entscheidet er, welche Teile ein Mensch prüfen muss. Auch bei Sprachmodellen wird daran geforscht: Das System soll erkennen, wann seine Antwort auf wackligem Grund steht.

In Nachrichten taucht der Begriff häufig zusammen mit « Unsicherheitsquantifizierung » auf, also der Frage, wie sicher eine Maschine ihrer Sache ist. Ein verbreiteter Irrtum: Conformal Prediction macht Vorhersagen nicht genauer. Es macht nur sichtbar, wie ungenau sie sind — und genau das ist der praktische Nutzen.