VLOSE
VLOSE ist ein Prüfverfahren für Programme, die Bilder und Text gemeinsam verarbeiten. Getestet wird dabei gezielt, wie ein System mit Dingen umgeht, die es beim Lernen nie gesehen hat.
Manche Computerprogramme können Bilder und Sprache zusammen verarbeiten. Man zeigt ihnen ein Foto, stellt eine Frage dazu, und sie antworten in ganzen Sätzen. Solche Programme lernen vorher aus Millionen von Beispielbildern mit passenden Beschreibungen. Die spannende Frage ist: Was passiert, wenn im Bild etwas auftaucht, das in diesen Beispielen nie vorkam? Genau darauf zielt VLOSE. Die Abkürzung steht für Vision-Language Open-Set Evaluation, also sinngemäß: Prüfung von Bild-und-Sprach-Systemen an einer offenen, nicht vorab festgelegten Menge von Dingen. Der Name beschreibt kein einzelnes Produkt, sondern eine Art, solche Systeme systematisch zu testen.
Der Gegensatz dazu heißt geschlossene Prüfung. Dort gibt man dem System vorher eine feste Liste möglicher Antworten vor, etwa hundert Tiernamen. Es muss nur die richtige davon auswählen. Eine offene Prüfung nimmt diese Liste weg. Das System muss selbst formulieren, was es sieht — oder zugeben, dass es das nicht weiß.
Warum die Liste der bekannten Dinge nie vollständig ist
Die Welt enthält mehr Objekte, als jeder Trainingsdatensatz abdecken kann. Ein Selbstfahrsystem trifft irgendwann auf ein umgekipptes Bauzelt, eine Matratze auf der Autobahn oder ein Pferd auf der Landstraße. Wenn das System nur zwischen vorher gelernten Kategorien wählen darf, ordnet es das Unbekannte zwangsläufig falsch ein. Es sagt dann etwa „Mülltonne“ und fährt weiter. Das ist gefährlicher als ein ehrliches „unbekanntes Hindernis“.
Dahinter steckt ein grundsätzliches Problem: Modelle sind darauf trainiert, immer eine Antwort zu geben. Sie geben oft sogar hohe Sicherheitswerte an, wenn sie völlig danebenliegen. Fachleute nennen das Überkonfidenz. VLOSE-artige Tests messen deshalb nicht nur, wie oft ein System richtig liegt. Sie messen auch, ob es merkt, wann es an seine Grenze stößt.
Für Unternehmen ist das ein handfestes Thema. Wer ein Bildsystem in der Qualitätskontrolle einsetzt, will wissen, wie es auf einen bisher nie aufgetretenen Fehlertyp reagiert. Ein Testergebnis von 95 Prozent auf bekannten Fällen sagt darüber nichts aus. Erst offene Prüfungen liefern hier eine belastbare Zahl.
Wie eine offene Prüfung aufgebaut ist
Der Grundgedanke ist einfach. Man teilt die verfügbaren Bildkategorien in zwei Gruppen. Mit der ersten Gruppe wird das Modell trainiert, die zweite wird vollständig zurückgehalten. Beim Test mischt man beide Gruppen wieder. Das Modell weiß nicht, welche Bilder zu welcher Gruppe gehören.
Bewertet wird dann in mehreren Schritten. Erstens: Erkennt das Modell die bekannten Dinge weiterhin zuverlässig? Zweitens: Markiert es die zurückgehaltenen Dinge als unbekannt, statt sie einer falschen Kategorie zuzuschlagen? Drittens: Wie gut beschreibt es das Unbekannte in eigenen Worten? Ein System, das bei einem nie gesehenen Gerät „ein metallischer Apparat mit Schläuchen“ antwortet, ist brauchbarer als eines, das schlicht „Kaffeemaschine“ rät.
Die Bewertung der frei formulierten Antworten ist der schwierige Teil. Es gibt keine einzelne richtige Lösung, mit der man vergleichen könnte. In der Praxis nutzt man Ähnlichkeitsmaße zwischen der Antwort und mehreren zulässigen Beschreibungen. Manchmal bewerten auch Menschen stichprobenartig nach. Beides ist aufwendiger als das simple Abhaken bei einer Auswahlliste.
VLOSE in Modellankündigungen und Produktdatenblättern
Wenn ein Unternehmen ein neues Bild-Sprach-Modell vorstellt, folgt fast immer eine Tabelle mit Testergebnissen. Neben bekannten Prüfungen zu Bildbeschreibung und Fragenbeantwortung tauchen dort zunehmend offene Prüfungen auf. Diese Werte liegen typischerweise deutlich niedriger als die anderen. Das ist kein Zeichen für ein schlechtes Modell, sondern für einen härteren Test.
Im Alltag begegnet dir die Sache eher indirekt. Wenn eine Handy-App eine Pflanze bestimmen soll und antwortet „vermutlich ein Doldenblütler, keine sichere Bestimmung möglich“, steckt genau dieses Prinzip dahinter. Auch Prüfsysteme in Fabriken und in der Medizintechnik werden zunehmend danach beurteilt.
Ein verbreiteter Irrtum sollte noch ausgeräumt werden. Ein gutes Ergebnis in einer offenen Prüfung bedeutet nicht, dass ein Modell unbekannte Dinge korrekt benennen kann. Es bedeutet vor allem, dass es seine eigene Unwissenheit zuverlässiger einschätzt. Für sicherheitskritische Anwendungen ist genau das der entscheidende Punkt.