Shadow Evaluation
Bei einer Shadow Evaluation läuft eine neue Software-Version im Hintergrund mit echten Daten mit, ohne dass ihre Ergebnisse jemand zu sehen bekommt. So lässt sich prüfen, ob sie besser arbeitet als die alte Version, bevor sie tatsächlich eingesetzt wird.
Wenn ein Unternehmen ein neues Computerprogramm einsetzen will, ist die große Frage: Funktioniert es im echten Betrieb genauso gut wie im Test? Eine Shadow Evaluation beantwortet diese Frage ohne Risiko. Die neue Version läuft dabei parallel zur alten mit und bekommt dieselben echten Anfragen von Kunden. Ihre Antworten werden aber nur gespeichert und ausgewertet, nie an die Nutzer geschickt. Der Name kommt daher, dass die neue Version wie ein Schatten der alten mitläuft. Sie sieht alles, tut aber nach außen nichts.
Warum man ein System lieber im Schatten testet
Testdaten im Labor sind selten so unordentlich wie die Wirklichkeit. Kunden tippen Rechtschreibfehler, laden verdrehte Fotos hoch oder stellen Fragen, an die niemand gedacht hat. Ein Programm, das im Labor 95 Prozent Treffer erreicht, kann im Alltag deutlich schlechter abschneiden. Die Shadow Evaluation liefert genau diese echten, unordentlichen Fälle.
Der zweite Vorteil ist die Sicherheit. Macht die neue Version einen groben Fehler, merkt das kein Kunde, weil ihre Antwort ohnehin verworfen wird. Bei einer Bank, die Überweisungen auf Betrug prüft, wäre ein direkter Umstieg gefährlich. Blockiert das neue System versehentlich tausende echte Zahlungen, ist der Schaden sofort da. Im Schattenbetrieb bleibt es bei einem Eintrag in einer Auswertungstabelle.
Wichtig ist die Abgrenzung zum sogenannten A/B-Test. Dort bekommen echte Nutzer tatsächlich unterschiedliche Versionen zu sehen, meist eine Hälfte die alte und eine Hälfte die neue. Das misst die Wirkung auf Menschen, kostet aber im Fehlerfall echtes Vertrauen. Die Shadow Evaluation ist die vorsichtigere Stufe und kommt in der Regel vorher.
Was beim Mitlaufen im Hintergrund passiert
Technisch wird jede eingehende Anfrage kopiert. Das Original geht an das bewährte System, dessen Antwort der Kunde erhält. Die Kopie geht an die neue Version. Deren Ergebnis landet in einer Datenbank, zusammen mit dem Ergebnis des alten Systems. Anschließend vergleicht man beide Spalten.
Interessant sind vor allem die Fälle, in denen sich beide unterscheiden. Diese Abweichungen schaut sich oft ein Mensch an und entscheidet, wer recht hatte. Bei einem System, das Rechnungen automatisch ausliest, wären das etwa alle Belege, bei denen alte und neue Version verschiedene Beträge erkennen. Manchmal ist auch die alte Version im Unrecht, was ein reiner Labortest nie zeigen würde.
Gemessen wird nicht nur die Trefferquote. Auch die Antwortzeit zählt, also wie lange das System pro Anfrage rechnet. Ebenso die Kosten, denn ein größeres KI-Modell verbraucht mehr Rechenleistung. Ein häufiger Irrtum ist, dass der Schattenbetrieb nichts kostet. Er verdoppelt die Rechenlast, weil jede Anfrage zweimal bearbeitet wird. Deshalb lässt man oft nur einen Bruchteil der Anfragen mitlaufen, etwa jede zehnte.
Wo Schattenbetrieb im Alltag steckt
Besonders verbreitet ist das Verfahren dort, wo Fehler teuer sind. Banken und Zahlungsdienstleister prüfen so neue Betrugserkennung. Suchmaschinen und Online-Shops testen damit neue Ranglisten für Suchergebnisse. Auch Hersteller von Fahrassistenzsystemen lassen neue Software im Auto mitrechnen, ohne dass sie lenkt oder bremst. Ihre Entscheidungen werden nur mit denen des Fahrers verglichen.
Bei Sprachmodellen, also KI-Systemen für Texte, ist der Ansatz inzwischen Standard. Bevor ein Anbieter auf ein neues Modell umstellt, lässt er es tagelang auf echten Nutzerfragen im Hintergrund antworten. So zeigt sich, ob es häufiger falsche Angaben erfindet oder unangemessen reagiert.
In Unternehmensmeldungen taucht der Begriff meist im Zusammenhang mit Sorgfaltspflichten auf. Firmen weisen damit nach, dass sie ein System vor dem Einsatz unter realen Bedingungen geprüft haben. Für Anleger ist das ein Hinweis darauf, wie ernst ein Anbieter die Zuverlässigkeit seiner Technik nimmt.