Falsifizierung

Falsifizierung heißt: Man zeigt an einem einzigen Gegenbeispiel, dass eine Behauptung falsch ist. Die Behauptung „Alle Schwäne sind weiß“ lässt sich niemals endgültig beweisen, denn man kann nicht alle Schwäne der Welt anschauen. Ein einziger schwarzer Schwan reicht aber, um sie umzustoßen. Der Philosoph Karl Popper hat daraus in den 1930er-Jahren eine Regel für die Wissenschaft gemacht. Eine Aussage ist nur dann wissenschaftlich brauchbar, wenn man sich vorstellen kann, wie eine Beobachtung sie widerlegen würde. Aussagen, die gegen jede denkbare Beobachtung immun sind, erklären laut Popper gar nichts.

Warum ein Gegenbeispiel mehr zählt als tausend Bestätigungen

Bestätigungen sind logisch schwach. Wenn ich tausend weiße Schwäne sehe, ist meine Regel danach nicht bewiesen, sondern nur noch nicht gescheitert. Widerlegungen sind dagegen logisch stark. Ein einziger Fall genügt, und die Regel ist erledigt. Diese Schieflage ist der Kern von Poppers Idee.

Menschen neigen zum Gegenteil. Wir suchen bevorzugt nach Belegen für das, was wir ohnehin glauben. Dieses Verhalten nennt man Bestätigungsfehler. Wer eine Vermutung ernsthaft prüfen will, muss deshalb aktiv nach dem Fall suchen, der sie kippen würde.

Für Technik ist das sehr praktisch. Wer behauptet, seine Software sei sicher, hat damit noch nichts gezeigt. Erst der ernsthafte Versuch, sie zu knacken, sagt etwas aus. Genau deshalb ist Falsifizierung nicht nur eine philosophische Idee, sondern Alltagshandwerk in der Entwicklung.

Vom Gegenbeispiel zum Testfall

In der Praxis formuliert man zuerst eine möglichst scharfe Behauptung. Zum Beispiel: „Dieses Modell erkennt Verkehrsschilder in mindestens 99 von 100 Fällen richtig.“ Danach überlegt man, welches Ergebnis diese Behauptung zerstören würde. Erst dann testet man. Wichtig ist die Reihenfolge: Wer die Behauptung nachträglich an die Ergebnisse anpasst, hat nichts geprüft.

Beim Testen von KI-Modellen trennt man Trainingsdaten und Testdaten strikt. Trainingsdaten sind die Beispiele, aus denen das Modell gelernt hat. Testdaten hat es nie gesehen. Nur auf ungesehenen Daten kann ein Modell überhaupt scheitern. Prüft man es auf den Trainingsdaten, bekommt man eine Bestätigung, die nichts wert ist.

Ein häufiger Irrtum: Falsifizierung bedeute, man solle allem misstrauen. Gemeint ist etwas Engeres. Eine Behauptung, die viele ernsthafte Widerlegungsversuche überstanden hat, gilt als gut bestätigt. Sie bleibt aber grundsätzlich offen für Korrektur. Sicheres Wissen im Sinne von unumstößlichem Wissen gibt es in diesem Denken nicht.

Red Teaming, Benchmarks und Studien in den News

Bei KI-Firmen heißt der organisierte Widerlegungsversuch Red Teaming. Ein Team versucht gezielt, ein Chatbot-Modell zu gefährlichen oder falschen Antworten zu bringen. Es sucht also nicht nach Beweisen für Sicherheit, sondern nach dem einen Fall, der die Sicherheitsbehauptung bricht. Berichte über solche Tests tauchen regelmäßig in Tech-Nachrichten auf.

Auch Benchmarks folgen dem Muster. Ein Benchmark ist ein standardisierter Aufgabensatz, mit dem man Modelle vergleicht. Wenn ein Anbieter eine Bestwertung meldet, lohnt die Rückfrage, ob die Aufgaben vorher im Trainingsmaterial standen. Dann wäre die Prüfung wertlos, weil das Modell gar nicht scheitern konnte.

Im Alltag hilft dieselbe Frage bei Werbeversprechen und Studien. Man fragt schlicht: Welches Ergebnis hätte dieser Aussage widersprochen? Gibt es darauf keine Antwort, ist die Aussage vermutlich so allgemein gehalten, dass sie immer stimmt. Solche Sätze klingen stark, sagen aber wenig.