Baseline

Eine Baseline ist ein Vergleichsmaßstab. Sie beantwortet die Frage: Wie gut wäre das Ergebnis gewesen, wenn man sich gar keine Mühe gegeben hätte? Man baut dafür absichtlich eine sehr einfache Lösung und misst deren Ergebnis. Erst dann testet man die aufwendige Lösung und vergleicht beide Zahlen. Der Unterschied zwischen beiden ist der eigentliche Erfolg. Die Zahl der aufwendigen Lösung allein ist ohne diesen Vergleich nicht zu bewerten.

Warum eine Trefferquote allein nichts beweist

Ein Beispiel macht das Problem sichtbar. Ein Computerprogramm soll Röntgenbilder prüfen und einen seltenen Knochenbruch erkennen. Es liegt in 99 von 100 Fällen richtig. Das klingt beeindruckend. Nun kommt der Knochenbruch aber ohnehin nur in einem von hundert Bildern vor. Ein Programm, das stur bei jedem Bild « kein Bruch » sagt, erreicht ebenfalls 99 Prozent. Diese stumpfe Regel ist die Baseline. Das aufwendige Programm hat also exakt nichts geleistet.

Genau deshalb verlangen Fachzeitschriften und seriöse Forschungsgruppen immer einen Vergleich mit einer Baseline. Eine Zahl ohne Bezugspunkt ist keine Aussage, sondern nur Werbung. In Pressemitteilungen von Firmen fehlt dieser Bezugspunkt allerdings oft. Wer eine Meldung liest, in der ein Modell « 85 Prozent Genauigkeit » erreicht, sollte die erste Rückfrage stellen: Wie viel schafft die einfachste denkbare Methode?

Baselines schützen außerdem vor teuren Fehlentscheidungen. Wenn ein komplexes System nur zwei Prozentpunkte besser ist als eine simple Regel, dafür aber zehnmal so viel Strom und Wartung kostet, lohnt es sich meist nicht. Die Baseline liefert die Grundlage für diese Abwägung.

Wie eine gute Baseline entsteht

Baselines sind bewusst simpel. Bei Vorhersagen nimmt man oft den Durchschnitt aller bisherigen Werte. Beim Wetter funktioniert die Regel « morgen wird es wie heute » erstaunlich gut. Bei einer Entscheidung zwischen zwei Möglichkeiten rät man einfach die häufigere. Wichtig ist, dass die Baseline auf denselben Daten und mit derselben Messmethode geprüft wird wie das neue Verfahren. Sonst vergleicht man Äpfel mit Birnen.

Es gibt zwei Sorten von Baselines. Die triviale Baseline ist die dumme Regel von eben, etwa immer dieselbe Antwort. Die starke Baseline ist das beste bereits bekannte Verfahren, gegen das man antritt. Beide sind nützlich, aber sie beantworten verschiedene Fragen. Die erste zeigt, ob überhaupt etwas gelernt wurde. Die zweite zeigt, ob echter Fortschritt gegenüber dem Stand der Technik entstanden ist.

Ein häufiger Fehler ist die absichtlich schwach gehaltene Baseline. Wer sein eigenes System sorgfältig optimiert, den Vergleichskandidaten aber schlecht einstellt, erzeugt einen Vorsprung, den es gar nicht gibt. In der Forschung nennt man das eine unfaire Vergleichsbedingung. Deshalb veröffentlichen gute Arbeiten ihren Programmcode, damit andere die Baseline nachprüfen können.

Baselines in Ranglisten und Firmenmeldungen

Am sichtbarsten wird der Begriff bei Benchmarks. Das sind standardisierte Testaufgaben, an denen sich alle KI-Modelle messen lassen. In den dazugehörigen Tabellen steht fast immer eine Baseline-Zeile ganz unten. Oft ist das die Leistung eines Menschen oder eines älteren Modells. Erst dieser Bezug macht die Rangliste lesbar.

Auch außerhalb der KI ist das Prinzip verbreitet. In der Medizin vergleicht man ein neues Medikament mit einem Scheinmedikament. In der Wirtschaft misst man eine Werbekampagne an einer Kontrollgruppe, die keine Werbung gesehen hat. Bei Klimazielen bezeichnet Baseline das Bezugsjahr, auf das sich Einsparungen beziehen. Immer geht es um denselben Gedanken: Fortschritt ist eine Differenz, kein absoluter Wert.

Für die Lektüre von Tech-News ergibt sich daraus eine einfache Faustregel. Prüfe bei jeder genannten Verbesserung, worauf sie sich bezieht. Fehlt der Vergleichspunkt, ist die Zahl wertlos. Wird er genannt, kannst du selbst beurteilen, ob der Sprung groß oder nur kosmetisch ist.