METR
METR ist eine gemeinnützige US-Organisation, die messbar testet, wie selbstständig KI-Systeme längere Arbeitsaufgaben erledigen können. Bekannt wurde sie durch die Kennzahl der „Aufgabenlänge“ und durch Sicherheitstests, die große KI-Anbieter vor der Veröffentlichung neuer Modelle in Auftrag geben.
METR ist eine gemeinnützige Forschungsorganisation aus den USA. Sie prüft Computerprogramme, die selbstständig Aufgaben erledigen können, und misst, wie gut ihnen das gelingt. Der Name steht für « Model Evaluation and Threat Research », also etwa: Bewertung von Programmen und Erforschung möglicher Gefahren. Die Gruppe entstand 2023 aus einem Team, das vorher zur Forschungsorganisation ARC gehörte, und arbeitet seither eigenständig. Anbieter wie OpenAI und Anthropic haben METR ihre neuen Systeme vor der Veröffentlichung zum Testen gegeben. METR ist also weder eine Behörde noch ein Unternehmen, sondern ein unabhängiger Prüfer, den die Getesteten freiwillig hinzuziehen.
Der unabhängige Prüfstand vor dem Marktstart
Für KI gibt es bisher kaum verbindliche Prüfvorschriften. Bei Autos schreibt der Gesetzgeber Crashtests vor, bei Medikamenten gibt es Zulassungsstudien. Bei einem neuen Sprachmodell entscheidet meist der Hersteller selbst, was er testet und was er veröffentlicht. Genau in diese Lücke stößt METR. Wenn eine externe Gruppe ein Modell prüft, ist das Ergebnis glaubwürdiger als eine Selbstauskunft.
Wichtig sind die Berichte auch für Politik und Aufsichtsbehörden. Wer Regeln für KI schreiben will, braucht Zahlen darüber, was die Systeme tatsächlich können. Bloße Behauptungen aus Werbetexten helfen dabei nicht. METR-Ergebnisse werden deshalb in Anhörungen, Gesetzesdebatten und in den technischen Berichten der Anbieter zitiert.
Für Anleger und Journalisten ist die Organisation aus einem anderen Grund interessant. Ihre Messungen zeigen, wie schnell sich die Fähigkeiten von Jahr zu Jahr verändern. Das ist eine der wenigen halbwegs nüchternen Grundlagen, um Fortschritt einzuschätzen. Allerdings bleibt METR abhängig davon, dass Firmen freiwillig Zugang gewähren. Ein Recht auf Prüfung hat die Organisation nicht.
Aufgabenlänge als Maßstab
Klassische Tests fragen KI-Systeme Wissen ab, ähnlich wie eine Klausur. METR geht anders vor und gibt echte Arbeitsaufträge. Ein System soll etwa einen Programmfehler suchen, Daten auswerten oder eine Software zum Laufen bringen. Dabei darf es Werkzeuge benutzen, also Dateien öffnen, Befehle ausführen und im Netz nachsehen. Gemessen wird, ob die Aufgabe am Ende korrekt erledigt ist.
Der entscheidende Trick ist die Umrechnung in Zeit. METR lässt zuerst erfahrene Fachleute dieselben Aufgaben lösen und notiert, wie lange sie brauchen. Danach prüft man, welche Aufgabenlänge ein Modell noch in etwa der Hälfte der Fälle schafft. Ergebnis ist eine Zahl in Minuten oder Stunden: die sogenannte Zeithorizont-Kennzahl. Sie sagt sinngemäß, wie lange ein Mensch für die Arbeit gebraucht hätte, die das Modell gerade noch bewältigt.
Diese Kennzahl ist bekannt geworden, weil sie über die Jahre stark gestiegen ist. Wo Modelle früher nur Aufgaben von wenigen Minuten schafften, sind es inzwischen deutlich längere Arbeiten. Ein Missverständnis sollte man dabei vermeiden. Die Zahl beschreibt nicht, wie schnell die KI rechnet, sondern wie umfangreich die Aufgabe sein darf. Und sie gilt nur für abgeschlossene, klar prüfbare Aufträge, nicht für offene Kreativarbeit.
METR in Modellberichten und Schlagzeilen
Am häufigsten trifft man den Namen in den technischen Begleitberichten neuer Modelle. Dort steht dann, dass eine externe Gruppe das System vor dem Start auf riskante Fähigkeiten geprüft hat. Getestet wird zum Beispiel, ob ein Modell selbstständig Sicherheitslücken ausnutzen oder Aufgaben ohne menschliche Kontrolle über Stunden fortführen kann. Solche Abschnitte tauchten unter anderem bei Modellen von OpenAI und Anthropic auf.
In Nachrichten begegnet man METR meist über zwei Themen. Das erste sind die Kurven zur Aufgabenlänge, die in Artikeln über das Tempo der KI-Entwicklung auftauchen. Das zweite ist eine Studie von 2025 zur Arbeit von Programmierern. Erfahrene Entwickler mit KI-Assistenz schätzten sich dort schneller ein, brauchten gemessen aber länger als ohne. Das Ergebnis wurde viel diskutiert, weil es gängigen Produktversprechen widerspricht.
Verwechseln sollte man METR nicht mit staatlichen Stellen wie den KI-Sicherheitsinstituten in den USA oder Großbritannien. Diese sind Teil der Verwaltung, METR ist es nicht. Auch von reinen Ranglisten für Chatbots unterscheidet sich die Arbeit deutlich, denn dort zählt oft nur, welche Antwort Nutzern besser gefällt. METR interessiert dagegen, ob eine Aufgabe wirklich fertig wurde.