Legal Research Bench
Ein Legal Research Bench ist eine standardisierte Sammlung juristischer Rechercheaufgaben, mit der man prüft, wie gut ein Computerprogramm Rechtsfragen beantwortet. Die Ergebnisse zeigen, ob ein Programm Gesetze und Urteile korrekt findet und zitiert – oder ob es Quellen erfindet.
Wer Software verkauft, behauptet gern, sie sei gut. Ein Testverfahren mit festen, immer gleichen Aufgaben macht solche Behauptungen überprüfbar. Ein Legal Research Bench ist genau so ein Testverfahren, und zwar für Programme, die juristische Fragen beantworten sollen. Die Aufgaben stammen aus der Rechtsrecherche: Welches Gesetz gilt hier? Welches Gericht hat dazu schon entschieden? Wie lässt sich ein Vertragstext auslegen? Jedes Programm bekommt dieselben Aufgaben, und die Antworten werden nach vorher festgelegten Regeln bewertet. So kann man zwei Programme fair vergleichen, statt Werbeversprechen zu glauben.
Warum Juristen misstrauisch bleiben müssen
Im Recht zählt nicht nur, ob eine Antwort plausibel klingt. Sie muss belegbar sein. Ein Anwalt, der ein Urteil zitiert, muss es im Original nachweisen können. Genau hier haben Sprachmodelle – also Programme, die Texte Wort für Wort weiterschreiben – eine gefährliche Schwäche. Sie erzeugen manchmal Aktenzeichen und Urteilsnamen, die es nie gegeben hat. Fachleute nennen das Halluzination.
Das ist kein theoretisches Problem. In den USA wurden Anwälte von Gerichten gerügt und mit Geldstrafen belegt, weil sie Schriftsätze mit erfundenen Urteilen eingereicht hatten. Eine Studie der Universität Stanford prüfte 2024 mehrere kommerzielle Rechts-Tools und fand auch dort noch in einem erheblichen Teil der Antworten falsche oder unbelegte Angaben. Die Anbieter hatten zuvor mit dem Gegenteil geworben.
Ein Benchmark zwingt solche Behauptungen in messbare Zahlen. Er beantwortet nicht die Frage, ob ein Programm nützlich ist. Er beantwortet die Frage, wie oft es danebenliegt. Und diese Zahl ist für Kanzleien, Rechtsabteilungen und Aufsichtsbehörden die entscheidende Grundlage für die Entscheidung, ob sie ein Werkzeug überhaupt einsetzen dürfen.
Aufgaben, Musterlösungen und die Tücken der Bewertung
Ein solcher Test besteht aus drei Teilen. Erstens einer Sammlung von Fragen, oft mehrere hundert bis mehrere tausend. Zweitens einer Musterlösung zu jeder Frage, die Juristen von Hand erstellt haben. Drittens einem Bewertungsverfahren, das Antwort und Musterlösung vergleicht. Bekannte Beispiele aus der Forschung sind LegalBench und CaseHOLD, die beide auf englischsprachiges US-Recht ausgerichtet sind.
Die Aufgabentypen sind unterschiedlich schwer. Einfache Aufgaben haben eine eindeutige Antwort: Welcher von fünf Leitsätzen gehört zu diesem Urteil? Das lässt sich automatisch auswerten. Schwierige Aufgaben verlangen einen ganzen Gutachtentext. Hier muss entweder ein Mensch bewerten oder ein zweites KI-Modell als Prüfer einspringen – beides ist aufwendig und selbst fehleranfällig.
Gemessen wird meist mehr als nur « richtig oder falsch ». Typische Kennzahlen sind: Anteil korrekter Antworten, Anteil erfundener Quellenangaben und Anteil der Fälle, in denen das Programm zugibt, die Antwort nicht zu kennen. Das letzte Kriterium ist wichtiger, als es klingt. Ein Werkzeug, das bei Unsicherheit schweigt, ist im Recht deutlich brauchbarer als eines, das selbstbewusst rät.
Zwischen Kanzleisoftware und Regulierung
Begegnen wird man dem Begriff vor allem in Produktmeldungen. Anbieter juristischer Software wie Harvey, Thomson Reuters oder LexisNexis werben mit Benchmark-Ergebnissen für ihre Recherche-Assistenten. Wer solche Zahlen liest, sollte prüfen, welcher Test verwendet wurde und wer ihn entworfen hat. Ein selbst gebauter Test, auf den man das eigene Modell optimiert hat, sagt wenig aus.
Auch die Rechtspolitik interessiert sich dafür. Die KI-Verordnung der EU stuft bestimmte Anwendungen im Justizbereich als Hochrisiko ein. Für solche Systeme sind Nachweise über Genauigkeit und Robustheit vorgeschrieben. Standardisierte Tests sind ein naheliegender Weg, diese Nachweise zu erbringen.
Ein häufiger Irrtum ist, ein guter Benchmark-Wert bedeute Verlässlichkeit im Alltag. Das stimmt nicht. Die meisten dieser Tests beruhen auf US-Recht, decken deutsches Recht kaum ab und enthalten oft nur abgeschlossene, sauber formulierte Fälle. Echte Mandate sind unordentlicher. Der Benchmark ist eine Fahrprüfung auf dem Übungsplatz – kein Beweis, dass jemand bei Nacht und Regen sicher fährt.