Rejection Sampling

Rejection Sampling heißt übersetzt etwa „Stichprobe mit Verwerfen“. Das Prinzip ist einfach: Man erzeugt viele zufällige Vorschläge und behält nur die, die eine Prüfung bestehen. Alle anderen wirft man weg, ohne sie zu reparieren. Man nimmt also in Kauf, viel Arbeit zu verschwenden, weil das Prüfen leichter ist als das gezielte Herstellen eines guten Ergebnisses. Ein Programm, das Texte schreibt, kann so zehn Antworten formulieren und nur die eine ausgeben, die eine Bewertung am besten besteht. Ursprünglich stammt die Idee aus der Statistik, heute begegnet sie einem vor allem beim Training und Betrieb von Sprachmodellen.

Warum Wegwerfen oft billiger ist als Nachdenken

Ein Programm, das Texte erzeugt, trifft bei jedem Wort eine Auswahl mit Zufallsanteil. Deshalb liefert dieselbe Frage nie exakt dieselbe Antwort. Manche dieser Antworten sind gut, manche enthalten Fehler oder Erfindungen. Es gibt keinen einfachen Weg, das Programm zu zwingen, sofort die beste Version zu treffen.

Prüfen ist dagegen häufig leicht. Ob ein Programmcode läuft, findet ein Rechner in Sekunden heraus. Ob eine Rechenaufgabe richtig gelöst ist, verrät ein Blick auf das Ergebnis. Diese Lücke zwischen „schwer zu erzeugen“ und „leicht zu prüfen“ ist der eigentliche Grund, warum sich das Verfahren lohnt.

Für Firmen, die KI-Systeme bauen, ist das ein sehr praktischer Hebel. Sie brauchen kein neues Modell, um bessere Antworten zu bekommen. Es reicht, mehr Rechenzeit in mehrere Versuche zu stecken. Der Preis dafür ist ehrlich sichtbar: Bei zehn Versuchen kostet eine Antwort ungefähr das Zehnfache.

Erzeugen, bewerten, aussortieren

Der Ablauf hat drei Schritte. Zuerst erzeugt das Modell mehrere Antworten auf dieselbe Anfrage, oft vier bis hundert. Dann bewertet ein Prüfer jede einzelne Antwort. Zuletzt bleibt nur die beste übrig, der Rest wird verworfen.

Der Prüfer kann ganz unterschiedlich aussehen. Bei Programmieraufgaben ist es ein Testlauf des Codes. Bei Mathematik ist es der Vergleich mit der bekannten Lösung. Bei offenen Texten übernimmt oft ein zweites Modell die Bewertung, ein sogenanntes Belohnungsmodell. Dieses Modell wurde vorher an menschlichen Urteilen darauf trainiert, hilfreiche von schlechten Antworten zu unterscheiden.

Besonders wichtig ist die zweite Verwendung: Man behält die guten Antworten nicht nur für den Nutzer, sondern sammelt sie als Trainingsmaterial. Das Modell wird anschließend auf seinen eigenen besten Ausgaben nachtrainiert. Dieses Vorgehen heißt Rejection-Sampling-Feintuning und war zum Beispiel ein Baustein bei Metas Llama-Modellen. Ein häufiger Irrtum ist, das Verfahren mache das Modell direkt klüger. Es filtert nur – die Qualität kann nie besser sein als die beste Antwort, die das Modell ohnehin erzeugt hätte.

Wo die verworfenen Antworten im Alltag stecken

Wenn ein Chatbot bei einer schweren Rechenaufgabe auffällig lange braucht, kann Rejection Sampling dahinterstecken. Im Hintergrund laufen mehrere Lösungswege parallel, sichtbar wird nur einer. Ähnlich arbeiten Programmierassistenten, die mehrere Codevorschläge erzeugen und automatisch gegen Tests laufen lassen. Auch Bildgeneratoren verwerfen Ergebnisse, etwa wenn ein Filter verbotene Inhalte erkennt.

In Fachnachrichten taucht der Begriff meist in zwei Zusammenhängen auf. Erstens bei „Test-Time Compute“: Damit ist gemeint, dass ein System beim Beantworten mehr Rechenleistung einsetzt statt beim Training. Zweitens beim Vergleich mit Reinforcement Learning, dem Lernen durch Belohnung. Dort verändert Feedback die inneren Werte des Modells laufend, während Rejection Sampling nur auswählt und deshalb einfacher und stabiler ist.

Für dich als Nutzer bedeutet das vor allem eines: Antwortqualität ist teilweise eine Frage des Budgets. Kostenlose Zugänge liefern oft nur einen Versuch, bezahlte Modi mehrere. Der Unterschied liegt dann nicht im Wissen des Modells, sondern in der Zahl der verworfenen Entwürfe.