Diffusion LLM

Die meisten Sprachmodelle schreiben Text so, wie ein Mensch tippt: ein Wort nach dem anderen, immer von links nach rechts. Ein Diffusion LLM — kurz für Diffusion Large Language Model, also ein großes Sprachmodell auf Basis von Diffusion — geht anders vor. Es beginnt mit einem vollständigen, aber zunächst sinnlosen Platzhalter-Text und verfeinert diesen in vielen kleinen Schritten, bis am Ende eine lesbare Antwort steht. Jeder Schritt korrigiert dabei das gesamte bisherige Ergebnis auf einmal, nicht nur das nächste Wort. Das ist ein grundlegend anderer Aufbau, der bestimmte Vor- und Nachteile mit sich bringt.

Warum Diffusion LLMs die Architektur-Debatte neu befeuern

Das klassische Prinzip, Text von links nach rechts zu erzeugen, hat einen strukturellen Nachteil: Das Modell legt sich früh fest. Wählt es am Anfang ein unpassendes Wort, kann es das später nicht mehr ohne Weiteres korrigieren — es arbeitet immer nur vorwärts. Ein Diffusion LLM hat dieses Problem nicht. Es kann den gesamten Entwurf jederzeit überarbeiten, weil es nie endgültig von links nach rechts festgeschrieben ist.

Das ist besonders bei Aufgaben relevant, bei denen die richtige Formulierung stark vom Ende des Satzes abhängt. Zum Beispiel beim Übersetzen: Manchmal weiß man erst am Ende eines langen deutschen Satzes, welches Verb an den Anfang der englischen Version gehört. Ein Modell, das gleichzeitig über den ganzen Text nachdenkt, hat hier einen prinzipiellen Vorteil gegenüber einem, das Wort für Wort vorwärtsarbeitet.

Vom Rauschen zur lesbaren Antwort — der Ablauf

Der Begriff „Diffusion“ stammt ursprünglich aus der Physik und beschreibt, wie sich etwas ausbreitet und verteilt — etwa Tinte in Wasser. In der KI-Forschung wurde das Konzept zunächst für Bilder genutzt: Man nimmt ein echtes Bild, fügt schrittweise Rauschen hinzu, bis nichts mehr erkennbar ist, und trainiert ein Modell darin, diesen Prozess umzukehren. Dasselbe Prinzip überträgt ein Diffusion LLM auf Text. Statt Pixel werden Wörter — genauer gesagt ihre numerischen Darstellungen, sogenannte Token — verrauscht und dann wiederhergestellt.

Beim Training lernt das Modell, aus einem kaputten, zufällig durchmischten Text den ursprünglichen zu rekonstruieren. Bei der Nutzung läuft das umgekehrt: Das Modell startet mit einem Platzhalter-Text voller Nonsens-Token und verfeinert ihn in typischerweise 10 bis 100 Schritten. Nach jedem Schritt sieht der Text ein wenig sinnvoller aus. Das Modell sieht dabei immer den gesamten Zwischenstand — ein entscheidender Unterschied zur schrittweisen Links-nach-rechts-Erzeugung.

Ein häufiges Missverständnis ist, dass Diffusion LLMs zwangsläufig langsamer seien als klassische Modelle. Das Gegenteil kann der Fall sein: Weil alle Positionen parallel verarbeitet werden, lassen sich die Schritte gut auf moderner Hardware beschleunigen. Wie viele Schritte wirklich nötig sind, ist allerdings noch Gegenstand aktiver Forschung.

Diffusion LLMs in Produkten und Forschung

Lange galten Diffusion-Ansätze für Text als akademische Nische. Das hat sich 2024 und 2025 deutlich geändert. Das Startup Inception Labs veröffentlichte mit Mercury das erste kommerziell verfügbare Diffusion LLM und bewarb es mit deutlich höherer Geschwindigkeit als vergleichbare klassische Modelle. Gleichzeitig zog die Forschung nach: Arbeiten wie MDLM und Masked Diffusion zeigten, dass Diffusion-Modelle bei bestimmten Sprachtasks mit klassischen Modellen gleichziehen können.

In der Praxis taucht der Begriff vor allem in zwei Zusammenhängen auf: in Diskussionen über die nächste Generation von Sprachmodell-Architekturen und in der Bildgenerierung, wo Diffusion bereits der Standard ist. Wer News über Modelle wie Stable Diffusion oder DALL·E liest, kennt das zugrundeliegende Prinzip also bereits halb — es wird nun auf Sprache übertragen. Ob Diffusion LLMs die klassischen Transformer-Modelle langfristig ablösen oder ergänzen werden, ist noch offen. Klar ist aber, dass sie die Annahme widerlegen, Text müsse zwingend sequenziell — also der Reihe nach — erzeugt werden.