LALM

LALM steht für « Large Audio Language Model », auf Deutsch etwa « großes Audio-Sprachmodell ». Gemeint ist ein KI-System, das eine Tonaufnahme entgegennimmt und darauf sinnvoll reagiert. Man kann ihm eine Sprachnachricht schicken und eine Antwort bekommen. Man kann ihm aber auch ein Musikstück oder ein Motorengeräusch vorspielen und Fragen dazu stellen. Der Unterschied zu einem klassischen Chatbot: Dieser versteht nur getippten Text. Ein LALM nimmt den Ton selbst als Eingabe, ohne Umweg über eine geschriebene Abschrift.

Was im Ton steckt und in der Abschrift verloren geht

Bisher lief Sprachsteuerung fast immer in drei Schritten ab. Erst wandelte ein Programm die Stimme in Text um. Dann las ein Sprachmodell diesen Text und formulierte eine Antwort. Zuletzt sprach ein drittes Programm die Antwort vor. Diese Kette funktioniert, wirft aber bei jedem Schritt Informationen weg.

Denn eine Abschrift enthält nur die Wörter. Ob jemand sie genervt, unsicher oder ironisch gesagt hat, steht nicht drin. Auch Hintergrundgeräusche verschwinden, ebenso Pausen und Betonungen. Der Satz « Toll gemacht » kann Lob oder Spott sein. Im Text sieht beides gleich aus, im Ton nicht.

Ein LALM hört diese Zwischentöne mit und kann sie in seine Antwort einbeziehen. Dazu kommt die Geschwindigkeit: Weniger Zwischenschritte bedeuten kürzere Wartezeiten. Bei einem Gespräch fällt eine Verzögerung von zwei Sekunden sofort unangenehm auf. Genau deshalb investieren Unternehmen wie Google, OpenAI und Alibaba stark in diese Modelle.

Vom Schallwellen-Bild zur Antwort

Sprachmodelle rechnen intern nicht mit Buchstaben, sondern mit langen Zahlenreihen. Ein Text wird dafür in kleine Bausteine zerlegt, sogenannte Tokens, und jeder Baustein bekommt eine Zahlenfolge zugewiesen. Ein LALM macht mit Ton dasselbe. Ein zusätzliches Bauteil, der Audio-Encoder, zerschneidet die Aufnahme in kurze Abschnitte von wenigen hundertstel Sekunden. Jeder Abschnitt wird ebenfalls in eine Zahlenfolge übersetzt.

Entscheidend ist, dass diese Ton-Zahlen und die Text-Zahlen im selben Format vorliegen. Das Sprachmodell kann sie dann nebeneinander verarbeiten, so wie man Bilder und Text in einem Dokument mischt. Für das Modell ist eine Sekunde Audio dadurch nichts grundsätzlich anderes als ein Wort. Es sagt weiter voraus, was als Nächstes kommt, nur eben auf Basis gemischter Eingaben.

Die Ausgabe kann Text sein oder wieder Ton. Bei Sprachausgabe erzeugt das Modell direkt Audio-Bausteine, die ein Decoder in hörbare Wellen zurückverwandelt. Trainiert wird das Ganze mit riesigen Mengen an Aufnahmen samt Beschreibung: Vorträge mit Abschrift, Musik mit Genreangabe, Alltagsgeräusche mit Beschriftung. Ein verwandter Begriff ist ASR, die reine Spracherkennung. Sie schreibt nur mit, während ein LALM den Inhalt auch versteht und darauf reagiert.

Von der Sprachassistenz bis zur Qualitätskontrolle

Am bekanntesten sind die Sprachmodi großer Chatbots. Wer sich mit ChatGPT oder Gemini unterhält und dabei mitten im Satz unterbrechen kann, nutzt Technik aus diesem Bereich. Auch Übersetzungs-Apps profitieren davon, weil sie Betonung und Sprecherwechsel besser treffen. In Callcentern werten solche Modelle Gespräche aus und erkennen, wann ein Kunde verärgert klingt.

Außerhalb von Sprache gibt es weitere Einsatzfelder. In Fabriken hören Modelle auf ungewöhnliche Maschinengeräusche und melden mögliche Defekte, bevor etwas kaputtgeht. In der Medizin gibt es Versuche, Atem- oder Hustengeräusche auszuwerten. Musikdienste nutzen ähnliche Systeme, um Stücke automatisch zu beschreiben.

In Nachrichtenmeldungen taucht der Begriff oft zusammen mit « multimodal » auf. Damit ist gemeint, dass ein Modell mehrere Eingabearten beherrscht: Text, Bild, Ton, teils Video. Ein häufiger Irrtum ist, ein LALM sei einfach eine bessere Spracherkennung. Tatsächlich liegt der Sprung darin, dass Verstehen und Antworten in einem System stattfinden. Kritisch bleiben Datenschutzfragen, denn Stimmaufnahmen sind persönliche Daten und verraten mehr über eine Person als getippter Text.