Semantic-Acoustic Autoencoder

Eine Tonaufnahme besteht aus sehr vielen Messwerten pro Sekunde. Für Computer ist das eine unhandlich große Datenmenge. Ein Semantic-Acoustic Autoencoder presst diese Aufnahme in eine kurze Zahlenfolge zusammen und baut daraus später wieder hörbaren Ton auf. Das Besondere: Er speichert die Information in zwei getrennten Schichten. Die eine Schicht hält fest, welche Wörter und Laute gesprochen wurden. Die andere hält fest, wie es geklungen hat, also Stimmfarbe, Betonung und Hintergrundgeräusche. Der Name sagt genau das: „semantic“ steht für Bedeutung, „acoustic“ für Klang.

Warum Sprach-KI eine getrennte Darstellung braucht

Moderne Sprachmodelle arbeiten mit Wörtern, die als Zahlenketten dargestellt sind. Rohes Audio passt schlecht in dieses Schema. Eine Sekunde Sprache besteht aus rund 24.000 einzelnen Messwerten. Ein Text von einer Sekunde Länge hat dagegen vielleicht drei oder vier Bausteine. Ein Modell, das direkt auf den Messwerten arbeitet, müsste also tausendfach mehr Schritte rechnen. Der Autoencoder reduziert das auf wenige Dutzend Zahlen pro Sekunde.

Die Trennung in Bedeutung und Klang bringt einen zweiten Vorteil. Ein System kann so den Inhalt verändern, ohne die Stimme zu verändern, oder umgekehrt. Genau darauf beruhen Sprachassistenten, die in unterschiedlichen Stimmen antworten. Auch Übersetzungssysteme nutzen das: Sie übersetzen den Inhalt und behalten die Originalstimme des Sprechers bei.

Ohne diese Trennung müsste ein Modell alles gleichzeitig lernen. Es würde sich dann leicht an Nebensächlichkeiten festbeißen, etwa an einem bestimmten Mikrofonrauschen. Getrennte Schichten machen das Lernen stabiler und die Ergebnisse vorhersagbarer.

Der Weg vom Mikrofon zur Zahlenfolge und zurück

Der Aufbau hat drei Teile. Der Encoder nimmt die Aufnahme entgegen und verdichtet sie. In der Mitte entsteht die komprimierte Darstellung, oft in Form fester Codes aus einem Katalog von einigen tausend Einträgen. Der Decoder liest diese Codes und erzeugt daraus wieder eine Klangkurve. Trainiert wird das Ganze, indem man die Ausgabe mit der Originalaufnahme vergleicht und die Abweichung schrittweise verkleinert.

Die semantische Schicht entsteht meist durch einen zusätzlichen Trainingsdruck. Man zwingt sie, mit den Ausgaben eines Spracherkennungsmodells übereinzustimmen. Dadurch enthält sie am Ende vor allem Lautinformation und kaum Stimmfarbe. Alles, was für den Klang nötig ist, aber in dieser Schicht keinen Platz findet, landet in der akustischen Schicht. Man kann sich das wie eine Partitur und eine Aufnahme vorstellen: Die Noten sagen, was gespielt wird, die Aufnahme, wie es klingt.

Ein häufiger Irrtum ist, den Autoencoder für ein Spracherkennungssystem zu halten. Er liefert aber keinen lesbaren Text. Seine Codes sind Zahlen ohne feste Bedeutung für Menschen. Er ist ein Übersetzer zwischen Audio und Zahlenwelt, nicht zwischen Audio und Schrift.

Wo diese Technik in Produkten steckt

Am sichtbarsten ist sie in Sprachmodus-Funktionen großer Chatbots. Wenn ein Assistent flüssig und mit Betonung antwortet, steckt dahinter fast immer eine solche Zerlegung. Auch Vorlesefunktionen für Hörbücher und automatische Synchronisation von Videos arbeiten damit.

Ein zweites Anwendungsfeld ist die Übertragung von Sprache über schmale Leitungen. Statt der Tonspur schickt man nur die Codes und baut den Ton beim Empfänger neu auf. Der Bedarf sinkt dabei auf einen Bruchteil dessen, was klassische Verfahren brauchen. Videokonferenz-Anbieter testen das für schlechte Netzverbindungen.

In Nachrichtenmeldungen taucht der Begriff meist im Zusammenhang mit Stimmklonen auf. Weil sich Inhalt und Stimme trennen lassen, genügen wenige Sekunden Aufnahme, um eine Stimme nachzubauen. Das ist für Barrierefreiheit nützlich und für Betrug gefährlich zugleich. Deshalb diskutieren Gesetzgeber, ob solche Ausgaben verpflichtend markiert werden müssen.