Diarization

Wenn mehrere Menschen in eine Aufnahme sprechen, entsteht eine einzige durchgehende Tonspur. Diarization ist das Verfahren, das diese Spur in Abschnitte zerlegt und jedem Abschnitt eine sprechende Person zuordnet. Das Ergebnis ist eine Liste mit Zeitangaben: von Sekunde 0 bis 12 spricht Person A, danach bis Sekunde 20 Person B. Wichtig ist, was Diarization nicht tut: Sie schreibt den Inhalt nicht auf und kennt auch die Namen der Personen nicht. Sie unterscheidet die Stimmen nur voneinander und nennt sie dann schlicht Sprecher 1 und Sprecher 2. Erst in Verbindung mit einer Spracherkennung, die gesprochene Wörter in Text umwandelt, wird daraus ein lesbares Gesprächsprotokoll.

Warum ein Protokoll ohne Sprecherzuordnung wenig wert ist

Ein automatisch erstelltes Transkript ohne Sprecherwechsel ist eine Textwüste. Man liest Sätze, weiß aber nicht, wer welche Aussage getroffen hat. Bei einer Diskussion mit fünf Personen ist so ein Text praktisch unbrauchbar. Genau diese Lücke schließt Diarization, und deshalb ist sie in fast jedem Protokollwerkzeug eingebaut.

In manchen Bereichen hängt sogar mehr davon ab als nur die Lesbarkeit. Bei einem ärztlichen Gespräch muss klar sein, ob eine Aussage vom Arzt oder vom Patienten stammt. In Gerichtsprotokollen oder bei Interviews im Journalismus gilt dasselbe. Eine falsche Zuordnung verdreht den Sinn, obwohl kein einziges Wort falsch geschrieben ist.

Dazu kommt der wirtschaftliche Aspekt. Firmen werten Telefonate mit Kunden aus, um Beschwerden zu finden oder Mitarbeiter zu schulen. Dafür muss man den Redeanteil des Beraters vom Redeanteil des Kunden trennen können. Ohne Diarization lässt sich so eine Auswertung nicht automatisieren.

Von der Stimmfarbe zum Sprecherwechsel

Der erste Schritt ist die Segmentierung. Das System sucht Stellen im Ton, an denen sich der Klang deutlich ändert, und schneidet dort. So entstehen kurze Stücke von wenigen Sekunden, die vermutlich jeweils nur eine Person enthalten. Stille und Hintergrundgeräusche werden dabei aussortiert.

Danach wird jedes Stück in eine Zahlenreihe umgerechnet, die die Eigenheiten der Stimme beschreibt. Solche Zahlenreihen heißen Embeddings. Man kann sie sich als Fingerabdruck einer Stimme vorstellen: Tonhöhe, Klangfarbe und Sprechweise werden zu einem Punkt in einem Koordinatensystem. Stücke derselben Person landen nah beieinander, Stücke verschiedener Personen weiter auseinander.

Im letzten Schritt gruppiert ein Algorithmus die Punkte zu Häufungen. Jede Häufung ist eine Person. Oft weiß das System vorher nicht, wie viele Personen überhaupt sprechen, und muss auch diese Zahl schätzen. Der schwierigste Fall ist das gleichzeitige Sprechen: Fallen zwei Personen einander ins Wort, überlagern sich die Stimmfingerabdrücke und die Zuordnung wird unzuverlässig. Auch sehr kurze Einwürfe wie ein zustimmendes Ja gehen häufig unter.

Diarization in Meeting-Tools und Untertiteln

Am häufigsten begegnet man dem Verfahren in Videokonferenz-Programmen. Wenn Teams, Zoom oder Google Meet nach einer Besprechung eine Zusammenfassung mit Namen liefern, steckt Diarization dahinter. Dort ist die Aufgabe vergleichsweise leicht, weil jede Person ein eigenes Mikrofon hat. Das Programm kennt die angemeldeten Konten und kann deshalb echte Namen statt Sprecher 1 anzeigen.

Deutlich anspruchsvoller wird es bei einer einzigen Aufnahme aus dem Raum, etwa bei einem Podcast oder einem Interview mit einem Handy. Anbieter von Transkriptionsdiensten werben hier ausdrücklich mit Sprechertrennung als Zusatzfunktion. Auch Untertitel für Fernsehsendungen nutzen sie, um Dialoge verschiedenen Personen zuzuordnen.

In Meldungen zu KI taucht der Begriff meist gemeinsam mit Spracherkennungsmodellen wie Whisper auf. Solche Modelle liefern von sich aus nur den Text und werden dann mit einem separaten Diarization-Baustein kombiniert. Ein verbreiteter Irrtum ist deshalb, Spracherkennung und Diarization für dasselbe zu halten. Es sind zwei getrennte Aufgaben, die erst zusammengesetzt ein vollständiges Gesprächsprotokoll ergeben.