Speaker Diarization

Bei einer Aufnahme mit mehreren Menschen gibt es zwei verschiedene Fragen. Die erste lautet: Welche Worte wurden gesagt? Die zweite lautet: Wer hat sie gesagt? Speaker Diarization beantwortet nur die zweite Frage. Ein Programm zerlegt die Tonspur dazu in kurze Abschnitte und gruppiert sie nach Stimmen. Das Ergebnis ist eine Liste von Zeitspannen mit Etiketten wie « Sprecher A » und « Sprecher B ». Die echten Namen kennt das System nicht – es unterscheidet nur, dass hier zwei verschiedene Personen reden.

Warum ein Protokoll ohne Sprecherzuordnung wenig wert ist

Moderne Spracherkennung liefert erstaunlich gute Texte. Ohne Sprecherzuordnung ergibt sich daraus aber nur eine Textwand. Bei einem Interview weiß man dann nicht, welche Aussage von der Journalistin und welche vom Gast kommt. Genau diese Information ist oft die wichtigste am ganzen Gespräch.

Besonders deutlich wird das in Berufen, in denen Protokolle rechtlich zählen. In Arztgesprächen, Gerichtsverhandlungen oder Kundenanrufen muss klar sein, wer eine Zusage gemacht hat. Auch Firmen, die Verkaufsgespräche auswerten, brauchen die Trennung: Sie wollen wissen, wie viel Redezeit der Kunde hatte. Eine Kennzahl wie « Gesprächsanteil des Beraters » lässt sich ohne Diarization gar nicht berechnen.

Ein zweiter Grund ist die Datenaufbereitung für KI-Systeme. Wer ein Sprachmodell mit Tausenden Stunden Podcasts trainiert, braucht saubere, einzelne Stimmen. Diarization ist dafür ein Vorbereitungsschritt, der im Hintergrund läuft. Fehler an dieser Stelle wandern in alle späteren Ergebnisse.

Von Stimmabdrücken zu Gruppen

Der erste Schritt ist die Sprachaktivitätserkennung. Sie markiert, an welchen Stellen überhaupt geredet wird, und schneidet Stille, Musik und Geräusche weg. Danach wird das Gesagte in kurze Stücke von wenigen Sekunden zerlegt. Für jedes Stück berechnet ein neuronales Netz – ein trainiertes Rechenmodell – eine Art Zahlenreihe, die den Klang der Stimme beschreibt.

Diese Zahlenreihe nennt man Embedding, man kann sie als Stimmabdruck verstehen. Zwei Abschnitte derselben Person ergeben ähnliche Zahlenreihen, zwei verschiedene Personen deutlich unterschiedliche. Im letzten Schritt sortiert das Programm alle Abschnitte nach Ähnlichkeit in Gruppen. Jede Gruppe ist dann ein Sprecher. Ob es zwei oder sieben Gruppen gibt, muss das System oft selbst schätzen.

Der schwierigste Fall ist überlappende Sprache. Wenn zwei Menschen sich ins Wort fallen, gehört ein Abschnitt zu zwei Gruppen gleichzeitig. Ältere Verfahren scheiterten daran regelmäßig. Neuere Systeme werden von Anfang an darauf trainiert, mehrere Stimmen parallel zu erkennen. Auch ähnliche Stimmen, etwa zwei Brüder, bleiben eine typische Fehlerquelle. Gemessen wird die Qualität mit der Diarization Error Rate, also dem Anteil der Zeit, der falsch zugeordnet wurde.

Diarization in Meeting-Tools und Podcast-Apps

Am häufigsten begegnet man dem Verfahren in Videokonferenz- und Notiz-Werkzeugen. Programme wie Teams, Zoom oder Otter schreiben Besprechungen mit und stellen jedem Satz einen Namen voran. Bei einer Videokonferenz ist die Aufgabe leichter, weil jeder Teilnehmer ein eigenes Mikrofon hat. Schwieriger ist ein Raum mit fünf Personen an einem einzigen Konferenzmikrofon.

In der Praxis stolpern viele Nutzer über eine Verwechslung. Speaker Diarization trennt Stimmen, erkennt aber keine Identitäten. Wenn eine App wirklich « Anna » schreibt, kommt der Name aus dem Konferenzkonto oder aus einer vorher gespeicherten Stimmprobe. Letzteres heißt Sprechererkennung und ist eine eigene, datenschutzrechtlich heikle Technik.

In Nachrichten über KI taucht der Begriff meist bei Firmen für Sprachtechnologie auf, etwa AssemblyAI, Deepgram oder Speechmatics. Sie verkaufen Transkription als Dienst, und die Sprecherzuordnung ist dabei ein zentrales Verkaufsargument. Auch Podcast-Plattformen nutzen sie, um durchsuchbare Kapitel zu erzeugen. Wer selbst experimentieren will, findet in der freien Software-Bibliothek pyannote ein verbreitetes Werkzeug.