Diarisierung: Identifizierung der Sprechenden
Auf dieser Seite
Kurs aktualisiert am 3. November 2026 für Voxtral 3, basierend auf dem Mistral-Leitfaden Migrate from Voxtral 2: Die Voxtral 2-Modelle (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603), die am 31. Oktober 2026 veraltet und am 30. April 2027 zurückgezogen wurden, werden in den Beispielen durchvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3undvoxtral-mini-tts-3-0ersetzt. Wesentliche Änderungen: Zeitstempel sind segmentbasiert (die Rückgabe einesword-Felds führt zu einem 400-Fehler), Diarisierung ist in Echtzeit verfügbar, Echtzeit-Sitzungseinstellungen werden nach dem ersten Audio-Chunk gesperrt, undcontext_bias-Eingaben sind frei formatiert (Phrasen mit Leerzeichen). Quellen: Migrate from Voxtral 2 · Speech to Text. Ergänzung basierend auf dem Leitfaden Diarize speakers: Labels beginnen beispeaker_1(nichtspeaker_0), das Feld heißtspeaker_id, Referenzclips (speaker_references) ermöglichen das Benennen bekannter Sprecher, und die Diarisierung funktioniert in Echtzeit, im Gegensatz zu der Aussage der vorherigen Version. Quellen: Diarize speakers · Speakers and diarization.
Was ist Diarisierung
Diarisierung (Sprecherdiarisierung) ist die Fähigkeit, verschiedene Sprecher in einer Audioaufnahme zu identifizieren und zu trennen. Das Modell weist jeder einzelnen Stimme automatisch eine Kennung zu und segmentiert die Transkription entsprechend.
Der Mehrwert ist erheblich. Eine Transkription eines Fünf-Personen-Treffens ohne Diarisierung erzeugt einen Textblock, in dem niemand weiß, wer welche Verpflichtung übernommen hat; dasselbe Treffen, diarisert, wird zu einem zuordenbaren Protokoll. Aus diesem Grund ist diese Funktion für jede Aufnahme mit mehreren Sprechern unerlässlich: Besprechungen, Interviews, Telefonate, Debatten und Podiumsdiskussionen.
Diarisierung aktivieren
Ein einzelner Parameter genügt: diarize=True.
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
with open("reunion_equipe.mp3", "rb") as f:
response = client.audio.transcriptions.complete(
model="voxtral-mini-transcribe-3",
file={"content": f, "file_name": "reunion_equipe.mp3"},
diarize=True,
timestamp_granularities=["segment"]
)
Diarisierung funktioniert Hand in Hand mit Zeitstempeln auf Segmentebene: Das Segment trägt die Information. Jedes zurückgegebene Segment enthält nun ein speaker_id-Feld, das den Sprecher identifiziert; ohne Zeitstempel auf Segmentebene schlägt die Anfrage fehl.
Nutzung der Ergebnisse
Die einfachste Darstellung durchläuft die Segmente und setzt jedem Äußerungstext den Autor und den Zeitstempel als Präfix.
for seg in response.segments:
temps = f"{seg.start:.1f}s"
print(f"[{temps}] {seg.speaker_id} : {seg.text}")
Die Ausgabe sieht wie folgt aus:
[0.0s] speaker_1 : Bonjour à tous, on commence la réunion hebdomadaire.
[3.2s] speaker_1 : Julien, tu veux commencer avec le point technique ?
[5.8s] speaker_2 : Oui, alors cette semaine on a finalisé la migration.
[12.4s] speaker_2 : Tout est déployé en production depuis mercredi.
[15.1s] speaker_3 : Super, et côté performances, on a vu une amélioration ?
[18.3s] speaker_2 : Oui, le temps de réponse a baissé de trente pour cent.
Sprecher werden als speaker_1, speaker_2 usw. identifiziert. Diese Labels sind nur innerhalb einer einzelnen Transkription gültig: speaker_1 in einer Datei und speaker_1 in der nächsten sind nicht notwendigerweise dieselbe Person. Ohne Referenzen weiß das Modell keine Namen; Sie müssen diese Kennungen zu echten Personen zuordnen, beispielsweise nach dem Anhören der ersten paar Sekunden, unter Verwendung eines einfachen Wörterbuchs.
# Zuordnung von Kennungen zu echten Namen
noms_locuteurs = {
"speaker_1": "Marie (Manager)",
"speaker_2": "Julien (Tech Lead)",
"speaker_3": "Sarah (Product)",
}
for seg in response.segments:
nom = noms_locuteurs.get(seg.speaker_id, seg.speaker_id)
minutes = int(seg.start // 60)
secondes = int(seg.start % 60)
print(f"[{minutes:02d}:{secondes:02d}] {nom}")
print(f" {seg.text}\n")
Sobald die Zuordnung vorgenommen ist, werden Segmentdauern zu Metriken. Das Addieren von seg.end - seg.start pro Sprecher ergibt die Sprechzeit jeder Person – eine Kennzahl, auf die Moderatoren von Besprechungen und Qualitätsmanager von Call-Centern angewiesen sind.
from collections import defaultdict
temps_parole = defaultdict(float)
for seg in response.segments:
duree = seg.end - seg.start
temps_parole[seg.speaker_id] += duree
print("=== Temps de parole ===")
total = sum(temps_parole.values())
for locuteur, duree in sorted(temps_parole.items()):
nom = noms_locuteurs.get(locuteur, locuteur)
pourcentage = (duree / total) * 100
minutes = int(duree // 60)
secondes = int(duree % 60)
print(f"{nom} : {minutes}m{secondes:02d}s ({pourcentage:.1f}%)")
=== Temps de parole ===
Marie (Manager) : 8m23s (28.4%)
Julien (Tech Lead) : 12m45s (43.2%)
Sarah (Product) : 8m22s (28.4%)
Generierung eines strukturierten Berichts
Diarisierung in Kombination mit Segmenten ermöglicht die Erstellung eines direkt lesbaren Berichts. Der Knackpunkt im folgenden Skript besteht aus einer einzigen Zeile: Es wird ein neuer Header nur dann geschrieben, wenn sich der Sprecher ändert, wodurch aufeinanderfolgende Äußerungen derselben Person gruppiert werden, anstatt sie zu fragmentieren.
def generer_compte_rendu(segments, noms):
"""Generate a Markdown report from diarized segments."""
lignes = ["# Compte-rendu de réunion\n"]
locuteur_actuel = None
for seg in segments:
nom = noms.get(seg.speaker_id, seg.speaker_id)
if seg.speaker_id != locuteur_actuel:
locuteur_actuel = seg.speaker_id
minutes = int(seg.start // 60)
secondes = int(seg.start % 60)
lignes.append(f"\n**{nom}** ({minutes:02d}:{secondes:02d}) :")
lignes.append(f" {seg.text}")
return "\n".join(lignes)
compte_rendu = generer_compte_rendu(response.segments, noms_locuteurs)
with open("compte_rendu.md", "w", encoding="utf-8") as f:
f.write(compte_rendu)
print("Compte-rendu généré")
Vollständige Analyse durchführen
Hier ist das Skript, das alles zusammenführt: diariserte Transkription, statistische Daten pro Sprecher und JSON-Ausgabe, bereit zur Weitergabe an ein Dashboard oder eine Zusammenfassungs-LLM.
import os
import json
from collections import defaultdict
from mistralai.client import Mistral
def analyser_reunion(chemin_audio: str, noms: dict = None):
"""Transcribe and analyze a full meeting."""
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Transcribe with diarization
with open(chemin_audio, "rb") as f:
response = client.audio.transcriptions.complete(
model="voxtral-mini-transcribe-3",
file={"content": f, "file_name": chemin_audio},
diarize=True,
timestamp_granularities=["segment"]
)
noms = noms or {}
# Statistics
stats = defaultdict(lambda: {"duree": 0.0, "segments": 0, "mots": 0})
for seg in response.segments:
stats[seg.speaker_id]["duree"] += seg.end - seg.start
stats[seg.speaker_id]["segments"] += 1
stats[seg.speaker_id]["mots"] += len(seg.text.split())
# Result
resultat = {
"transcription": response.text,
"nb_locuteurs": len(stats),
"duree_totale": max(s.end for s in response.segments),
"statistiques": {
noms.get(loc, loc): {
"duree_secondes": round(data["duree"], 1),
"nb_segments": data["segments"],
"nb_mots": data["mots"]
}
for loc, data in stats.items()
}
}
return resultat
# Usage
resultat = analyser_reunion("reunion.mp3", {
"speaker_1": "Marie",
"speaker_2": "Julien",
"speaker_3": "Sarah"
})
print(json.dumps(resultat["statistiques"], indent=2, ensure_ascii=False))
Was Diarisierung nicht tut
Halten Sie einige Grenzen im Sinn, bevor Sie einem Kunden ein Ergebnis versprechen. Ohne Referenzclips unterscheidet das Modell Stimmen, keine Personen, und die Zuordnung bleibt Ihre Verantwortung. Es erkennt jedoch automatisch die Anzahl der Sprecher; Sie müssen diese nicht angeben. Zwei ähnliche Stimmen können verwechselt werden, was eine Überprüfung kritischer Passagen rechtfertigt. Gleichzeitiges Sprechen zweier Sprecher wird in der aktuellen Version von Mistral nicht unterstützt. Schließlich ist Diarisierung auch in Echtzeit verfügbar mit voxtral-mini-transcribe-realtime-3 (diarize in session.update, Labels, die von transcription.segment-Ereignissen getragen werden), aber eine einzelne Sitzung kann Diarisierung und Erkennung von Sprechwechseln nicht kombinieren.
Benennung von Sprechern mit Referenzclips
Wenn Sie im Voraus wissen, wer spricht – beispielsweise der Agent und der Kunde in einem Support-Anruf – können Sie für jede Stimme einen kurzen Clip unter einem Namen senden: Segmente dieser Stimme tragen dann diesen Namen in speaker_id, und derselbe Name verweist auf dieselbe Person über mehrere Transkriptionen hinweg.
import base64
def en_base64(chemin):
with open(chemin, "rb") as f:
return base64.b64encode(f.read()).decode()
with open("appel_support.wav", "rb") as f:
response = client.audio.transcriptions.complete(
model="voxtral-mini-transcribe-3",
file={"content": f, "file_name": "appel_support.wav"},
diarize=True,
timestamp_granularities=["segment"],
speaker_references={
"conseiller": en_base64("ref_conseiller.wav"),
"client": en_base64("ref_client.wav"),
},
)
Laut der Dokumentation von Mistral sollte jeder Clip zwischen 3 und 15 Sekunden lang sein und mindestens 85 % Sprache enthalten; Sie können bis zu 8 Clips bereitstellen, und die Gesamtzahl der Sprecher, die referenziert oder erkannt werden, darf 10 nicht überschreiten. WAV, Opus, MP3 und FLAC werden akzeptiert, wobei verlustfreie Formate die besten Ergebnisse liefern; je näher die Aufnahmebedingungen des Clips denen des Audios entsprechen, desto besser ist die Übereinstimmung. Ein Sprecher ohne Referenz behält ein generisches Label. Referenzen erfordern diarize=True, funktionieren auch in Echtzeit (speaker_references in session.update) und ein Modell, das sie nicht akzeptiert, gibt einen Fehler zurück.
Kernaussagen
- Aktivieren Sie Diarisierung mit
diarize=True– ein einzelner Parameter timestamp_granularities=["segment"]ist mit Diarisierung erforderlich- Jedes Segment enthält ein
speaker_id-Feld (speaker_1,speaker_2usw.) - Ordnen Sie Kennungen echten Namen zu, oder benennen Sie bekannte Stimmen mit
speaker_references - Nutzen Sie Statistiken: Sprechzeit, Anzahl der Äußerungen, Wortanzahl
- Diarisierung funktioniert offline und in Echtzeit, aber nicht mit der Erkennung von Sprechwechseln in derselben Sitzung