Nächste Schritte: Jenseits der Transkription
Auf dieser Seite
Kurs aktualisiert am 3. November 2026 für Voxtral 3, basierend auf Mistral’s Migrate from Voxtral 2-Guide: Die Voxtral 2-Modelle (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603), die am 31. Oktober 2026 deprecated wurden und am 30. April 2027 zurückgezogen werden, werden in den Beispielen durchvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3undvoxtral-mini-tts-3-0ersetzt. Wesentliche Änderungen: Zeitstempel sind segmentbasiert (nur auf Wortebene wird ein 400-Fehler zurückgegeben), Echtzeit-Diarisierung wird unterstützt, Echtzeit-Sitzungseinstellungen werden nach dem ersten Audio-Chunk gesperrt, undcontext_bias-Eingaben sind frei formatiert (Phrasen mit Leerzeichen). Quellen: Migrate from Voxtral 2 · Speech to Text.
Was Sie gelernt haben
Sie haben die Reise durch beide Voxtral-Transkriptionsmodi abgeschlossen. Im Offline-Modus transkribieren Sie Audio-Dateien mit Diarisierung, Zeitstempeln und Kontext-Biasing unter Verwendung von Voxtral Mini Transcribe 3. Im Echtzeit-Modus transkribieren Sie kontinuierliche Streams mit konfigurierbarer Latenz über Voxtral Realtime, erfassen Mikrofoneingaben und nutzen das Dual-Delay-Muster. Für jede Fähigkeit verfügen Sie nun über vollständigen Python-Code und das nötige Gespür, um in die Produktion zu übergehen.
Die Transkription ist jedoch nur die halbe Geschichte. Das Audio-Ökosystem von Mistral AI behandelt auch den umgekehrten Pfad, und die Kombination beider Richtungen ermöglicht erst wirklich konversationelle Anwendungen.
Voxtral TTS: Text zur Stimme geben
Voxtral TTS ist das genaue Gegenstück zur Transkription: Es wandelt Text in natürliche Sprache um. Es unterstützt Zero-Shot-Voice-Cloning, was bedeutet, dass es eine Stimme aus nur zwei bis drei Sekunden Audio reproduzieren kann, ohne vorheriges Training. Es stützt sich zudem auf das Prinzip der Stimme als Anweisung: Das Modell folgt der Intonation, dem Rhythmus und der Emotion des von Ihnen bereitgestellten Sprachimpulses, sodass Sie keine Prosodie-Tags in den Text einfügen müssen – Sie zeigen den gewünschten Ton anstatt ihn zu beschreiben. Die Sprachabdeckung umfasst Englisch, Französisch, Spanisch, Portugiesisch, Italienisch, Niederländisch, Deutsch, Hindi und Arabisch. Es funktioniert auch im Streaming-Modus, mit einer Modelllatenz von etwa 90 Millisekunden und einer Time-to-First-Audio von rund 0,8 Sekunden in PCM, was es für den Live-Dialog geeignet macht.
In der Praxis gibt Voxtral TTS Ihren Anwendungen eine Stimme: virtuelle Assistenten, automatisierte Erzählungen, Barrierefreiheits-Tools und Synchronisation.
Der vollständige Pipeline: STT, LLM, TTS
Zusammengefügt bilden diese drei Komponenten einen geschlossenen Kreislauf. Benutzer-Audio wird zu Text, der Text wird von einem Sprachmodell verstanden und verarbeitet, und die Antwort wird wieder zu Audio.
Benutzer-Audio → Voxtral STT → Text
↓
Mistral LLM (Reasoning)
↓
Text-Antwort → Voxtral TTS → Audio-Antwort
Der folgende Code implementiert diesen Pipeline. Die ersten beiden Schritte sind vertraut: Streaming-Transkription mit 300 Millisekunden Verzögerung, um die Frage zu erfassen, und Aufruf des LLM mit einem System-Prompt, der einen gesprochenen Register erzwingt. Der dritte Schritt bleibt kommentiert, da die Synthese-API in einem separaten Kurs behandelt wird; das Aufrufmuster ist hier enthalten, um zu zeigen, wo es passt.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async def pipeline_vocal_complet(source_audio_utilisateur):
"""Vollständiger Pipeline: hören, verstehen, antworten."""
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Schritt 1: Transkribiere die Sprach des Benutzers (STT)
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
question_parts = []
print("Hören...", flush=True)
async for event in client.audio.realtime.transcribe_stream(
audio_stream=source_audio_utilisateur,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=300,
):
if isinstance(event, TranscriptionStreamTextDelta):
question_parts.append(event.text)
elif isinstance(event, TranscriptionStreamDone):
break
question = "".join(question_parts).strip()
print(f"Frage: {question}")
# Schritt 2: Generiere eine intelligente Antwort (LLM)
reponse_llm = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Sie sind ein Sprachassistent. "
"Antworten Sie knapp und natürlich, "
"wie in einem gesprochenen Gespräch."
},
{"role": "user", "content": question}
]
)
reponse_texte = reponse_llm.choices[0].message.content
print(f"Antwort: {reponse_texte}")
# Schritt 3: Synthesiere die Antwort in Audio (TTS)
# Hinweis: Die TTS-API wird in einem dedizierten Kurs behandelt
# Hier ist das Aufrufmuster:
#
# audio_response = client.audio.speech.complete(
# model="voxtral-mini-tts-3-0",
# input=reponse_texte,
# voice_id="gb_jane_neutral",
# response_format="wav",
# )
# Audio wird base64-kodiert in audio_response.audio_data geliefert
#
# Wiedergabe von Audio über einen Player (PyAudio, sounddevice, etc.)
return {
"question": question,
"reponse": reponse_texte
}
Was diese Pipeline ermöglicht
Der unternehmensweite Sprachassistent ist die unmittelbarste Anwendung: Er versteht Fragen von Mitarbeitern und antwortet unter Verwendung der internen Wissensdatenbank. Die Echtzeit-Transkription erfasst die Frage, das LLM abfragt eine Vektordatenbank über RAG, und TTS spricht die Antwort laut.
Der Call-Center-Agent geht die Logik weiter, indem er beide Transkriptionsmodi gleichzeitig nutzt. Während des Anrufs transkribiert Voxtral Realtime das Gespräch live; Mistral LLM analysiert die Kundenabsicht; Voxtral TTS formuliert die sprachliche Antwort. Sobald der Anruf endet, erzeugt eine Offline-Pass mit Diarisierung eine strukturierte Zusammenfassung, die zeigt, wer was gesagt hat – genau das, was Echtzeit nicht bieten kann.
Das Sprachübersetzungstool verknüpft drei Modelle auf einem einzigen Stream: Voxtral STT transkribiert die Quellensprache unter seinen 50 Sprachen, Mistral LLM übersetzt, und Voxtral TTS rendert die Ausgabe in einer seiner 9 Zielsprachen. Schließlich verwandelt die automatisierte Erzählung Artikel, Berichte oder E-Mails in Audio für das mobile Zuhören, wobei das LLM den Text für die mündliche Wiedergabe anpasst, bevor die Synthese erfolgt.
Eine vollständig souveräne Sprach-Pipeline
Der entscheidende Vorteil dieses Ökosystems ist die Fähigkeit, alles auf Ihrer eigenen Infrastruktur zu hosten. Voxtral Realtime wird als offene Gewichte unter der Apache 2.0-Lizenz veröffentlicht und kann auf Ihren eigenen Servern bereitgestellt werden. Mistral Large 3 ist über europäische Cloud-Partner oder On-Premise zugänglich. Voxtral TTS unterstützt ebenfalls private Bereitstellungen. Mit anderen Worten, die gesamte Kette – hören, verstehen, antworten – kann ohne Datenabfluss von Ihrer Infrastruktur betrieben werden. Für Gesundheitswesen, Verteidigung, Finanzen oder öffentliche Verwaltung ist dies nicht nur eine Bequemlichkeit; es bestimmt, ob das Projekt überhaupt machbar ist.
Wohin geht es weiter
Die offizielle Dokumentation von Mistral widmet Seiten dem Audio und bleibt der Referenz für das Verfolgen von Modell- und API-Updates. Der Hugging Face Hub hostet Voxtral-Modelle als offene Gewichte, zusammen mit Dokumentation und Beispielen. Das Mistral Forum sammelt Feldberichte, die oft näher an Ihren realen Einschränkungen liegen als offizielle Demos, und andere Corsen Academy-Kurse decken den Rest des Mistral AI-Ökosystems ab.
Kurs-Zusammenfassung
Sie kennen nun die Voxtral-Modelle und ihre jeweiligen Rollen: Mini Transcribe V2 für Offline, Realtime für Streaming und Small für Audio-Chat. Sie haben die Offline-Transkription in allen ihren Dimensionen gemeistert – API-Aufrufe, Zeitstempel, Diarisierung, Kontext-Biasing – sowie die Echtzeit-Transkription mit ihrem Streaming, der Mikrofon-Erfassung über PyAudio, der Latenzkontrolle und dem Dual-Delay-Muster. Sie haben vollständige Anwendungsfälle erstellt, von Untertiteln und Meeting-Minuten bis hin zu Diktat, Sprachassistenten und Konferenzen, und Sie wissen, wie Sie all dies in der Produktion betreiben können. Es fehlt nur noch die Rückstimme, um den Gesprächskreislauf zu schließen.
Wichtige Erkenntnisse
- Voxtral TTS schließt den Kreislauf: STT (Transkription) dann LLM (Reasoning) dann TTS (Synthese)
- Die vollständige Sprach-Pipeline ermöglicht Sprachassistenten, Call-Center-Agenten und Übersetzer
- Souveräne Bereitstellung ist dank offener Gewichte-Modelle (Apache 2.0) möglich
- Transkription ist der grundlegende Baustein für Sprachanwendungen
- Setzen Sie Ihr Lernen mit Kursen fort, die sich TTS und erweiterten Sprach-Pipelines widmen
Wissen testen
Offline, Echtzeit, Produktion: Transkription aus jeder Perspektive.
1. Offline oder Echtzeit: Wie wählt man?
Antwort: Offline für existierende Dateien (aufgezeichnete Meetings, Archive), wo maximale Genauigkeit zählt; Echtzeit für Live-Szenarien (Untertitelung, Sprachassistenten), wo Latenz kritisch ist.
2. Was bieten Zeitstempel und Diarisierung?
Antwort: Zeitstempel lokalisieren jedes Segment in der Zeit (Untertitel, Navigation); Diarisierung identifiziert, wer spricht – zusammen verwandeln sie Audio in eine handlungsorientierte Zusammenfassung.
3. Wozu dient das Kontext-Biasing?
Antwort: Um das Modell auf erwartetes Vokabular (Eigennamen, Fachbegriffe) hinzuweisen, um die Genauigkeit zu verbessern, wo die generische Transkription versagt.
4. Was sind die Zutaten für Echtzeit in Python?
Antwort: Mikrofon-Erfassung (PyAudio), Streaming zur API und Verwaltung des Latenz/Genauigkeit-Kompromisses – Latenzparameter werden basierend auf dem Anwendungsfall abgestimmt.
5. Was überwachen Sie für die Produktion?
Antwort: Eingabe-Audioqualität, Kosten pro transkribierter Stunde, End-to-End-Latenz und Fehler bei kritischem Vokabular – mit Biasing und Tests als Hebel.
Die Offline-/Echtzeit-Wahl strukturiert alles andere – der Kurs-Leitfaden gibt Ihnen den Rahmen, Ihre Anwendungsfälle treiben die Entscheidung voran.