Echtzeit-Streaming
Auf dieser Seite
Kurs aktualisiert am 3. November 2026 für Voxtral TTS 3, basierend auf dem Leitfaden Migrate from Voxtral 2 und den Seiten von Mistral zu Text to Speech:
voxtral-mini-tts-2603, am 31. Oktober 2026 veraltet und am 30. April 2027 eingestellt, wird in Beispielen durchvoxtral-mini-tts-3-0ersetzt. Die vordefinierten Stimmen von Voxtral 2 (gb_jane_neutral…) bleiben unterstützt; Voxtral 3 fügt Tags[emotion=…]und[pace=…]im Text, die Einstellungexpressiveness, Aussprachehinweise (phoneme_hints) und 35 Sprachen hinzu. Mistral empfiehlt, die Latenz nach dem Umzug neu zu messen. Quellen: Migrate from Voxtral 2 · Speech generation.
Warum Streaming alles verändert
Bisher haben Sie im synchronen Modus gearbeitet: Sie senden den Text, warten, bis die Synthese vollständig abgeschlossen ist, und erhalten dann die gesamte Audiodatei. Für eine vorab erstellte Begrüßung, die bereits gestern erstellt wurde, spielt dieser Wartezeit keine Rolle. Für einen Sprachassistenten, der einem Kunden am Telefon antwortet, ist dies jedoch ein Ausschlusskriterium – zwei Sekunden Stille nach einer Frage lassen den Nutzer glauben, der Anruf sei unterbrochen worden.
Streaming eliminiert diese Wartezeit. Audio wird verschickt, während es erzeugt wird, Fragment für Fragment, sodass der Nutzer die ersten Worte hört, während das Modell noch das Ende des Satzes produziert. Die gesamte Generierungszeit ändert sich nicht; was zusammenbricht, ist die Verzögerung vor dem ersten Ton.
Das Ereignisprotokoll
Der Stream stützt sich auf Server-Sent Events. Jede empfangene Nachricht ist ein typisiertes Ereignis, und zwei Typen sind für Sie relevant:
speech.audio.delta: enthält ein Audiofragment im Base64-Format. Dies ist das Hauptereignis, das Sie verarbeiten werden.speech.audio.done: Endsignal – die Generierung ist abgeschlossen.
Auf der Code-Seite bedeutet der Wechsel zum Streaming das Hinzufügen von stream=True und das Verarbeiten der Antwort in einem with-Block. Im folgenden Beispiel werden Fragmente im Speicher angesammelt, um am Ende eine Datei zu schreiben: Dies ist noch kein echtes Echtzeit-Streaming, aber es ist die Schleifenstruktur, auf der der Rest dieser Lektion aufbaut.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
audio_chunks = []
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Streaming macht Sprachagenten reaktionsschnell und natürlich.",
voice_id="your-voice-id",
response_format="opus",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
chunk = base64.b64decode(event.data.audio_data)
audio_chunks.append(chunk)
print(f"Chunk empfangen: {len(chunk)} Bytes")
# Alle Fragmente zusammenfügen
audio_complet = b"".join(audio_chunks)
Path("streaming-output.opus").write_bytes(audio_complet)
print(f"Endgültiges Audio: {len(audio_complet)} Bytes")
Tonwiedergabe beim Eintreffen
Um die versprochene Reaktionsfähigkeit zu erreichen, stellen Sie das Anhäufen ein und schreiben Sie jedes Fragment direkt an die Soundkarte. Mit pyaudio ändert sich dies in einer Zeile: Statt das entschlüsselte Fragment einer Liste hinzuzufügen, senden Sie es an einen vorab geöffneten Ausgabestrom, der für Mono Float32 bei 24.000 Hz konfiguriert ist.
import base64
import pyaudio
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# PCM-Audio-Konfiguration (schnellstes Format)
p = pyaudio.PyAudio()
stream_audio = p.open(
format=pyaudio.paFloat32,
channels=1,
rate=24000,
output=True,
)
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Sie hören diesen Satz, während ich ihn generiere.",
voice_id="your-voice-id",
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
audio_data = base64.b64decode(event.data.audio_data)
stream_audio.write(audio_data)
stream_audio.stop_stream()
stream_audio.close()
p.terminate()
Das angeforderte Format wurde von opus zu pcm geändert, und das ist wichtig. PCM benötigt keine Decodierung: Die empfangenen Bytes sind sofort bereit zur Wiedergabe, weshalb es das empfohlene Format für Echtzeitanwendungen ist.
Weiterleitung des Streams an einen Browser
In einer Webanwendung spielt der Server keinen Ton ab; er leitet ihn weiter. Das klassische Muster verwendet einen WebSocket, der Text vom Browser empfängt, den Voxtral-Stream öffnet und jedes entschlüsselte Fragment an den Client zurückdrückt. Auf der Browserseite übernimmt die Web Audio API die Wiedergabe der empfangenen PCM-Fragmente.
# Server-Seite (FastAPI-Beispiel)
from fastapi import FastAPI, WebSocket
import base64
from mistralai.client import Mistral
app = FastAPI()
client = Mistral(api_key="your-api-key")
@app.websocket("/ws/tts")
async def tts_websocket(websocket: WebSocket):
await websocket.accept()
texte = await websocket.receive_text()
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input=texte,
voice_id="your-voice-id",
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
await websocket.send_bytes(
base64.b64decode(event.data.audio_data)
)
await websocket.close()
Die Einstellung, die den Unterschied macht: der Puffer
Fragmente variieren in der Größe und repräsentieren typischerweise einige Millisekunden Audio. Wenn Sie das erste Fragment sofort beim Eintreffen abspielen, führt jede Netzschwankung zu einem hörbaren Mikro-Ausfall – einem Haken in der Stimme, der die Maschine sofort verrät. Die Lösung besteht darin, zwei oder drei Fragmente zu puffern, bevor die Wiedergabe beginnt. Dies kostet einige Zehntel einer Sekunde, glättet aber den Rest des Streams.
Dann gibt es die Formatwahl, die Latenz gegen Bandbreite abwägt. PCM liefert den ersten Ton am schnellsten – rund 0,7 Sekunden in Messungen, die mit Voxtral 2 durchgeführt wurden, die mit Voxtral TTS 3 neu zu ermitteln sind – auf Kosten eines hohen Durchsatzes. Opus verliert etwas an Latenz, komprimiert aber stark, sodass es der richtige Kompromiss ist, wenn Ihre Nutzer auf Mobilgeräten sind.
Kernaussagen
- Streaming sendet Audio chunkweise während der Generierung
- Aktivieren Sie es mit
stream=Trueim Aufruf vonaudio.speech.complete() - Ereignisse
speech.audio.deltaenthalten Audiofragmente im Base64-Format - Das PCM-Format bietet die niedrigste Latenz für Streaming (~0,7 s vs. ~2 s für MP3)
- Für Echtzeit-Wiedergabe verwenden Sie
pyaudiooder WebSockets + Web Audio API