Optimierung der Latenz
Auf dieser Seite
Kurs aktualisiert am 3. November 2026 für Voxtral TTS 3, basierend auf dem Leitfaden Migrate from Voxtral 2 und den Seiten von Mistral zu Text to Speech:
voxtral-mini-tts-2603, am 31. Oktober 2026 abgelehnt und am 30. April 2027 eingestellt, wird in Beispielen durchvoxtral-mini-tts-3-0ersetzt. Die vordefinierten Stimmen von Voxtral 2 (gb_jane_neutral…) bleiben unterstützt; Voxtral 3 fügt Tags[emotion=…]und[pace=…]im Text, die Einstellungexpressiveness, Aussprachehinweise (phoneme_hints) und 35 Sprachen hinzu. Mistral empfiehlt, die Latenz nach der Migration erneut zu messen. Quellen: Migrate from Voxtral 2 · Speech generation.
Latenz: Der Feind natürlicher Gespräche
In menschlichen Gesprächen schwankt die durchschnittliche Reaktionszeit bei etwa 200 Millisekunden. Ab 500 ms nimmt der Gesprächspartner eine Verzögerung wahr; ab einer Sekunde nimmt er an, Sie hätten ihn nicht gehört, und wiederholt seine Frage. Damit sich eine Sprachassistentin oder ein Sprachassistent natürlich anfühlt, muss die Zeit zwischen dem Ende der Frage und dem Beginn der Antwort unter einer Sekunde bleiben.
Voxtral wirbt mit einer Modelllatenz von etwa 90 ms, und hier liegt der Fehler vieler Teams: Diese Zahl beschreibt nur ein Glied in einer viel längeren Kette. Was der Nutzer erlebt, ist die Summe aller Glieder. Optimierung erfordert daher, dass Sie die Kosten jeder Komponente kennen.
Anatomie der Gesamtlatenz
Die Reise beginnt mit dem ausgehenden Netzwerk: die Zeit, die benötigt wird, um Ihre Anfrage zu den Servern von Mistral zu routen. Dies hängt von Ihrem Standort und der Verbindungsqualität ab; von Europa aus sind 20 bis 80 ms zu erwarten. Als Nächstes folgt die Modelllatenz, jene berühmten 90 ms der Verarbeitung vor dem ersten Audiofragment – der einzige Teil, über den Sie keine Kontrolle haben, da er zur Infrastruktur von Mistral gehört.
Der nächste Schritt ist die Kodierung, und hier lauern die unangenehmsten Überraschungen. PCM kostet nichts oder fast nichts, da nichts kodiert werden muss. Opus fügt 5 bis 10 ms hinzu, was als vernachlässigbar gilt. MP3 hingegen fordert 200 bis 500 ms: Der Codec muss genügend Daten akkumulieren, bevor er den ersten Frame erzeugt. Mit anderen Worten: Ein Entwickler, der aus Gewohnheit response_format="mp3" weglässt, fügt mehr Verzögerung hinzu als das gesamte Modell.
Schließlich wiegt das Rückwärtsnetzwerk im Streaming kaum, da die Fragmente klein sind. Was übrig bleibt, ist der Client-Puffer: Ihre Anwendung sammelt in der Regel zwei oder drei Fragmente, bevor sie die Wiedergabe startet, um Mikro-Aussetzer zu vermeiden. Addieren Sie 50 bis 150 ms – eine bewusste Kostenstelle, die für Flüssigkeit sorgt.
Streaming vs. Batch: Die Zahlen
| Metrik | Batch (kein Streaming) | Streaming PCM | Streaming MP3 |
|---|---|---|---|
| Erster Ton | 1-3 Sekunden | ~0,7 Sekunden | ~2 Sekunden |
| Wahrnehmbare Latenz | Hoch | Sehr niedrig | Mittel |
| Bandbreite | Einzelner Anstieg | Verteilt | Verteilt |
Diese Größenordnungen wurden mit Voxtral 2 aufgezeichnet. Mistral gibt für Voxtral TTS 3 auf der Modellseite etwa 90 ms vor dem ersten Ton an und empfiehlt, die Latenz nach der Migration von Ihrer Anwendung aus erneut zu messen: Wiederholen Sie diese Messungen mit Ihrem Netzwerk und Ihrem Format.
Der Wechsel von Batch zu PCM-Streaming reduziert die wahrnehmbare Latenz um den Faktor drei bis vier. Keine andere Optimierung in dieser Lektion wird einen vergleichbaren Effekt haben: Dies ist die erste Sache, die geändert werden muss, noch bevor gemessen wird.
Drei Hebel auf Serverseite
Der erste Hebel ist das Format. Für jede konversationelle Anwendung ist das Streaming von PCM die Referenzeinstellung, und der Wechsel erfolgt ohne Neuschreiben Ihrer Logik.
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input=text,
voice_id=voice_id,
response_format="pcm", # Minimale Latenz
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
play_audio(base64.b64decode(event.data.audio_data))
Der zweite Hebel liegt in der Wahl zwischen einer gespeicherten Stimme und einer on-the-fly-Klonierung. Eine voice_id bezeichnet eine Stimme, die bereits serverseitig verarbeitet wurde, wohingegen ref_audio die Neuverarbeitung der Probe bei jeder Anfrage erzwingt. Für einen Agenten, der eine Stunde lang hundertmal mit derselben Stimme antwortet, spart dieser Detailunterschied 50 bis 100 ms pro Sprachumgang.
Der dritte Hebel besteht darin, zu kürzen, was Sie anfordern. Je kürzer der Text, desto schneller kommt das erste Fragment an: Die Generierung einer Antwort mit fünf Sätzen in einem Block bedeutet, dass der Nutzer warten muss, bis Inhalte eintreffen, die er weitere fünfzehn Sekunden lang nicht hören wird. Der folgende Generator teilt die Antwort nach Sätzen auf und erzeugt Audio für den ersten Satz, während die anderen warten.
def generate_by_sentence(full_text, voice_id):
"""Generiert Audio Satz für Satz, um die Latenz zu minimieren."""
sentences = full_text.split(". ")
for sentence in sentences:
sentence = sentence.strip()
if not sentence:
continue
if not sentence.endswith("."):
sentence += "."
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input=sentence,
voice_id=voice_id,
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
yield base64.b64decode(event.data.audio_data)
Zwei Hebel auf Clientseite
Ein fester Puffer ist immer ein schlecht platzieter Kompromiss: Zu klein, und Mikro-Aussetzer rutschen bei einer belasteten Verbindung durch; zu groß, und er fügt bei einer guten Verbindung unnötige Verzögerungen hinzu. Die Klasse unten startet die Wiedergabe, sobald zwei Fragmente verfügbar sind, und lässt nachfolgende Fragmente durch, sobald sie eintreffen, ohne jemals über fünf hinaus zu akkumulieren.
class AdaptiveBuffer:
def __init__(self):
self.buffer = []
self.min_threshold = 2 # Minimale Blöcke vor Wiedergabe
self.max_threshold = 5 # Nicht mehr akkumulieren
self.playback_started = False
def add_chunk(self, chunk):
self.buffer.append(chunk)
if not self.playback_started:
if len(self.buffer) >= self.min_threshold:
self.playback_started = True
return self.empty_buffer()
else:
return chunk
return None
def empty_buffer(self):
data = b"".join(self.buffer)
self.buffer = []
return data
Der zweite Hebel kostet nur wenige Zeilen: Senden Sie beim Start Ihrer Anwendung eine Testanfrage. Dies stellt die TCP-Verbindung und den TLS-Handshake einmal und für alle her, und HTTP Keep-Alive lässt alle nachfolgenden Anfragen von dieser Grundlage profitieren. Ohne diesen Warm-up zahlt Ihr erster Nutzer des Tages den Preis.
Messen vor Optimieren
Alle diese Schätzungen müssen gegen Ihre tatsächliche Einrichtung validiert werden. Das Minimum an Messungen besteht darin, die Verzögerung bis zum Empfang des ersten Fragments zu timen und dann den Loop zu verlassen: Diese Zahl, nicht die Gesamtdauer, entspricht dem, was der Nutzer erlebt.
import time
t0 = time.perf_counter()
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Latency test.",
voice_id=voice_id,
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
t1 = time.perf_counter()
print(f"Erster Block in {(t1 - t0)*1000:.0f} ms empfangen")
break
Führen Sie diese Messung von Ihrem Produktionsserver aus, nicht von Ihrem Arbeitsplatzrechner: Der Netzwerkunterschied reicht oft aus, um die Lücke zwischen einer überzeugenden Demo und einer enttäuschenden Bereitstellung zu erklären.
Kernaussagen
- Die Gesamtlatenz umfasst Netzwerk, Modell (~90 ms), Kodierung und Client-Puffer
- Das PCM-Format bietet die niedrigste Latenz, da keine Kodierung erforderlich ist
- Streaming reduziert die wahrnehmbare Latenz um den Faktor 3 bis 4 im Vergleich zu Batch
- Verwenden Sie eine
voice_idstattref_audio, um 50–100 ms zu sparen - Generieren Sie Satz für Satz, um die Zeit bis zum ersten Ton zu minimieren