Streaming în timp real
Pe această pagină
Curs actualizat la 3 noiembrie 2026 pentru Voxtral TTS 3, pe baza ghidului Migrate from Voxtral 2 și a paginilor Mistral Text to Speech:
voxtral-mini-tts-2603, depreciat la 31 octombrie 2026 și retras la 30 aprilie 2027, este înlocuit în exemple prinvoxtral-mini-tts-3-0. Vocile predefinite Voxtral 2 (gb_jane_neutral…) rămân suportate; Voxtral 3 adaugă etichetele[emotion=…]și[pace=…]în text, setareaexpressiveness, pronunția personalizată (phoneme_hints) și 35 de limbi. Mistral recomandă re-măsurarea latenței după migrare. Surse: Migrate from Voxtral 2 · Speech generation.
De ce streaming-ul schimbă totul
Până acum, ați lucrat în mod sincron: trimiteți textul, așteptați finalizarea completă a sintezei, apoi primiți fișierul audio integral. Pentru un salut pre-generat cu o zi înainte, această așteptare nu contează. Pentru un asistent vocal care răspunde unui client la telefon, este un impediment major—două secunde de liniște după o întrebare, iar utilizatorul crede că apelul s-a întrerupt.
Streaming-ul elimină această așteptare. Audio-ul este livrat pe măsură ce este generat, fragment cu fragment, astfel încât utilizatorul aude primele cuvinte în timp ce modelul produce încă finalul propoziției. Timpul total de generare nu se schimbă; ceea ce se prăbușește este întârzierea până la primul sunet.
Protocolul de evenimente
Fluxul se bazează pe Server-Sent Events. Fiecare mesaj primit este un eveniment tipizat, iar două tipuri vă privesc direct:
speech.audio.delta: conține un fragment audio în base64. Acesta este evenimentul principal pe care îl veți gestiona.speech.audio.done: semnal de final—generarea este completă.
Din punct de vedere al codului, trecerea la streaming implică adăugarea parametrului stream=True și consumarea răspunsului într-un bloc with. Exemplul următor acumulează fragmentele în memorie pentru a scrie un fișier la final: acesta nu este încă timp real, dar reprezintă structura de buclă pe care se va baza restul lecției.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
audio_chunks = []
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Streaming makes voice agents responsive and natural.",
voice_id="your-voice-id",
response_format="opus",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
chunk = base64.b64decode(event.data.audio_data)
audio_chunks.append(chunk)
print(f"Chunk received: {len(chunk)} bytes")
# Assemble all chunks
audio_complet = b"".join(audio_chunks)
Path("streaming-output.opus").write_bytes(audio_complet)
print(f"Final audio: {len(audio_complet)} bytes")
Redarea sunetului pe măsură ce sosește
Pentru a obține reactivitatea promisă, opriți acumularea și scrieți fiecare fragment direct pe placa de sunet. Cu pyaudio, modificarea necesită o singură linie: în loc să adăugați fragmentul decodat într-o listă, îl trimiteți către un flux de ieșire deschis anticipat, configurat pentru mono Float32 la 24.000 Hz.
import base64
import pyaudio
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# PCM audio configuration (fastest format)
p = pyaudio.PyAudio()
stream_audio = p.open(
format=pyaudio.paFloat32,
channels=1,
rate=24000,
output=True,
)
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="You're hearing this sentence while I generate it.",
voice_id="your-voice-id",
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
audio_data = base64.b64decode(event.data.audio_data)
stream_audio.write(audio_data)
stream_audio.stop_stream()
stream_audio.close()
p.terminate()
Formatul solicitat s-a schimbat de la opus la pcm, iar acest lucru contează. PCM nu necesită decodare: octeții primiți sunt gata de redare imediat, ceea ce îl face formatul recomandat pentru utilizarea în timp real.
Retransmiterea fluxului către un browser
Într-o aplicație web, serverul nu redă sunetul: îl retransmite. Modelul clasic folosește un WebSocket care primește textul de la browser, deschide fluxul Voxtral și împinge fiecare fragment decodat înapoi către client. În partea de browser, Web Audio API preia controlul pentru a reda fragmentele PCM primite.
# Server side (FastAPI example)
from fastapi import FastAPI, WebSocket
import base64
from mistralai.client import Mistral
app = FastAPI()
client = Mistral(api_key="your-api-key")
@app.websocket("/ws/tts")
async def tts_websocket(websocket: WebSocket):
await websocket.accept()
texte = await websocket.receive_text()
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input=texte,
voice_id="your-voice-id",
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
await websocket.send_bytes(
base64.b64decode(event.data.audio_data)
)
await websocket.close()
Setarea care face diferența: buffer-ul
Dimensiunile fragmentelor variază și reprezintă, în mod tipic, câțiva milisecunde de audio fiecare. Dacă redați primul fragment în momentul sosirii sale, orice neregularitate a rețelei provoacă o micro-întrerupere audibilă—un poticnit al vocii care trădează imediat mașinăria. Soluția este să buffer-ați două sau trei fragmente înainte de a începe redarea, ceea ce costă câteva zeci de milisecunde, dar netezește restul fluxului.
Apoi, există alegerea formatului, care face un compromis între latență și lățime de bandă. PCM livrează primul sunet cel mai rapid—aproximativ 0,7 secunde în măsurătorile efectuate cu Voxtral 2, urmează a fi refăcute cu Voxtral TTS 3—cu costul unui throughput ridicat. Opus pierde puțin la capitolul latență, dar comprimă puternic, devenind compromisul corect când utilizatorii dumneavoastră sunt pe mobil.
Puncte cheie
- Streaming-ul trimite audio fragment cu fragment în timpul generării
- Activați-l cu
stream=Trueîn apelulaudio.speech.complete() - Evenimentele
speech.audio.deltaconțin fragmente audio în base64 - Formatul PCM oferă cea mai mică latență pentru streaming (~0,7s față de ~2s pentru MP3)
- Pentru redarea în timp real, utilizați
pyaudiosau WebSockets + Web Audio API