Pretakanje v realnem času
Na tej strani
Posodobitev tečaja z dne 3. novembra 2026 za Voxtral TTS 3, na podlagi vodnika Migrate from Voxtral 2 in strani Mistral Text to Speech:
voxtral-mini-tts-2603, ki je bil opuščen 31. oktobra 2026 in umaknjen 30. aprila 2027, je v primerih nadomeščen zvoxtral-mini-tts-3-0. Vnaprej določeni glasovi Voxtral 2 (gb_jane_neutral…) so še vedno podprti; Voxtral 3 dodaja oznake[emotion=…]in[pace=…]v besedilu, nastavitevexpressiveness, prilagojeno izgovarjavo (phoneme_hints) in 35 jezikov. Mistral priporoča ponovno merjenje zakasnitve po selitvi. Viri: Migrate from Voxtral 2 · Speech generation.
Zakaj pretakanje spremeni vse
Do zdaj si deloval v sinhronem načinu: pošlješ besedilo, počakaš, da se sinteza popolnoma konča, in šele nato prejmeš celotno zvočno datoteko. Za vnaprej ustvarjen pozdrav, narejen dan prej, to čakanje ni pomembno. Za glasovnega asistenta, ki odgovarja stranki po telefonu, pa je to usodno – dve sekundi tišine po vprašanju in uporabnik misli, da je zveza prekinjena.
Pretakanje to čakanje odpravi. Zvok se pošilja sproti, ko se ustvarja, delček za delčkom, tako da uporabnik sliši prve besede, medtem ko model še vedno proizvaja konec stavka. Skupni čas generiranja se ne spremeni; tisto, kar izgine, je zamik pred prvim zvokom.
Protokol dogodkov
Pretok temelji na dogodkih, poslanih s strežnika (Server-Sent Events). Vsako prejeto sporočilo je dogodek določenega tipa, pri čemer sta zate pomembna dva:
speech.audio.delta: vsebuje zvočni fragment v kodiranju base64. To je glavni dogodek, ki ga boš obravnaval.speech.audio.done: signal za konec – generiranje je zaključeno.
V kodi prehod na pretakanje pomeni dodajanje stream=True in obdelavo odgovora v bloku with. Naslednji primer nabira fragmente v pomnilniku, da bi na koncu zapisal datoteko: to še ni delovanje v realnem času, je pa zankasta struktura, na kateri bo temeljilo preostalo poglavje.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
audio_chunks = []
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Streaming makes voice agents responsive and natural.",
voice_id="your-voice-id",
response_format="opus",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
chunk = base64.b64decode(event.data.audio_data)
audio_chunks.append(chunk)
print(f"Chunk received: {len(chunk)} bytes")
# Assemble all chunks
audio_complet = b"".join(audio_chunks)
Path("streaming-output.opus").write_bytes(audio_complet)
print(f"Final audio: {len(audio_complet)} bytes")
Predvajanje zvoka ob prihodu
Da bi dosegel obljubljeno odzivnost, prenehaj z nabiranjem in vsak fragment zapiši neposredno na zvočno kartico. S knjižnico pyaudio sprememba zahteva le eno vrstico: namesto da dekodirani fragment dodaš na seznam, ga pošlješ v izhodni tok, ki je bil odprt vnaprej in konfiguriran za mono Float32 pri 24.000 Hz.
import base64
import pyaudio
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# PCM audio configuration (fastest format)
p = pyaudio.PyAudio()
stream_audio = p.open(
format=pyaudio.paFloat32,
channels=1,
rate=24000,
output=True,
)
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="You're hearing this sentence while I generate it.",
voice_id="your-voice-id",
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
audio_data = base64.b64decode(event.data.audio_data)
stream_audio.write(audio_data)
stream_audio.stop_stream()
stream_audio.close()
p.terminate()
Zahtevani format se je spremenil iz opus v pcm, kar je pomembno. PCM ne potrebuje dekodiranja: prejeti bajti so pripravljeni za takojšnje predvajanje, zaradi česar je to priporočeni format za uporabo v realnem času.
Posredovanje pretoka brskalniku
V spletni aplikaciji strežnik ne predvaja zvoka, temveč ga posreduje naprej. Klasičen vzorec uporablja WebSocket, ki od brskalnika prejme besedilo, odpre pretok Voxtral in potisne vsak dekodirani fragment nazaj odjemalcu. Na strani brskalnika prevzame nadzor Web Audio API za predvajanje prejetih fragmentov PCM.
# Server side (FastAPI example)
from fastapi import FastAPI, WebSocket
import base64
from mistralai.client import Mistral
app = FastAPI()
client = Mistral(api_key="your-api-key")
@app.websocket("/ws/tts")
async def tts_websocket(websocket: WebSocket):
await websocket.accept()
texte = await websocket.receive_text()
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input=texte,
voice_id="your-voice-id",
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
await websocket.send_bytes(
base64.b64decode(event.data.audio_data)
)
await websocket.close()
Nastavitev, ki naredi razliko: medpomnilnik
Velikosti fragmentov variirajo in običajno predstavljajo nekaj milisekund zvoka vsak. Če prvi fragment predvajaš v trenutku, ko prispe, vsaka nepravilnost v omrežju povzroči slišen mikroizpad – zatikanje v glasu, ki takoj razkrije stroj. Rešitev je uporaba medpomnilnika za dva ali tri fragmente pred začetkom predvajanja, kar stane nekaj deset milisekund, a preostali del pretoka gladi.
Tu je še izbira formata, ki uravnava razmerje med zakasnitvijo in pasovno širino. PCM najhitreje dostavi prvi zvok – približno 0,7 sekunde pri meritvah z Voxtral 2, kar je treba ponoviti z Voxtral TTS 3 – vendar zahteva velik pretok podatkov. Opus nekoliko izgubi pri zakasnitvi, a močno stisne podatke, kar je pravi kompromis, ko so tvoji uporabniki na mobilnih napravah.
Ključne ugotovitve
- Pretakanje pošilja zvok delček za delčkom med generiranjem.
- Omogočiš ga z
stream=Truev klicuaudio.speech.complete(). - Dogodki
speech.audio.deltavsebujejo zvočne fragmente v kodiranju base64. - Format PCM ponuja najnižjo zakasnitev za pretakanje (~0,7 s v primerjavi z ~2 s za MP3).
- Za predvajanje v realnem času uporabi
pyaudioali WebSockets v kombinaciji z Web Audio API.