Streamovanie v reálnom čase
Na tejto strane
Kurz aktualizovaný 3. novembra 2026 pre Voxtral TTS 3, na základe sprievodcu Migrácia z Voxtral 2 a stránok Mistral Text to Speech:
voxtral-mini-tts-2603, zastaraný od 31. októbra 2026 a vyradený 30. apríla 2027, je v príkladoch nahradený modelomvoxtral-mini-tts-3-0. Preddefinované hlasy Voxtral 2 (gb_jane_neutral…) zostávajú podporované; Voxtral 3 pridáva značky[emotion=…]a[pace=…]priamo do textu, nastavenieexpressiveness, vlastnú výslovnosť (phoneme_hints) a podporu pre 35 jazykov. Mistral odporúča po migrácii znovu zmerať latenciu. Zdroje: Migrácia z Voxtral 2 · Generovanie reči.
Prečo streamovanie mení všetko
Doteraz si pracoval v synchronnom režime: odoslal si text, čakal, kým sa syntéza úplne dokončí, a až potom si dostal celý zvukový súbor. Pri predpripravenom pozdrave vytvorenom deň vopred toto čakanie nevadí. Pri hlasovom asistentovi, ktorý odpovedá zákazníkovi počas telefonátu, je to však neprijateľné – dve sekundy ticha po otázke a používateľ si myslí, že hovor spadol.
Streamovanie toto čakanie eliminuje. Zvuk sa odosiela priebežne, fragment po fragmente, takže používateľ počuje prvé slová ešte v momente, keď model stále generuje koniec vety. Celkový čas generovania sa nemení; to, čo sa radikálne skracuje, je oneskorenie pred zaznením prvého zvuku.
Protokol udalostí
Stream využíva Server-Sent Events (SSE). Každá prijatá správa je typizovaná udalosť a zaujímajú ťa dva typy:
speech.audio.delta: obsahuje zvukový fragment v kódovaní base64. Toto je hlavná udalosť, ktorú budeš spracovávať.speech.audio.done: signál ukončenia – generovanie je dokončené.
V kóde znamená prechod na streamovanie pridanie parametra stream=True a spracovanie odpovede v bloku with. Nasledujúci príklad akumuluje fragmenty v pamäti, aby na konci zapísal súbor: ešte to nie je skutočný reálny čas, ale je to štruktúra slučky, na ktorej budeš v zvyšku lekcie stavať.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
audio_chunks = []
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Streaming makes voice agents responsive and natural.",
voice_id="your-voice-id",
response_format="opus",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
chunk = base64.b64decode(event.data.audio_data)
audio_chunks.append(chunk)
print(f"Chunk received: {len(chunk)} bytes")
# Zloženie všetkých chunkov
audio_complet = b"".join(audio_chunks)
Path("streaming-output.opus").write_bytes(audio_complet)
print(f"Final audio: {len(audio_complet)} bytes")
Prehrávanie zvuku počas jeho príchodu
Aby si dosiahol sľubovanú odozvu, prestaň fragmenty akumulovať a každý z nich zapisuj priamo do zvukovej karty. Pri knižnici pyaudio si táto zmena vyžiada jediný riadok: namiesto pridania dekódovaného fragmentu do zoznamu ho odošleš do výstupného streamu, ktorý si otvoril vopred a nakonfiguroval pre mono Float32 pri 24 000 Hz.
import base64
import pyaudio
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Konfigurácia PCM zvuku (najrýchlejší formát)
p = pyaudio.PyAudio()
stream_audio = p.open(
format=pyaudio.paFloat32,
channels=1,
rate=24000,
output=True,
)
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="You're hearing this sentence while I generate it.",
voice_id="your-voice-id",
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
audio_data = base64.b64decode(event.data.audio_data)
stream_audio.write(audio_data)
stream_audio.stop_stream()
stream_audio.close()
p.terminate()
Požadovaný formát sa zmenil z opus na pcm a na tom záleží. PCM nevyžaduje žiadne dekódovanie: prijaté bajty sú pripravené na okamžité prehratie, čo z neho robí odporúčaný formát pre použitie v reálnom čase.
Preposielanie streamu do prehliadača
Vo webovej aplikácii server zvuk neprehráva, ale ho preposiela ďalej. Klasický vzor využíva WebSocket, ktorý prijme text z prehliadača, otvorí stream Voxtral a každý dekódovaný fragment pushne späť klientovi. Na strane prehliadača preberá štafetu Web Audio API, ktoré sa postará o prehratie prijatých PCM fragmentov.
# Strana servera (príklad FastAPI)
from fastapi import FastAPI, WebSocket
import base64
from mistralai.client import Mistral
app = FastAPI()
client = Mistral(api_key="your-api-key")
@app.websocket("/ws/tts")
async def tts_websocket(websocket: WebSocket):
await websocket.accept()
texte = await websocket.receive_text()
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input=texte,
voice_id="your-voice-id",
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
await websocket.send_bytes(
base64.b64decode(event.data.audio_data)
)
await websocket.close()
Nastavenie, ktoré robí rozdiel: vyrovnávacia pamäť (buffer)
Veľkosti fragmentov sa líšia a zvyčajne predstavujú niekoľko milisekúnd zvuku. Ak začneš prehrávať prvý fragment hneď po jeho príchode, akákoľvek nepravidelnosť siete spôsobí počuteľný mikrovýpadok – zakoktanie hlasu, ktoré okamžite prezradí strojový pôvod. Riešením je načakať dva alebo tri fragmenty pred spustením prehrávania. Stojí to niekoľko desiatok milisekúnd, ale zvyšok streamu vyhladí.
Potom je tu voľba formátu, ktorá predstavuje kompromis medzi latenciou a šírkou pásma. PCM doručí prvý zvuk najrýchlejšie – pri meraniach s Voxtral 2 to bolo okolo 0,7 sekundy (treba premerať s Voxtral TTS 3) – za cenu vysokého dátového toku. Opus mierne stráca na latencii, ale silno komprimuje, čo z neho robí správny kompromis, ak sú tvoji používatelia na mobilných zariadeniach.
Kľúčové poznatky
- Streamovanie odosiela zvuk po častiach počas generovania.
- Aktivuješ ho parametrom
stream=Truevo volaníaudio.speech.complete(). - Udalosti
speech.audio.deltaobsahujú zvukové fragmenty v kódovaní base64. - Formát PCM ponúka najnižšiu latenciu pre streamovanie (~0,7 s oproti ~2 s pre MP3).
- Na prehrávanie v reálnom čase použi
pyaudioalebo kombináciu WebSocketov a Web Audio API.