Streaming u stvarnom vremenu
Na ovoj stranici
Tečaj ažuriran 3. studenog 2026. za Voxtral TTS 3, na temelju vodiča Migrate from Voxtral 2 i stranica Mistrala Text to Speech:
voxtral-mini-tts-2603, zastario 31. listopada 2026. i povučen 30. travnja 2027., u primjerima je zamijenjen svoxtral-mini-tts-3-0. Unaprijed definirani glasovi iz Voxtrala 2 (gb_jane_neutral…) i dalje su podržani; Voxtral 3 dodaje oznake[emotion=…]i[pace=…]u tekst, postavkuexpressiveness, prilagođeni izgovor (phoneme_hints) i 35 jezika. Mistral preporučuje ponovno mjerenje latencije nakon migracije. Izvori: Migrate from Voxtral 2 · Speech generation.
Zašto streaming mijenja sve
Do sada si radio u sinkronom načinu: pošalješ tekst, čekaš da se sinteza potpuno završi, a tek onda primaš cijelu audio datoteku. Za unaprijed generirani pozdrav stvoren dan prije, to čekanje nije bitno. Za glasovnog asistenta koji odgovara korisniku na telefonu, to je neprihvatljivo – dvije sekunde tišine nakon pitanja i korisnik pomisli da je veza prekinuta.
Streaming uklanja to čekanje. Audio se isporučuje kako se generira, fragment po fragment, tako da korisnik čuje prve riječi dok model još uvijek proizvodi kraj rečenice. Ukupno vrijeme generiranja se ne mijenja; ono što se urušava jest kašnjenje prije prvog zvuka.
Protokol događaja
Stream se oslanja na Server-Sent Events (SSE). Svaka primljena poruka je tipizirani događaj, a tebe zanimaju dvije vrste:
speech.audio.delta: sadrži audio fragment u base64 formatu. To je glavni događaj kojim ćeš upravljati.speech.audio.done: signal kraja – generiranje je završeno.
Što se tiče koda, prelazak na streaming znači dodavanje stream=True i konzumiranje odgovora unutar bloka with. Sljedeći primjer akumulira fragmente u memoriji kako bi na kraju zapisao datoteku: ovo još nije stvarno vrijeme, ali to je struktura petlje na kojoj će se graditi ostatak lekcije.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
audio_chunks = []
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Streaming makes voice agents responsive and natural.",
voice_id="your-voice-id",
response_format="opus",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
chunk = base64.b64decode(event.data.audio_data)
audio_chunks.append(chunk)
print(f"Chunk received: {len(chunk)} bytes")
# Assemble all chunks
audio_complet = b"".join(audio_chunks)
Path("streaming-output.opus").write_bytes(audio_complet)
print(f"Final audio: {len(audio_complet)} bytes")
Reprodukcija zvuka kako stiže
Da bi postigao obećanu responzivnost, prestani akumulirati i svaki fragment zapisuj izravno na zvučnu karticu. Uz pyaudio, promjena zahtijeva samo jedan redak: umjesto dodavanja dekodiranog fragmenta na listu, šalješ ga u izlazni stream koji je unaprijed otvoren i konfiguriran za mono Float32 na 24.000 Hz.
import base64
import pyaudio
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# PCM audio configuration (fastest format)
p = pyaudio.PyAudio()
stream_audio = p.open(
format=pyaudio.paFloat32,
channels=1,
rate=24000,
output=True,
)
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="You're hearing this sentence while I generate it.",
voice_id="your-voice-id",
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
audio_data = base64.b64decode(event.data.audio_data)
stream_audio.write(audio_data)
stream_audio.stop_stream()
stream_audio.close()
p.terminate()
Zatraženi format se promijenio iz opus u pcm, i to je bitno. PCM ne zahtijeva dekodiranje: primljeni bajtovi spremni su za trenutnu reprodukciju, što ga čini preporučenim formatom za uporabu u stvarnom vremenu.
Prosljeđivanje streama u preglednik
U web aplikaciji poslužitelj ne reproducira zvuk: on ga prosljeđuje. Klasični obrazac koristi WebSocket koji prima tekst iz preglednika, otvara Voxtral stream i gura svaki dekodirani fragment natrag klijentu. Na strani preglednika, Web Audio API preuzima kontrolu za reprodukciju primljenih PCM fragmenata.
# Server side (FastAPI example)
from fastapi import FastAPI, WebSocket
import base64
from mistralai.client import Mistral
app = FastAPI()
client = Mistral(api_key="your-api-key")
@app.websocket("/ws/tts")
async def tts_websocket(websocket: WebSocket):
await websocket.accept()
texte = await websocket.receive_text()
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input=texte,
voice_id="your-voice-id",
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
await websocket.send_bytes(
base64.b64decode(event.data.audio_data)
)
await websocket.close()
Postavka koja čini razliku: međuspremnik (buffer)
Veličine fragmenata variraju i obično predstavljaju nekoliko milisekundi zvuka svaki. Ako reproduciraš prvi fragment čim stigne, svaka nepravilnost u mreži uzrokuje čujni mikro-prekid – štucanje u glasu koje odmah otkriva stroj. Rješenje je međuspremanje dva ili tri fragmenta prije pokretanja reprodukcije, što košta nekoliko desetaka milisekundi, ali izglađuje ostatak streama.
Tu je i izbor formata, koji predstavlja kompromis između latencije i propusnosti. PCM isporučuje prvi zvuk najbrže – oko 0,7 sekundi u mjerenjima provedenima s Voxtralom 2, što treba ponoviti s Voxtral TTS 3 – uz cijenu visoke propusnosti. Opus malo gubi na latenciji, ali jako komprimira podatke, što ga čini ispravnim kompromisom kada su tvoji korisnici na mobilnim uređajima.
Ključne točke
- Streaming šalje audio dio po dio tijekom generiranja
- Omogući ga s
stream=Trueu pozivuaudio.speech.complete() - Događaji
speech.audio.deltasadrže audio fragmente u base64 formatu - PCM format nudi najnižu latenciju za streaming (~0,7 s naspram ~2 s za MP3)
- Za reprodukciju u stvarnom vremenu koristi
pyaudioili WebSockets + Web Audio API