Streaming valós időben
Ezen az oldalon
A tanfolyam frissítve: 2026. november 3., Voxtral TTS 3 verzióhoz, a Migrálás a Voxtral 2-ről útmutató és a Mistral Szövegből beszéd oldalai alapján: a
voxtral-mini-tts-2603modellt, amelyet 2026. október 31-én elavulttá nyilvánítottak és 2027. április 30-án kivezetnek, a példákban avoxtral-mini-tts-3-0váltja fel. A Voxtral 2 előre definiált hangjai (pl.gb_jane_neutral…) továbbra is támogatottak; a Voxtral 3 bevezeti a szövegbe ágyazható[emotion=…]és[pace=…]címkéket, azexpressivenessbeállítást, az egyéni kiejtést (phoneme_hints), valamint 35 nyelv támogatását. A Mistral ajánlja a késleltetés újbóli mérését a migráció után. Források: Migrálás a Voxtral 2-ről · Beszédgenerálás.
Miért változtat meg mindent a streaming?
Eddig szinkron módban dolgoztál: elküldted a szöveget, megvártad, amíg a szintézis teljesen befejeződik, majd megkaptad a teljes hangfájlt. Egy előző nap legenerált köszöntő üzenetnél ez a várakozás nem számít. Egy ügyfelekkel telefonon beszélő hangasszisztens esetén azonban ez kizáró ok: két másodperc csend egy kérdés után, és a felhasználó azt hiszi, megszakadt a hívás.
A streaming megszünteti ezt a várakozást. A hanganyag darabonként, generálás közben érkezik, így a felhasználó már hallja az első szavakat, miközben a modell még a mondat végén dolgozik. A teljes generálási idő nem változik; ami drasztikusan csökken, az az első hang megjelenéséig eltelt késleltetés.
Az eseményprotokoll
A stream a Server-Sent Events (SSE) protokollra épül. Minden fogadott üzenet egy típusozott esemény, ebből kettő érint téged közvetlenül:
speech.audio.delta: tartalmaz egy hangtöredéket base64 kódolásban. Ez a fő esemény, amit kezelned kell.speech.audio.done: befejező jelzés – a generálás véget ért.
Kódoldalon a streamingre való áttérés azt jelenti, hogy hozzáadod a stream=True paramétert, és egy with blokkban fogyasztod le a választ. Az alábbi példa a memóriában gyűjti össze a töredékeket, hogy a végén fájlt írjon: ez még nem valós idejű lejátszás, de ez az a ciklusszerkezet, amire a lecke további része épül.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
audio_chunks = []
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="A streaming teszi a hangügynököket gyorsreakciójúvá és természetessé.",
voice_id="your-voice-id",
response_format="opus",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
chunk = base64.b64decode(event.data.audio_data)
audio_chunks.append(chunk)
print(f"Töredék érkezett: {len(chunk)} bájt")
# Összeállítjuk az összes töredéket
audio_complet = b"".join(audio_chunks)
Path("streaming-output.opus").write_bytes(audio_complet)
print(f"Végső hang: {len(audio_complet)} bájt")
Hang lejátszása érkezés közben
Ahhoz, hogy megkapd az ígért gyorsreakciót, hagyd abba a gyűjtögetést, és minden töredéket közvetlenül a hangkártyára írj. A pyaudio használatával ez egyetlen sor változtatást igényel: a dekódolt töredék listához adása helyett egy előre megnyitott kimeneti streamre küldöd azt, amelyet mono Float32 formátumra és 24 000 Hz-es mintavételezésre konfiguráltál.
import base64
import pyaudio
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# PCM hangkonfiguráció (leggyorsabb formátum)
p = pyaudio.PyAudio()
stream_audio = p.open(
format=pyaudio.paFloat32,
channels=1,
rate=24000,
output=True,
)
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Ezt a mondatot már hallod, miközben generálom.",
voice_id="your-voice-id",
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
audio_data = base64.b64decode(event.data.audio_data)
stream_audio.write(audio_data)
stream_audio.stop_stream()
stream_audio.close()
p.terminate()
A kért formátum opus-ról pcm-re változott, és ez számít. A PCM-nek nincs szükség dekódolásra: a fogadott bájtok azonnal lejátszhatók, így ez a javasolt formátum valós idejű használatra.
A stream továbbítása böngésző felé
Egy webalkalmazásban a szerver nem játsza le a hangot: csak továbbítja azt. A klasszikus minta egy WebSocketet használ, amely fogadja a szöveget a böngészőtől, megnyitja a Voxtral streamet, és minden dekódolt töredéket visszaküld a kliensnek. A böngésző oldalon a Web Audio API veszi át az irányítást a fogadott PCM töredékek lejátszására.
# Szerver oldal (FastAPI példa)
from fastapi import FastAPI, WebSocket
import base64
from mistralai.client import Mistral
app = FastAPI()
client = Mistral(api_key="your-api-key")
@app.websocket("/ws/tts")
async def tts_websocket(websocket: WebSocket):
await websocket.accept()
texte = await websocket.receive_text()
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input=texte,
voice_id="your-voice-id",
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
await websocket.send_bytes(
base64.b64decode(event.data.audio_data)
)
await websocket.close()
A beállítás, ami számít: a puffer
A töredékek mérete változó, és általában csak néhány milliszekundumnyi hangot képviselnek. Ha az első töredéket abban a pillanatban lejátszod, ahogy megérkezik, bármilyen hálózati ingadozás hallható mikro-kiesést okoz – egy akadozást a hangban, ami azonnal lebuktatja a gépi eredetet. A megoldás az, hogy pufferelsz két vagy három töredéket a lejátszás megkezdése előtt; ez néhány tíz milliszekundumba kerül, de kisimítja a stream további részét.
Aztán ott van a formátumválasztás kérdése is, amely a késleltetés és a sávszélesség közötti kompromisszumot jelenti. A PCM biztosítja a leggyorsabb hangmegjelenést – a Voxtral 2-vel végzett mérések szerint körülbelül 0,7 másodpercet, amit a Voxtral TTS 3-mal újra el kell végezni –, nagy adatforgalom árán. Az Opus kicsit veszít a késleltetésből, de erősen tömörít, így ez a helyes kompromisszum, ha a felhasználóid mobilhálózaton vannak.
Főbb megállapítások
- A streaming generálás közben, darabonként küldi a hangot
- Engedélyezéséhez add hozzá a
stream=Trueparamétert azaudio.speech.complete()híváshoz - A
speech.audio.deltaesemények base64 kódolású hangtöredékeket tartalmaznak - A PCM formátum biztosítja a legalacsonyabb késleltetést streaminghez (~0,7 mp vs ~2 mp az MP3-hoz képest)
- Valós idejű lejátszáshoz használd a
pyaudio-t vagy a WebSocket + Web Audio API kombinációt