Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Streaming valós időben

10. lecke 14 közül Frissítve 2026. november 3. Fejlesztő
Ezen az oldalon
  1. Miért változtat meg mindent a streaming?
  2. Az eseményprotokoll
  3. Hang lejátszása érkezés közben
  4. A stream továbbítása böngésző felé
  5. A beállítás, ami számít: a puffer
  6. Főbb megállapítások

A tanfolyam frissítve: 2026. november 3., Voxtral TTS 3 verzióhoz, a Migrálás a Voxtral 2-ről útmutató és a Mistral Szövegből beszéd oldalai alapján: a voxtral-mini-tts-2603 modellt, amelyet 2026. október 31-én elavulttá nyilvánítottak és 2027. április 30-án kivezetnek, a példákban a voxtral-mini-tts-3-0 váltja fel. A Voxtral 2 előre definiált hangjai (pl. gb_jane_neutral…) továbbra is támogatottak; a Voxtral 3 bevezeti a szövegbe ágyazható [emotion=…] és [pace=…] címkéket, az expressiveness beállítást, az egyéni kiejtést (phoneme_hints), valamint 35 nyelv támogatását. A Mistral ajánlja a késleltetés újbóli mérését a migráció után. Források: Migrálás a Voxtral 2-ről · Beszédgenerálás.

Miért változtat meg mindent a streaming?

Eddig szinkron módban dolgoztál: elküldted a szöveget, megvártad, amíg a szintézis teljesen befejeződik, majd megkaptad a teljes hangfájlt. Egy előző nap legenerált köszöntő üzenetnél ez a várakozás nem számít. Egy ügyfelekkel telefonon beszélő hangasszisztens esetén azonban ez kizáró ok: két másodperc csend egy kérdés után, és a felhasználó azt hiszi, megszakadt a hívás.

A streaming megszünteti ezt a várakozást. A hanganyag darabonként, generálás közben érkezik, így a felhasználó már hallja az első szavakat, miközben a modell még a mondat végén dolgozik. A teljes generálási idő nem változik; ami drasztikusan csökken, az az első hang megjelenéséig eltelt késleltetés.

Az eseményprotokoll

A stream a Server-Sent Events (SSE) protokollra épül. Minden fogadott üzenet egy típusozott esemény, ebből kettő érint téged közvetlenül:

  • speech.audio.delta: tartalmaz egy hangtöredéket base64 kódolásban. Ez a fő esemény, amit kezelned kell.
  • speech.audio.done: befejező jelzés – a generálás véget ért.

Kódoldalon a streamingre való áttérés azt jelenti, hogy hozzáadod a stream=True paramétert, és egy with blokkban fogyasztod le a választ. Az alábbi példa a memóriában gyűjti össze a töredékeket, hogy a végén fájlt írjon: ez még nem valós idejű lejátszás, de ez az a ciklusszerkezet, amire a lecke további része épül.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

audio_chunks = []

with client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="A streaming teszi a hangügynököket gyorsreakciójúvá és természetessé.",
    voice_id="your-voice-id",
    response_format="opus",
    stream=True,
) as stream:
    for event in stream:
        if event.event == "speech.audio.delta":
            chunk = base64.b64decode(event.data.audio_data)
            audio_chunks.append(chunk)
            print(f"Töredék érkezett: {len(chunk)} bájt")

# Összeállítjuk az összes töredéket
audio_complet = b"".join(audio_chunks)
Path("streaming-output.opus").write_bytes(audio_complet)
print(f"Végső hang: {len(audio_complet)} bájt")

Hang lejátszása érkezés közben

Ahhoz, hogy megkapd az ígért gyorsreakciót, hagyd abba a gyűjtögetést, és minden töredéket közvetlenül a hangkártyára írj. A pyaudio használatával ez egyetlen sor változtatást igényel: a dekódolt töredék listához adása helyett egy előre megnyitott kimeneti streamre küldöd azt, amelyet mono Float32 formátumra és 24 000 Hz-es mintavételezésre konfiguráltál.

import base64
import pyaudio
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# PCM hangkonfiguráció (leggyorsabb formátum)
p = pyaudio.PyAudio()
stream_audio = p.open(
    format=pyaudio.paFloat32,
    channels=1,
    rate=24000,
    output=True,
)

with client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Ezt a mondatot már hallod, miközben generálom.",
    voice_id="your-voice-id",
    response_format="pcm",
    stream=True,
) as stream:
    for event in stream:
        if event.event == "speech.audio.delta":
            audio_data = base64.b64decode(event.data.audio_data)
            stream_audio.write(audio_data)

stream_audio.stop_stream()
stream_audio.close()
p.terminate()

A kért formátum opus-ról pcm-re változott, és ez számít. A PCM-nek nincs szükség dekódolásra: a fogadott bájtok azonnal lejátszhatók, így ez a javasolt formátum valós idejű használatra.

A stream továbbítása böngésző felé

Egy webalkalmazásban a szerver nem játsza le a hangot: csak továbbítja azt. A klasszikus minta egy WebSocketet használ, amely fogadja a szöveget a böngészőtől, megnyitja a Voxtral streamet, és minden dekódolt töredéket visszaküld a kliensnek. A böngésző oldalon a Web Audio API veszi át az irányítást a fogadott PCM töredékek lejátszására.

# Szerver oldal (FastAPI példa)
from fastapi import FastAPI, WebSocket
import base64
from mistralai.client import Mistral

app = FastAPI()
client = Mistral(api_key="your-api-key")

@app.websocket("/ws/tts")
async def tts_websocket(websocket: WebSocket):
    await websocket.accept()
    texte = await websocket.receive_text()

    with client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input=texte,
        voice_id="your-voice-id",
        response_format="pcm",
        stream=True,
    ) as stream:
        for event in stream:
            if event.event == "speech.audio.delta":
                await websocket.send_bytes(
                    base64.b64decode(event.data.audio_data)
                )

    await websocket.close()

A beállítás, ami számít: a puffer

A töredékek mérete változó, és általában csak néhány milliszekundumnyi hangot képviselnek. Ha az első töredéket abban a pillanatban lejátszod, ahogy megérkezik, bármilyen hálózati ingadozás hallható mikro-kiesést okoz – egy akadozást a hangban, ami azonnal lebuktatja a gépi eredetet. A megoldás az, hogy pufferelsz két vagy három töredéket a lejátszás megkezdése előtt; ez néhány tíz milliszekundumba kerül, de kisimítja a stream további részét.

Aztán ott van a formátumválasztás kérdése is, amely a késleltetés és a sávszélesség közötti kompromisszumot jelenti. A PCM biztosítja a leggyorsabb hangmegjelenést – a Voxtral 2-vel végzett mérések szerint körülbelül 0,7 másodpercet, amit a Voxtral TTS 3-mal újra el kell végezni –, nagy adatforgalom árán. Az Opus kicsit veszít a késleltetésből, de erősen tömörít, így ez a helyes kompromisszum, ha a felhasználóid mobilhálózaton vannak.

Főbb megállapítások

  • A streaming generálás közben, darabonként küldi a hangot
  • Engedélyezéséhez add hozzá a stream=True paramétert az audio.speech.complete() híváshoz
  • A speech.audio.delta események base64 kódolású hangtöredékeket tartalmaznak
  • A PCM formátum biztosítja a legalacsonyabb késleltetést streaminghez (~0,7 mp vs ~2 mp az MP3-hoz képest)
  • Valós idejű lejátszáshoz használd a pyaudio-t vagy a WebSocket + Web Audio API kombinációt