Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Edastamine reaalajas

Õppetund 10 / 14 Värskendatud 3. november 2026 Arendajatele
Sellel lehel
  1. Miks edastamine kõike muudab
  2. Sündmuste protokoll
  3. Heli esitamine saabumise hetkel
  4. Voo edastamine brauserisse
  5. Seadistus, mis teeb vahet: puhver
  6. Peamised punktid

Kursust uuendati 3. novembril 2026 Voxtral TTS 3 jaoks, tuginedes juhendile Migrate from Voxtral 2 ja Mistrali lehele Text to Speech: voxtral-mini-tts-2603, mis tunnistati aegunuks 31. oktoobril 2026 ja lõpetati 30. aprillil 2027, on näidetes asendatud mudeliga voxtral-mini-tts-3-0. Voxtral 2 eelmääratud hääled (gb_jane_neutral…) jäävad toetuks; Voxtral 3 lisab teksti sisse sildid [emotion=…] ja [pace=…], seadistuse expressiveness, kohandatud häälduse (phoneme_hints) ning toetab 35 keelt. Mistral soovitab pärast üleminekut latentsusaeg uuesti mõõta. Allikad: Migrate from Voxtral 2 · Speech generation.

Miks edastamine kõike muudab

Seni oled töötanud sünkroonses režiimis: saadad teksti, ootad sünteesi täielikku lõppemist ja alles siis saad kogu helifaili. Eelnevalt loodud tervituse puhul, mis tehti eile, see ooteaeg ei loe. Kuid kõneassistendi jaoks, kes vastab kliendile telefoni teel, on see saatuslik – kaks sekundit vaikust pärast küsimust ja kasutaja arvab, et kõne katkes.

Edastamine kaotab selle ooteaja. Helid liiguvad genereerimise käigus osade kaupa, nii et kasutaja kuuleb esimesi sõnu juba siis, kui mudel töötab alles lause lõpu kallal. Genereerimise koguaeg ei muutu; kokku variseb aga viide enne esimest heli.

Sündmuste protokoll

Voog tugineb serveri saadetud sündmustele (Server-Sent Events). Iga saabuv sõnum on tüübitud sündmus ja sinu jaoks on olulised kaks tüüpi:

  • speech.audio.delta: sisaldab helifragmenti base64-kodeeringus. See on peamine sündmus, mida käsitled
  • speech.audio.done: lõpusignaal – genereerimine on lõppenud

Koodi tasandel tähendab edastamisele üleminek parameetri stream=True lisamist ja vastuse tarbimist with-plokis. Järgnev näide kogub fragmendid mällu, et fail lõpus kirjutada: see pole veel päris reaalajas, kuid see on silmusstruktuur, millele ülejäänud tund üles ehitab.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

audio_chunks = []

with client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Streaming makes voice agents responsive and natural.",
    voice_id="your-voice-id",
    response_format="opus",
    stream=True,
) as stream:
    for event in stream:
        if event.event == "speech.audio.delta":
            chunk = base64.b64decode(event.data.audio_data)
            audio_chunks.append(chunk)
            print(f"Chunk received: {len(chunk)} bytes")

# Assemble all chunks
audio_complet = b"".join(audio_chunks)
Path("streaming-output.opus").write_bytes(audio_complet)
print(f"Final audio: {len(audio_complet)} bytes")

Heli esitamine saabumise hetkel

Lubatud reageerimisvõime saavutamiseks lõpeta fragmentide kogumine ja kirjuta iga tükk otse helikaardile. Teegi pyaudio puhul võtab muutus ühe rea: dekodeeritud fragmendi lisamise asemel loendisse saadad selle väljundvoogu, mille avasid ette ja konfigureerisid mono Float32-formaadis sagedusega 24 000 Hz.

import base64
import pyaudio
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# PCM audio configuration (fastest format)
p = pyaudio.PyAudio()
stream_audio = p.open(
    format=pyaudio.paFloat32,
    channels=1,
    rate=24000,
    output=True,
)

with client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="You're hearing this sentence while I generate it.",
    voice_id="your-voice-id",
    response_format="pcm",
    stream=True,
) as stream:
    for event in stream:
        if event.event == "speech.audio.delta":
            audio_data = base64.b64decode(event.data.audio_data)
            stream_audio.write(audio_data)

stream_audio.stop_stream()
stream_audio.close()
p.terminate()

Taotletud formaat muutus opus-elt pcm-ile ja see on oluline. PCM ei vaja dekodeerimist: saadud bitid on kohe esitamiseks valmis, mistõttu on see reaalajas kasutuseks soovitatud formaat.

Voo edastamine brauserisse

Veebirakenduses server heli ei esita: see edastab seda edasi. Klassikaline muster kasutab WebSocketit, mis võtab brauserilt vastu teksti, avab Voxtrali voo ja saadab iga dekodeeritud fragmendi tagasi kliendile. Brauseri poolel võtab mängimise üle Web Audio API, mis esitab saadud PCM-fragmendid.

# Server side (FastAPI example)
from fastapi import FastAPI, WebSocket
import base64
from mistralai.client import Mistral

app = FastAPI()
client = Mistral(api_key="your-api-key")

@app.websocket("/ws/tts")
async def tts_websocket(websocket: WebSocket):
    await websocket.accept()
    texte = await websocket.receive_text()

    with client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input=texte,
        voice_id="your-voice-id",
        response_format="pcm",
        stream=True,
    ) as stream:
        for event in stream:
            if event.event == "speech.audio.delta":
                await websocket.send_bytes(
                    base64.b64decode(event.data.audio_data)
                )

    await websocket.close()

Seadistus, mis teeb vahet: puhver

Fragmentide suurused varieeruvad ja tähistavad tavaliselt vaid mõne millisekundi pikkust helilõiku. Kui esitad esimese fragmendi kohe saabumisel, põhjustab iga võrgu ebakorrapärasus kuuldava mikrokatkestuse – hääle konksatuse, mis paljastab kohe masina. Lahenduseks on puhverdada kaks või kolm fragmenti enne esitamise alustamist; see maksab mõnikümmend millisekundit, kuid silub ülejäänud voo.

Lisaks on formaadi valik, mis kaalub üles latentsusaja ribalaiuse vastu. PCM toimetab esimese heli kohale kõige kiiremini – Voxtral 2-ga tehtud mõõtmistes umbes 0,7 sekundit (tuleb uuesti teha Voxtral TTS 3-ga), kuid nõuab suurt läbilaskevõimet. Opus kaotab latentsusajast veidi, kuid tihendab tugevalt, olles õige kompromiss, kui su kasutajad on mobiilsidevõrgus.

Peamised punktid

  • Edastamine saadab heli genereerimise ajal tükk-tükilt
  • Luba see parameetriga stream=True väljakutses audio.speech.complete()
  • Sündmused speech.audio.delta sisaldavad helifragmente base64-kodeeringus
  • PCM-formaat pakub edastamisel väikseimat latentsusaega (~0,7 s võrreldes ~2 s-ga MP3 puhul)
  • Reaalajas esitamiseks kasuta pyaudio või WebSocketit koos Web Audio API-ga