Премини към основното съдържание
Български— Изберете език
Меню

Стрийминг в реално време

Урок 10 от 14 Обновен 3 ноември 2026 г. Програмист
На тази страница
  1. Защо стриймингът променя всичко
  2. Протоколът за събития
  3. Възпроизвеждане на звука при пристигане
  4. Препредаване на стрийма към браузър
  5. Настройката, която прави разликата: буферът
  6. Ключови изводи

Курсът е актуализиран на 3 ноември 2026 г. за Voxtral TTS 3, въз основа на ръководството Миграция от Voxtral 2 и страниците на Mistral за Текст към реч: voxtral-mini-tts-2603, обявен за остарял на 31 октомври 2026 г. и премахнат на 30 април 2027 г., е заменен в примерите с voxtral-mini-tts-3-0. Предварително дефинираните гласове на Voxtral 2 (gb_jane_neutral…) остават поддържани; Voxtral 3 добавя тагове [emotion=…] и [pace=…] в текста, настройката expressiveness, персонализирано произношение (phoneme_hints) и 35 езика. Mistral препоръчва повторно измерване на латентността след миграцията. Източници: Миграция от Voxtral 2 · Генериране на реч.

Защо стриймингът променя всичко

Досега работехте в синхронен режим: изпращате текста, чакате синтезът да приключи напълно и едва тогава получавате целия аудио файл. За предварително генерирано поздравление, създадено ден по-рано, това чакане няма значение. За гласов асистент, отговарящ на клиент по телефона, това е фатално – две секунди тишина след въпрос и потребителят смята, че връзката е прекъсната.

Стриймингът елиминира това чакане. Аудиото се изпраща веднага щом се генерира, фрагмент по фрагмент, така че потребителят чува първите думи, докато моделът все още произвежда края на изречението. Общото време за генериране не се променя; това, което се срива, е забавянето преди първия звук.

Протоколът за събития

Стриймът разчита на Server-Sent Events (SSE). Всяко получено съобщение е събитие от определен тип и два от тях са от значение за Вас:

  • speech.audio.delta: съдържа аудио фрагмент в base64. Това е основното събитие, което ще обработвате.
  • speech.audio.done: сигнал за край – генерирането е приключило.

От гледна точка на кода, преминаването към стрийминг означава добавяне на stream=True и консумиране на отговора в блок with. Следващият пример натрупва фрагменти в паметта, за да запише файл в края: това все още не е работа в реално време, но представлява структурата на цикъла, върху която ще градим остатъка от урока.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

audio_chunks = []

with client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Streaming makes voice agents responsive and natural.",
    voice_id="your-voice-id",
    response_format="opus",
    stream=True,
) as stream:
    for event in stream:
        if event.event == "speech.audio.delta":
            chunk = base64.b64decode(event.data.audio_data)
            audio_chunks.append(chunk)
            print(f"Chunk received: {len(chunk)} bytes")

# Assemble all chunks
audio_complet = b"".join(audio_chunks)
Path("streaming-output.opus").write_bytes(audio_complet)
print(f"Final audio: {len(audio_complet)} bytes")

Възпроизвеждане на звука при пристигане

За да постигнете обещаната отзивчивост, спрете натрупването и записвайте всеки фрагмент директно към звуковата карта. С pyaudio промяната изисква един ред: вместо да добавяте декодирания фрагмент към списък, го изпращате към изходен поток, отворен предварително и конфигуриран за моно Float32 при 24 000 Hz.

import base64
import pyaudio
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# PCM audio configuration (fastest format)
p = pyaudio.PyAudio()
stream_audio = p.open(
    format=pyaudio.paFloat32,
    channels=1,
    rate=24000,
    output=True,
)

with client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="You're hearing this sentence while I generate it.",
    voice_id="your-voice-id",
    response_format="pcm",
    stream=True,
) as stream:
    for event in stream:
        if event.event == "speech.audio.delta":
            audio_data = base64.b64decode(event.data.audio_data)
            stream_audio.write(audio_data)

stream_audio.stop_stream()
stream_audio.close()
p.terminate()

Исканият формат се промени от opus на pcm и това има значение. PCM не изисква декодиране: получените байтове са готови за възпроизвеждане веднага, което го прави препоръчителния формат за употреба в реално време.

Препредаване на стрийма към браузър

В уеб приложение сървърът не възпроизвежда звука: той го препредава. Класическият шаблон използва WebSocket, който получава текст от браузъра, отваря стрийма на Voxtral и изпраща всеки декодиран фрагмент обратно към клиента. От страна на браузъра, Web Audio API поема контрола за възпроизвеждане на получените PCM фрагменти.

# Server side (FastAPI example)
from fastapi import FastAPI, WebSocket
import base64
from mistralai.client import Mistral

app = FastAPI()
client = Mistral(api_key="your-api-key")

@app.websocket("/ws/tts")
async def tts_websocket(websocket: WebSocket):
    await websocket.accept()
    texte = await websocket.receive_text()

    with client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input=texte,
        voice_id="your-voice-id",
        response_format="pcm",
        stream=True,
    ) as stream:
        for event in stream:
            if event.event == "speech.audio.delta":
                await websocket.send_bytes(
                    base64.b64decode(event.data.audio_data)
                )

    await websocket.close()

Настройката, която прави разликата: буферът

Размерите на фрагментите варират и обикновено представляват по няколко милисекунди аудио всеки. Ако възпроизведете първия фрагмент в момента на пристигането му, всяка нередовност в мрежата причинява чуваемо микропрекъсване – пресичане в гласа, което веднага издава машината. Решението е да буферизирате два или три фрагмента преди да започнете възпроизвеждането, което струва няколко десетки милисекунди, но изглажда остатъка от стрийма.

Също така има избор на формат, който представлява компромис между латентност и честотна лента. PCM доставя първия звук най-бързо – около 0,7 секунди според измерванията, направени с Voxtral 2 (които трябва да се повторят с Voxtral TTS 3), но за сметка на висок трафик. Opus губи малко по отношение на латентността, но компресира силно, което го прави правилният компромис, когато потребителите Ви са на мобилни устройства.

Ключови изводи

  • Стриймингът изпраща аудио парче по парче по време на генерирането
  • Активирайте го с stream=True в извикването на audio.speech.complete()
  • Събитията speech.audio.delta съдържат аудио фрагменти в base64
  • Форматът PCM предлага най-ниската латентност за стрийминг (~0,7 сек. срещу ~2 сек. за MP3)
  • За възпроизвеждане в реално време използвайте pyaudio или WebSockets + Web Audio API