Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Optimalizácia oneskorenia

Lekcia 13 z 14 Aktualizované 3. novembra 2026 Vývojár
Na tejto strane
  1. Oneskorzenie: Nepriateľ prirodzenej konverzácie
  2. Anatómia celkového oneskorenia
  3. Streaming verzus Batch: Čísla
  4. Tri páky na strane servera
  5. Dve páky na strane klienta
  6. Meraj pred optimalizáciou
  7. Kľúčové poznatky

Kurz aktualizovaný 3. novembra 2026 pre Voxtral TTS 3, na základe sprievodcu Migrácia z Voxtral 2 a stránok Mistral Text to Speech: voxtral-mini-tts-2603, zastaraný od 31. októbra 2026 a vyradený 30. apríla 2027, je v príkladoch nahradený modelom voxtral-mini-tts-3-0. Preddefinované hlasy Voxtral 2 (gb_jane_neutral…) zostávajú podporované; Voxtral 3 pridáva značky [emotion=…] a [pace=…] priamo do textu, nastavenie expressiveness, vlastnú výslovnosť (phoneme_hints) a podporu 35 jazykov. Mistral odporúča po migrácii znovu zmerať oneskorenie. Zdroje: Migrácia z Voxtral 2 · Generovanie reči.

Oneskorzenie: Nepriateľ prirodzenej konverzácie

V ľudskej konverzácii sa priemerný čas odozvy pohybuje okolo 200 milisekúnd. Pri oneskorení nad 500 ms si druhá strana všimne oneskorenie; ak presiahne jednu sekundu, predpokladá, že ste ju nepočuli, a otázku zopakuje. Aby pôsobil hlasový asistent prirodzene, musí byť čas medzi koncom otázky a začiatkom odpovede kratší ako jedna sekunda.

Voxtral uvádza oneskorenie modelu približne 90 ms, no práve tu mnohé tímy robia chybu: toto číslo opisuje iba jeden článok v oveľa dlhšom reťazci. To, čo zažíva používateľ, je súčtom všetkých článkov. Optimalizácia si preto vyžaduje poznať cenu každej zložky.

Anatómia celkového oneskorenia

Cesta začína odchádzajúcou sieťou: časom potrebným na smerovanie vašej požiadavky na servery Mistral. Závisí to od vašej polohy a kvality pripojenia; z Európy počítajte s 20 až 80 ms. Nasleduje oneskorenie modelu, oných slávnych 90 ms spracovania pred prvým audio fragmentom – jediná časť, ktorú nemôžete ovplyvniť, keďže patrí infraštruktúre Mistral.

Ďalším krokom je kódovanie a práve tu číhajú tie najnepríjemnejšie prekvapenia. PCM nestojí nič, alebo takmer nič, pretože nie je čo kódovať. Opus pridá 5 až 10 ms, čo zostáva zanedbateľné. MP3 si však vyžaduje 200 až 500 ms: jeho kodek musí nazbierať dostatok dát, než vyprodukuje prvý snímok. Inými slovami, vývojár, ktorý zo zvyku ponechá response_format="mp3", pridá vlastnoručne viac oneskorenia, než predstavuje celý model.

Nakoniec, spätná sieť váži v streamingu málo, keďže fragmenty sú malé. Zostáva vyrovnávacia pamäť na strane klienta: vaša aplikácia zvyčajne nahromadí dva alebo tri fragmenty pred začatím prehrávania, aby sa vyhla mikro-výpadkom. Pripočítajte 50 až 150 ms – ide o úmyselnú cenu za plynulosť.

Streaming verzus Batch: Čísla

MetrikaBatch (bez streamingu)Streaming PCMStreaming MP3
Prvý zvuk1–3 sekundy~0,7 sekundy~2 sekundy
Vnímané oneskorenieVysokéVeľmi nízkeStredné
Šírka pásmaJediný špičkový nárastRozloženéRozložené

Tieto rády veľkostí boli zaznamenané pri Voxtral 2. Mistral oznamuje približne 90 ms pred prvým zvukom pre Voxtral TTS 3 na strane modelu a odporúča po migrácii znovu zmerať oneskorenie z vašej aplikácie: zopakujte tieto merania vo vašej sieti a s vaším formátom.

Prechod z batch spracovania na streaming PCM zníži vnímané oneskorenie troj- až štvornásobne. Žiadna iná optimalizácia v tejto lekcii nebude mať porovnateľný účinok: toto je prvá vec, ktorú treba zmeniť, ešte pred meraním.

Tri páky na strane servera

Prvou pákou je formát. Pre akúkoľvek konverzačnú aplikáciu je referenčným nastavením streaming PCM a prepínate ho bez prepisovania vašej logiky.

with client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input=text,
    voice_id=voice_id,
    response_format="pcm",  # Minimálne oneskorenie
    stream=True,
) as stream:
    for event in stream:
        if event.event == "speech.audio.delta":
            play_audio(base64.b64decode(event.data.audio_data))

Druhá páka spočíva vo výbere medzi uloženým hlasom a klonovaním za behu. voice_id označuje hlas už spracovaný na strane servera, zatiaľ čo ref_audio núti vzorku znovu spracovávať pri každej požiadavke. Pre agenta odpovedajúceho stokrát za hodinu tým istým hlasom tento detail ušetrí 50 až 100 ms na každú odpoveď.

Treťou pákou je skrátenie toho, o čo žiadate. Čím kratší text, tým rýchlejšie dorazí prvý fragment: generovanie odpovede s piatimi vetami v jednom bloku znamená nechať používateľa čakať na obsah, ktorý nepočuje ďalších pätnásť sekúnd. Nasledujúci generátor rozdelí odpoveď podľa viet a vytvorí audio pre prvú z nich, zatiaľ čo ostatné čakajú.

def generate_by_sentence(full_text, voice_id):
    """Generuje audio vetu po vete na minimalizáciu oneskorenia."""
    sentences = full_text.split(". ")

    for sentence in sentences:
        sentence = sentence.strip()
        if not sentence:
            continue
        if not sentence.endswith("."):
            sentence += "."

        with client.audio.speech.complete(
            model="voxtral-mini-tts-3-0",
            input=sentence,
            voice_id=voice_id,
            response_format="pcm",
            stream=True,
        ) as stream:
            for event in stream:
                if event.event == "speech.audio.delta":
                    yield base64.b64decode(event.data.audio_data)

Dve páky na strane klienta

Pevná vyrovnávacia pamäť je vždy zle umiestneným kompromisom: príliš malá prepúšťa mikro-výpadky pri zaťaženej sieti; príliš veľká pridáva zbytočné oneskorenie pri dobrom pripojení. Trieda nižšie spustí prehrávanie hneď, ako sú k dispozícii dva fragmenty, a následné nechá prechádzať, ako prichádzajú, nikdy nehromadiac viac ako päť.

class AdaptiveBuffer:
    def __init__(self):
        self.buffer = []
        self.min_threshold = 2   # Minimálny počet chunkov pred prehrávaním
        self.max_threshold = 5   # Nehromadiť viac
        self.playback_started = False

    def add_chunk(self, chunk):
        self.buffer.append(chunk)

        if not self.playback_started:
            if len(self.buffer) >= self.min_threshold:
                self.playback_started = True
                return self.empty_buffer()
        else:
            return chunk
        return None

    def empty_buffer(self):
        data = b"".join(self.buffer)
        self.buffer = []
        return data

Druhá páka stojí len pár riadkov: pošlite testovaciu požiadavku pri štarte vašej aplikácie. Tým sa raz a navždy nadviaže TCP spojenie a TLS handshake a HTTP keep-alive umožní všetkým nasledujúcim požiadavkám využiť túto prípravu. Bez tohto „zahriatia“ zaplatí cenu váš prvý používateľ dňa.

Meraj pred optimalizáciou

Všetky tieto odhady musíte overiť vo vašom skutočnom prostredí. Minimálne meranie spočíva v časovaní oneskorenia do prijatia prvého fragmentu a následnom ukončení slučky: práve toto číslo, nie celková dĺžka trvania, zodpovedá tomu, čo zažíva používateľ.

import time

t0 = time.perf_counter()

with client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Latency test.",
    voice_id=voice_id,
    response_format="pcm",
    stream=True,
) as stream:
    for event in stream:
        if event.event == "speech.audio.delta":
            t1 = time.perf_counter()
            print(f"Prvý chunk prijatý za {(t1 - t0)*1000:.0f} ms")
            break

Spustite toto meranie z vášho produkčného servera, nie z pracovnej stanice: rozdiel v sieti často stačí na vysvetlenie priepasti medzi presvedčivým demom a sklamaním pri nasadení.

Kľúčové poznatky

  • Celkové oneskorenie zahŕňa sieť, model (~90 ms), kódovanie a klientsku vyrovnávaciu pamäť
  • Formát PCM ponúka najnižšie oneskorenie, keďže nevyžaduje kódovanie
  • Streaming znižuje vnímané oneskorenie 3- až 4-násobne v porovnaní s batch spracovaním
  • Používajte voice_id namiesto ref_audio na úsporu 50–100 ms
  • Generujte vetu po vete na minimalizáciu času do prvého zvuku