Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Optimizacija zakasnitve

Lekcija 13 od 14 Posodobljeno 3. november 2026 Razvijalec
Na tej strani
  1. Zakasnitev: sovražnik naravnega pogovora
  2. Anatomija celotne zakasnitve
  3. Pretakanje proti seriji: številke
  4. Tri vzvode na strani strežnika
  5. Dva vzvoda na strani odjemalca
  6. Meri pred optimizacijo
  7. Ključne ugotovitve

Tečaj posodobljen 3. novembra 2026 za Voxtral TTS 3, na podlagi vodnika Migrate from Voxtral 2 in strani Mistral Text to Speech: voxtral-mini-tts-2603, zastarel 31. oktobra 2026 in umaknjen 30. aprila 2027, je v primerih nadomeščen z voxtral-mini-tts-3-0. Vnaprej določeni glasovi Voxtral 2 (gb_jane_neutral…) so še vedno podprti; Voxtral 3 dodaja oznake [emotion=…] in [pace=…] v besedilu, nastavitev expressiveness, prilagojeno izgovarjavo (phoneme_hints) in 35 jezikov. Mistral priporoča ponovno merjenje zakasnitve po selitvi. Viri: Migrate from Voxtral 2 · Speech generation.

Zakasnitev: sovražnik naravnega pogovora

V človeškem pogovoru se povprečni čas odziva giblje okoli 200 milisekund. Ko preseže 500 ms, sogovornik zazna zamudo; če preseže sekundo, predpostavi, da ga nisi slišal, in ponovi vprašanje. Da se glasovni pomočnik zdi naraven, mora čas med koncem vprašanja in začetkom odgovora ostati pod eno sekundo.

Voxtral navaja zakasnitev modela približno 90 ms, pri čemer mnoge ekipe naredijo napako: ta številka opisuje le eno povezavo v veliko daljši verigi. Uporabnik doživi vsoto vseh povezav. Optimizacija zato zahteva poznavanje stroškov vsake komponente.

Anatomija celotne zakasnitve

Pot se začne z odhodnim omrežjem: časom, ki ga potrebuje tvoja zahteva za usmerjanje do strežnikov Mistral. To je odvisno od tvoje lokacije in kakovosti povezave; iz Evrope pričakuj 20 do 80 ms. Sledi zakasnitev modela, tistih znanih 90 ms obdelave pred prvim zvočnim fragmentom – edini del, na katerega nimaš vpliva, saj spada v infrastrukturo Mistral.

Naslednji korak je kodiranje in tu se skrivajo najneprijetnejša presenečenja. PCM ne stane nič ali skoraj nič, ker ni treba ničesar kodirati. Opus doda 5 do 10 ms, kar je zanemarljivo. MP3 pa zahteva 200 do 500 ms: njegov kodek mora zbrati dovolj podatkov, preden proizvede prvi okvir. Z drugimi besedami, razvijalec, ki iz navade pusti response_format="mp3", sam doda več zamude kot celoten model.

Na koncu povratno omrežje pri pretakanju teži malo, saj so fragmenti majhni. Ostane medpomnilnik na strani odjemalca: tvoja aplikacija običajno zbere dva ali tri fragmente, preden začne predvajanje, da se izogne mikroizpadom. Prištej 50 do 150 ms – namerni strošek, ki kupi gladkost.

Pretakanje proti seriji: številke

MetrikaSerija (brez pretakanja)Pretakanje PCMPretakanje MP3
Prvi zvok1–3 sekunde~0,7 sekunde~2 sekundi
Zaznana zakasnitevVisokaZelo nizkaSrednja
Pasovna širinaEn sam skokPorazdeljenoPorazdeljeno

Ti redi velikosti so bili zabeleženi z Voxtral 2. Mistral napoveduje približno 90 ms pred prvim zvokom za Voxtral TTS 3 na strani modela in priporoča ponovno merjenje zakasnitve iz tvoje aplikacije po selitvi: ponovi te meritve s svojim omrežjem in svojo obliko.

Preklop iz serije na pretakanje PCM zmanjša zaznano zakasnitev za faktor tri do štiri. Nobena druga optimizacija v tej lekciji ne bo imela primerljivega učinka: to je prva stvar, ki jo moraš spremeniti, še pred merjenjem.

Tri vzvode na strani strežnika

Prvi vzvod je oblika. Za vsako pogovorno aplikacijo je pretakanje PCM referenčna nastavitev, preklop pa poteka brez prepisovanja tvoje logike.

with client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input=text,
    voice_id=voice_id,
    response_format="pcm",  # Najmanjša zakasnitev
    stream=True,
) as stream:
    for event in stream:
        if event.event == "speech.audio.delta":
            play_audio(base64.b64decode(event.data.audio_data))

Drugi vzvod leži v izbiri med shranjenim glasom in kloniranjem v realnem času. voice_id označuje glas, ki je že obdelan na strani strežnika, medtem ko ref_audio prisili ponovno obdelavo vzorca pri vsaki zahtevi. Za agenta, ki stokrat na uro odgovori z istim glasom, ta podrobnost prihrani 50 do 100 ms na vsak krog govora.

Tretji vzvod je skrajšanje tega, kar zahtevaš. Krajše kot je besedilo, hitreje prispe prvi fragment: generiranje odgovora s petimi stavki v enem bloku pomeni, da uporabnik čaka na vsebino, ki je ne bo slišal še nadaljnjih petnajst sekund. Naslednji generator razdeli odgovor po stavkih in proizvede zvok za prvega, medtem ko drugi čakajo.

def generate_by_sentence(full_text, voice_id):
    """Generiraj zvok stavek za stavkom za minimiziranje zakasnitve."""
    sentences = full_text.split(". ")

    for sentence in sentences:
        sentence = sentence.strip()
        if not sentence:
            continue
        if not sentence.endswith("."):
            sentence += "."

        with client.audio.speech.complete(
            model="voxtral-mini-tts-3-0",
            input=sentence,
            voice_id=voice_id,
            response_format="pcm",
            stream=True,
        ) as stream:
            for event in stream:
                if event.event == "speech.audio.delta":
                    yield base64.b64decode(event.data.audio_data)

Dva vzvoda na strani odjemalca

Fiksni medpomnilnik je vedno slabo postavljen kompromis: premajhen je in dovoli mikroizpade pri obremenjenem omrežju; prevelik je in doda nepotrebno zamudo pri dobri povezavi. Spodnji razred začne predvajanje, takoj ko sta na voljo dva fragmenta, nato pa prepušča naslednje, ko prispejo, nikoli ne kopiči več kot petih.

class AdaptiveBuffer:
    def __init__(self):
        self.buffer = []
        self.min_threshold = 2   # Najmanjše število kosov pred predvajanjem
        self.max_threshold = 5   # Ne kopiči več
        self.playback_started = False

    def add_chunk(self, chunk):
        self.buffer.append(chunk)

        if not self.playback_started:
            if len(self.buffer) >= self.min_threshold:
                self.playback_started = True
                return self.empty_buffer()
        else:
            return chunk
        return None

    def empty_buffer(self):
        data = b"".join(self.buffer)
        self.buffer = []
        return data

Drugi vzvod stane le nekaj vrstic: ob zagonu aplikacije pošlji testno zahtevo. S tem enkrat za vselej vzpostaviš povezavo TCP in rokovanje TLS, HTTP keep-alive pa omogoči, da vse naslednje zahteve izkoristijo to pripravo. Brez tega ogrevanja prvi uporabnik dneva plača ceno.

Meri pred optimizacijo

Vse te ocene je treba potrditi glede na tvojo dejansko postavitev. Najmanjša meritev zajema časovno merjenje zamude do prejema prvega fragmenta, nato izstop iz zanke: prav ta številka, ne celotno trajanje, ustreza temu, kar doživi uporabnik.

import time

t0 = time.perf_counter()

with client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Latency test.",
    voice_id=voice_id,
    response_format="pcm",
    stream=True,
) as stream:
    for event in stream:
        if event.event == "speech.audio.delta":
            t1 = time.perf_counter()
            print(f"First chunk received in {(t1 - t0)*1000:.0f} ms")
            break

To meritev zaženi s svojega produkcijskega strežnika, ne z delovne postaje: razlika v omrežju je pogosto dovolj velika, da pojasni razkorak med prepričljivo demonstracijo in razočarajočo uvedbo.

Ključne ugotovitve

  • Celotna zakasnitev vključuje omrežje, model (~90 ms), kodiranje in medpomnilnik odjemalca
  • Oblika PCM ponuja najnižjo zakasnitev, ker ni kodiranja
  • Pretakanje zmanjša zaznano zakasnitev za faktor 3 do 4 v primerjavi s serijo
  • Uporabi voice_id namesto ref_audio, da prihraniš 50–100 ms
  • Generiraj stavek za stavkom, da minimiziraš čas do prvega zvoka