Optimizacija zakasnitve
Na tej strani
Tečaj posodobljen 3. novembra 2026 za Voxtral TTS 3, na podlagi vodnika Migrate from Voxtral 2 in strani Mistral Text to Speech:
voxtral-mini-tts-2603, zastarel 31. oktobra 2026 in umaknjen 30. aprila 2027, je v primerih nadomeščen zvoxtral-mini-tts-3-0. Vnaprej določeni glasovi Voxtral 2 (gb_jane_neutral…) so še vedno podprti; Voxtral 3 dodaja oznake[emotion=…]in[pace=…]v besedilu, nastavitevexpressiveness, prilagojeno izgovarjavo (phoneme_hints) in 35 jezikov. Mistral priporoča ponovno merjenje zakasnitve po selitvi. Viri: Migrate from Voxtral 2 · Speech generation.
Zakasnitev: sovražnik naravnega pogovora
V človeškem pogovoru se povprečni čas odziva giblje okoli 200 milisekund. Ko preseže 500 ms, sogovornik zazna zamudo; če preseže sekundo, predpostavi, da ga nisi slišal, in ponovi vprašanje. Da se glasovni pomočnik zdi naraven, mora čas med koncem vprašanja in začetkom odgovora ostati pod eno sekundo.
Voxtral navaja zakasnitev modela približno 90 ms, pri čemer mnoge ekipe naredijo napako: ta številka opisuje le eno povezavo v veliko daljši verigi. Uporabnik doživi vsoto vseh povezav. Optimizacija zato zahteva poznavanje stroškov vsake komponente.
Anatomija celotne zakasnitve
Pot se začne z odhodnim omrežjem: časom, ki ga potrebuje tvoja zahteva za usmerjanje do strežnikov Mistral. To je odvisno od tvoje lokacije in kakovosti povezave; iz Evrope pričakuj 20 do 80 ms. Sledi zakasnitev modela, tistih znanih 90 ms obdelave pred prvim zvočnim fragmentom – edini del, na katerega nimaš vpliva, saj spada v infrastrukturo Mistral.
Naslednji korak je kodiranje in tu se skrivajo najneprijetnejša presenečenja. PCM ne stane nič ali skoraj nič, ker ni treba ničesar kodirati. Opus doda 5 do 10 ms, kar je zanemarljivo. MP3 pa zahteva 200 do 500 ms: njegov kodek mora zbrati dovolj podatkov, preden proizvede prvi okvir. Z drugimi besedami, razvijalec, ki iz navade pusti response_format="mp3", sam doda več zamude kot celoten model.
Na koncu povratno omrežje pri pretakanju teži malo, saj so fragmenti majhni. Ostane medpomnilnik na strani odjemalca: tvoja aplikacija običajno zbere dva ali tri fragmente, preden začne predvajanje, da se izogne mikroizpadom. Prištej 50 do 150 ms – namerni strošek, ki kupi gladkost.
Pretakanje proti seriji: številke
| Metrika | Serija (brez pretakanja) | Pretakanje PCM | Pretakanje MP3 |
|---|---|---|---|
| Prvi zvok | 1–3 sekunde | ~0,7 sekunde | ~2 sekundi |
| Zaznana zakasnitev | Visoka | Zelo nizka | Srednja |
| Pasovna širina | En sam skok | Porazdeljeno | Porazdeljeno |
Ti redi velikosti so bili zabeleženi z Voxtral 2. Mistral napoveduje približno 90 ms pred prvim zvokom za Voxtral TTS 3 na strani modela in priporoča ponovno merjenje zakasnitve iz tvoje aplikacije po selitvi: ponovi te meritve s svojim omrežjem in svojo obliko.
Preklop iz serije na pretakanje PCM zmanjša zaznano zakasnitev za faktor tri do štiri. Nobena druga optimizacija v tej lekciji ne bo imela primerljivega učinka: to je prva stvar, ki jo moraš spremeniti, še pred merjenjem.
Tri vzvode na strani strežnika
Prvi vzvod je oblika. Za vsako pogovorno aplikacijo je pretakanje PCM referenčna nastavitev, preklop pa poteka brez prepisovanja tvoje logike.
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input=text,
voice_id=voice_id,
response_format="pcm", # Najmanjša zakasnitev
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
play_audio(base64.b64decode(event.data.audio_data))
Drugi vzvod leži v izbiri med shranjenim glasom in kloniranjem v realnem času. voice_id označuje glas, ki je že obdelan na strani strežnika, medtem ko ref_audio prisili ponovno obdelavo vzorca pri vsaki zahtevi. Za agenta, ki stokrat na uro odgovori z istim glasom, ta podrobnost prihrani 50 do 100 ms na vsak krog govora.
Tretji vzvod je skrajšanje tega, kar zahtevaš. Krajše kot je besedilo, hitreje prispe prvi fragment: generiranje odgovora s petimi stavki v enem bloku pomeni, da uporabnik čaka na vsebino, ki je ne bo slišal še nadaljnjih petnajst sekund. Naslednji generator razdeli odgovor po stavkih in proizvede zvok za prvega, medtem ko drugi čakajo.
def generate_by_sentence(full_text, voice_id):
"""Generiraj zvok stavek za stavkom za minimiziranje zakasnitve."""
sentences = full_text.split(". ")
for sentence in sentences:
sentence = sentence.strip()
if not sentence:
continue
if not sentence.endswith("."):
sentence += "."
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input=sentence,
voice_id=voice_id,
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
yield base64.b64decode(event.data.audio_data)
Dva vzvoda na strani odjemalca
Fiksni medpomnilnik je vedno slabo postavljen kompromis: premajhen je in dovoli mikroizpade pri obremenjenem omrežju; prevelik je in doda nepotrebno zamudo pri dobri povezavi. Spodnji razred začne predvajanje, takoj ko sta na voljo dva fragmenta, nato pa prepušča naslednje, ko prispejo, nikoli ne kopiči več kot petih.
class AdaptiveBuffer:
def __init__(self):
self.buffer = []
self.min_threshold = 2 # Najmanjše število kosov pred predvajanjem
self.max_threshold = 5 # Ne kopiči več
self.playback_started = False
def add_chunk(self, chunk):
self.buffer.append(chunk)
if not self.playback_started:
if len(self.buffer) >= self.min_threshold:
self.playback_started = True
return self.empty_buffer()
else:
return chunk
return None
def empty_buffer(self):
data = b"".join(self.buffer)
self.buffer = []
return data
Drugi vzvod stane le nekaj vrstic: ob zagonu aplikacije pošlji testno zahtevo. S tem enkrat za vselej vzpostaviš povezavo TCP in rokovanje TLS, HTTP keep-alive pa omogoči, da vse naslednje zahteve izkoristijo to pripravo. Brez tega ogrevanja prvi uporabnik dneva plača ceno.
Meri pred optimizacijo
Vse te ocene je treba potrditi glede na tvojo dejansko postavitev. Najmanjša meritev zajema časovno merjenje zamude do prejema prvega fragmenta, nato izstop iz zanke: prav ta številka, ne celotno trajanje, ustreza temu, kar doživi uporabnik.
import time
t0 = time.perf_counter()
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Latency test.",
voice_id=voice_id,
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
t1 = time.perf_counter()
print(f"First chunk received in {(t1 - t0)*1000:.0f} ms")
break
To meritev zaženi s svojega produkcijskega strežnika, ne z delovne postaje: razlika v omrežju je pogosto dovolj velika, da pojasni razkorak med prepričljivo demonstracijo in razočarajočo uvedbo.
Ključne ugotovitve
- Celotna zakasnitev vključuje omrežje, model (~90 ms), kodiranje in medpomnilnik odjemalca
- Oblika PCM ponuja najnižjo zakasnitev, ker ni kodiranja
- Pretakanje zmanjša zaznano zakasnitev za faktor 3 do 4 v primerjavi s serijo
- Uporabi
voice_idnamestoref_audio, da prihraniš 50–100 ms - Generiraj stavek za stavkom, da minimiziraš čas do prvega zvoka