Optymalizacja opóźnień
Na tej stronie
Kurs zaktualizowany 3 listopada 2026 r. dla Voxtral TTS 3, na podstawie przewodnika Migrate from Voxtral 2 oraz dokumentacji Mistral Text to Speech: model
voxtral-mini-tts-2603, wycofany 31 października 2026 r. i całkowicie usunięty 30 kwietnia 2027 r., został zastąpiony w przykładach przezvoxtral-mini-tts-3-0. Predefiniowane głosy Voxtral 2 (gb_jane_neutral…) są nadal obsługiwane; Voxtral 3 wprowadza tagi[emotion=…]i[pace=…]w tekście, ustawienieexpressiveness, niestandardową wymowę (phoneme_hints) oraz obsługę 35 języków. Mistral zaleca ponowny pomiar opóźnień po migracji. Źródła: Migrate from Voxtral 2 · Speech generation.
Opóźnienie: wróg naturalnej rozmowy
W ludzkiej rozmowie średni czas reakcji wynosi około 200 milisekund. Powyżej 500 ms rozmówca zaczyna odczuwać opóźnienie; powyżej jednej sekundy zakłada, że go nie usłyszałeś i powtarza pytanie. Aby asystent głosowy brzmiał naturalnie, czas między końcem pytania a rozpoczęciem odpowiedzi musi być krótszy niż jedna sekunda.
Voxtral reklamuje opóźnienie modelu na poziomie około 90 ms i tutaj wiele zespołów popełnia błąd: liczba ta dotyczy tylko jednego ogniwa w znacznie dłuższym łańcuchu. To, co odczuwa użytkownik, to suma wszystkich ogniw. Optymalizacja wymaga więc znajomości kosztu każdego komponentu.
Anatomia całkowitego opóźnienia
Podróż zaczyna się od sieci wychodzącej: czasu potrzebnego na przesłanie żądania do serwerów Mistral. Zależy to od Twojej lokalizacji i jakości połączenia; z Europy spodziewaj się 20–80 ms. Następnie mamy opóźnienie modelu – słynne 90 ms przetwarzania przed pierwszym fragmentem dźwięku. To jedyny element, nad którym nie masz kontroli, ponieważ należy do infrastruktury Mistral.
Kolejnym krokiem jest kodowanie i tutaj czają się najgorsze niespodzianki. PCM nie kosztuje nic lub prawie nic, bo nie ma czego kodować. Opus dodaje 5–10 ms, co pozostaje pomijalne. MP3 wymaga jednak 200–500 ms: jego kodek musi zgromadzić wystarczającą ilość danych, zanim wyprodukuje pierwszą klatkę. Innymi słowy, programista, który z przyzwyczajenia zostawia response_format="mp3", dodaje więcej opóźnienia z własnej winy niż cały model.
Na koniec sieć powrotna waży niewiele w trybie strumieniowym, ponieważ fragmenty są małe. Pozostaje bufor po stronie klienta: Twoja aplikacja zazwyczaj gromadzi dwa lub trzy fragmenty przed rozpoczęciem odtwarzania, aby uniknąć mikro-przerwań. Dodajemy tu 50–150 ms – celowy koszt, który kupuje płynność.
Strumieniowanie kontra wsadowo: liczby
| Metryka | Wsadowo (bez strumieniowania) | Strumieniowanie PCM | Strumieniowanie MP3 |
|---|---|---|---|
| Pierwszy dźwięk | 1–3 sekundy | ~0,7 sekundy | ~2 sekundy |
| Odczuwane opóźnienie | Wysokie | Bardzo niskie | Średnie |
| Przepustowość | Pojedynczy skok | Rozłożona w czasie | Rozłożona w czasie |
Te rzędy wielkości zanotowano dla Voxtral 2. Mistral ogłasza około 90 ms przed pierwszym dźwiękiem dla Voxtral TTS 3 po stronie modelu i zaleca ponowny pomiar opóźnienia z poziomu Twojej aplikacji po migracji: wykonaj te pomiary w swojej sieci i dla swojego formatu.
Przejście z trybu wsadowego na strumieniowanie PCM redukuje odczuwane opóźnienie trzy- do czterokrotnie. Żadna inna optymalizacja w tej lekcji nie przyniesie porównywalnego efektu: to pierwsza rzecz, którą musisz zmienić, jeszcze przed pomiarami.
Trzy dźwignie po stronie serwera
Pierwszą dźwignią jest format. Dla każdej aplikacji konwersacyjnej strumieniowanie PCM jest ustawieniem referencyjnym, a przełączenie następuje bez przepisywania logiki.
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input=text,
voice_id=voice_id,
response_format="pcm", # Minimalne opóźnienie
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
play_audio(base64.b64decode(event.data.audio_data))
Druga dźwignia leży w wyborze między zapisanym głosem a klonowaniem w locie. voice_id oznacza głos już przetworzony po stronie serwera, podczas gdy ref_audio wymusza ponowne przetwarzanie próbki przy każdym żądaniu. Dla agenta odpowiadającego sto razy na godzinę tym samym głosem, ten szczegół oszczędza 50–100 ms na każdą turę wypowiedzi.
Trzecią dźwignią jest skrócenie tego, o co prosisz. Im krótszy tekst, tym szybciej przybędzie pierwszy fragment: generowanie odpowiedzi składającej się z pięciu zdań w jednym bloku oznacza zmuszanie użytkownika do czekania na treść, której nie usłyszy przez kolejne piętnaście sekund. Poniższy generator dzieli odpowiedź na zdania i produkuje audio dla pierwszego z nich, podczas gdy pozostałe czekają.
def generate_by_sentence(full_text, voice_id):
"""Generuj audio zdanie po zdaniu, aby zminimalizować opóźnienie."""
sentences = full_text.split(". ")
for sentence in sentences:
sentence = sentence.strip()
if not sentence:
continue
if not sentence.endswith("."):
sentence += "."
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input=sentence,
voice_id=voice_id,
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
yield base64.b64decode(event.data.audio_data)
Dwie dźwignie po stronie klienta
Stały bufor to zawsze źle umiejscowiony kompromis: zbyt mały przepuszcza mikro-przerwania przy obciążonej sieci; zbyt duży dodaje niepotrzebne opóźnienie przy dobrym połączeniu. Poniższa klasa rozpoczyna odtwarzanie, gdy dostępne są dwa fragmenty, a następnie przepuszcza kolejne w miarę ich przybywania, nigdy nie gromadząc więcej niż pięciu.
class AdaptiveBuffer:
def __init__(self):
self.buffer = []
self.min_threshold = 2 # Minimalna liczba fragmentów przed odtwarzaniem
self.max_threshold = 5 # Nie gromadź więcej
self.playback_started = False
def add_chunk(self, chunk):
self.buffer.append(chunk)
if not self.playback_started:
if len(self.buffer) >= self.min_threshold:
self.playback_started = True
return self.empty_buffer()
else:
return chunk
return None
def empty_buffer(self):
data = b"".join(self.buffer)
self.buffer = []
return data
Druga dźwignia kosztuje tylko kilka linii: wyślij żądanie testowe podczas uruchamiania aplikacji. Ustanawia to połączenie TCP i handshake TLS raz na zawsze, a HTTP keep-alive pozwala wszystkim kolejnym żądaniom skorzystać z tego przygotowania. Bez tego „rozgrzania“ pierwszy użytkownik dnia płaci cenę.
Mierz przed optymalizacją
Wszystkie te szacunki muszą zostać zweryfikowane w Twojej rzeczywistej konfiguracji. Minimalny pomiar polega na zmierzeniu czasu do otrzymania pierwszego fragmentu, a następnie wyjściu z pętli: to ta liczba, a nie całkowity czas trwania, odpowiada temu, co odczuwa użytkownik.
import time
t0 = time.perf_counter()
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Latency test.",
voice_id=voice_id,
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
t1 = time.perf_counter()
print(f"Pierwszy fragment otrzymany w {(t1 - t0)*1000:.0f} ms")
break
Uruchom ten pomiar ze swojego serwera produkcyjnego, a nie ze stacji roboczej: różnica w sieci często wystarcza, by wyjaśnić przepaść między przekonującą demonstracją a rozczarowującym wdrożeniem.
Kluczowe wnioski
- Całkowite opóźnienie obejmuje sieć, model (~90 ms), kodowanie i bufor klienta
- Format PCM oferuje najniższe opóźnienie, ponieważ nie wymaga kodowania
- Strumieniowanie redukuje odczuwane opóźnienie 3–4 razy w porównaniu do trybu wsadowego
- Używaj
voice_idzamiastref_audio, aby zaoszczędzić 50–100 ms - Generuj zdanie po zdaniu, aby zminimalizować czas do pierwszego dźwięku