Ottimizzazione della latenza
In questa pagina
Corso aggiornato il 3 novembre 2026 per Voxtral TTS 3, basato sulla guida Migrate from Voxtral 2 e sulle pagine Text to Speech di Mistral:
voxtral-mini-tts-2603, deprecato il 31 ottobre 2026 e ritirato il 30 aprile 2027, è sostituito negli esempi davoxtral-mini-tts-3-0. Le voci predefinite di Voxtral 2 (gb_jane_neutral…) rimangono supportate; Voxtral 3 aggiunge i tag[emotion=…]e[pace=…]nel testo, l’impostazioneexpressiveness, la pronuncia personalizzata (phoneme_hints) e 35 lingue. Mistral consiglia di rimisurare la latenza dopo la migrazione. Fonti: Migrate from Voxtral 2 · Speech generation.
Latenza: il nemico della conversazione naturale
In una conversazione umana, il tempo medio di risposta si aggira intorno ai 200 millisecondi. Oltre i 500 ms, l’interlocutore percepisce un ritardo; oltre un secondo, presume che tu non l’abbia sentito e ripete la domanda. Affinché un assistente vocale sembri naturale, il tempo tra la fine della domanda e l’inizio della risposta deve rimanere inferiore a un secondo.
Voxtral pubblicizza una latenza del modello di circa 90 ms, ed è qui che molti team sbagliano: questa cifra descrive solo un anello di una catena molto più lunga. Ciò che l’utente sperimenta è la somma di tutti gli anelli. L’ottimizzazione richiede quindi di conoscere il costo di ogni componente.
Anatomia della latenza totale
Il viaggio inizia con la rete in uscita: il tempo necessario per instradare la tua richiesta ai server di Mistral. Questo dipende dalla tua posizione e dalla qualità della connessione; dall’Europa, aspettati da 20 a 80 ms. Segue la latenza del modello, quei famosi 90 ms di elaborazione prima del primo frammento audio: l’unica parte su cui non hai alcun controllo, poiché appartiene all’infrastruttura di Mistral.
Il passo successivo è la codifica, ed è qui che si nascondono le sorprese peggiori. Il PCM non costa nulla, o quasi, perché non c’è nulla da codificare. Opus aggiunge da 5 a 10 ms, il che rimane trascurabile. L’MP3, invece, richiede da 200 a 500 ms: il suo codec deve accumulare dati sufficienti prima di produrre il primo frame. In altre parole, uno sviluppatore che lascia response_format="mp3" per abitudine aggiunge da solo più ritardo dell’intero modello.
Infine, la rete di ritorno pesa poco nello streaming poiché i frammenti sono piccoli. Ciò che resta è il buffer lato client: la tua applicazione accumula generalmente due o tre frammenti prima di avviare la riproduzione per evitare micro-interruzioni. Aggiungi da 50 a 150 ms: un costo deliberato che acquista fluidità.
Streaming vs Batch: i numeri
| Metrica | Batch (no streaming) | Streaming PCM | Streaming MP3 |
|---|---|---|---|
| Primo suono | 1-3 secondi | ~0,7 secondi | ~2 secondi |
| Latenza percepita | Alta | Molto bassa | Media |
| Larghezza di banda | Picco singolo | Distribuita | Distribuita |
Questi ordini di grandezza sono stati registrati con Voxtral 2. Mistral annuncia circa 90 ms prima del primo suono per Voxtral TTS 3 lato modello e consiglia di rimisurare la latenza dalla tua applicazione dopo la migrazione: rifai queste misurazioni con la tua rete e il tuo formato.
Passare dal batch allo streaming PCM riduce la latenza percepita di un fattore da tre a quattro. Nessuna altra ottimizzazione in questa lezione avrà un effetto comparabile: questa è la prima cosa da cambiare, anche prima di misurare.
Tre leve lato server
La prima leva è il formato. Per qualsiasi applicazione conversazionale, lo streaming PCM è l’impostazione di riferimento e il passaggio avviene senza riscrivere la tua logica.
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input=text,
voice_id=voice_id,
response_format="pcm", # Latenza minima
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
play_audio(base64.b64decode(event.data.audio_data))
La seconda leva risiede nella scelta tra una voce salvata e il cloning al volo. Un voice_id designa una voce già elaborata lato server, mentre ref_audio forza la rielaborazione del campione a ogni richiesta. Per un agente che risponde cento volte all’ora con la stessa voce, questo dettaglio risparmia da 50 a 100 ms per ogni turno di parola.
La terza leva è accorciare ciò che richiedi. Più breve è il testo, più veloce arriva il primo frammento: generare una risposta di cinque frasi in un unico blocco significa far aspettare l’utente per contenuti che non sentirà prima di altri quindici secondi. Il generatore seguente divide la risposta per frase e produce l’audio per la prima mentre le altre attendono.
def generate_by_sentence(full_text, voice_id):
"""Genera audio frase per frase per minimizzare la latenza."""
sentences = full_text.split(". ")
for sentence in sentences:
sentence = sentence.strip()
if not sentence:
continue
if not sentence.endswith("."):
sentence += "."
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input=sentence,
voice_id=voice_id,
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
yield base64.b64decode(event.data.audio_data)
Due leve lato client
Un buffer fisso è sempre un compromesso mal posizionato: troppo piccolo e lascia passare micro-interruzioni su una rete carica; troppo grande e aggiunge ritardi inutili su una buona connessione. La classe sottostante avvia la riproduzione non appena sono disponibili due frammenti, lasciando poi passare quelli successivi man mano che arrivano, senza accumularne mai più di cinque.
class AdaptiveBuffer:
def __init__(self):
self.buffer = []
self.min_threshold = 2 # Chunk minimi prima della riproduzione
self.max_threshold = 5 # Non accumulare oltre
self.playback_started = False
def add_chunk(self, chunk):
self.buffer.append(chunk)
if not self.playback_started:
if len(self.buffer) >= self.min_threshold:
self.playback_started = True
return self.empty_buffer()
else:
return chunk
return None
def empty_buffer(self):
data = b"".join(self.buffer)
self.buffer = []
return data
La seconda leva costa solo poche righe: invia una richiesta di test quando la tua applicazione si avvia. Questo stabilisce la connessione TCP e l’handshake TLS una volta per tutte, e il keep-alive HTTP permette a tutte le richieste successive di beneficiare di questa preparazione. Senza questo riscaldamento, il tuo primo utente della giornata ne paga il prezzo.
Misura prima di ottimizzare
Tutte queste stime devono essere validate rispetto alla tua configurazione effettiva. La misurazione minima consiste nel cronometrare il ritardo fino alla ricezione del primo frammento, uscendo poi dal ciclo: è questa cifra, non la durata totale, che corrisponde a ciò che l’utente sperimenta.
import time
t0 = time.perf_counter()
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Latency test.",
voice_id=voice_id,
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
t1 = time.perf_counter()
print(f"First chunk received in {(t1 - t0)*1000:.0f} ms")
break
Esegui questa misurazione dal tuo server di produzione, non dalla tua workstation: la differenza di rete è spesso sufficiente a spiegare il divario tra una demo convincente e un deployment deludente.
Punti chiave
- La latenza totale include rete, modello (~90 ms), codifica e buffer client
- Il formato PCM offre la latenza più bassa perché non richiede codifica
- Lo streaming riduce la latenza percepita di un fattore da 3 a 4 rispetto al batch
- Usa un
voice_idinvece diref_audioper risparmiare 50-100 ms - Genera frase per frase per minimizzare il tempo fino al primo suono