Prossimi passi: oltre la trascrizione
In questa pagina
Corso aggiornato il 3 novembre 2026 per Voxtral 3, basato sulla guida Migrate from Voxtral 2 di Mistral: i modelli Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603, deprecati il 31 ottobre 2026 e ritirati il 30 aprile 2027) sono sostituiti negli esempi davoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3evoxtral-mini-tts-3-0. Cambiamenti chiave: i timestamp sono solo a livello di segmento (wordrestituisce un errore 400), la diarizzazione in tempo reale è supportata, le impostazioni di sessione in tempo reale sono bloccate dopo il primo chunk audio e gli inputcontext_biassono in formato libero (frasi con spazi). Fonti: Migrate from Voxtral 2 · Speech to Text.
Cosa hai imparato
Hai completato il percorso attraverso entrambe le modalità di trascrizione di Voxtral. In modalità offline, trascrivi file audio con diarizzazione, timestamp e contestualizzazione lessicale utilizzando Voxtral Mini Transcribe 3. In modalità real-time, trascrivi flussi continui con latenza configurabile tramite Voxtral Realtime, acquisisci l’input dal microfono e sfrutti il pattern del doppio ritardo. Per ogni capacità, ora disponi di codice Python completo e dell’intuito necessario per passare alla produzione.
La trascrizione è però solo metà della storia. L’ecosistema audio di Mistral AI gestisce anche il percorso inverso, ed è la combinazione di entrambe le direzioni che abilita applicazioni veramente conversazionali.
Voxtral TTS: dare voce al testo
Voxtral TTS è l’esatto corrispettivo della trascrizione: trasforma il testo in voce naturale. Supporta il voice cloning zero-shot, il che significa che può riprodurre una voce partendo da soli due o tre secondi di audio senza addestramento preliminare. Si basa inoltre sul principio della voce come istruzione: il modello segue l’intonazione, il ritmo e l’emozione del prompt vocale che fornisci, quindi non devi inserire tag di prosodia nel testo; mostri invece il tono desiderato invece di descriverlo. La copertura linguistica include inglese, francese, spagnolo, portoghese, italiano, olandese, tedesco, hindi e arabo. Funziona anche in modalità streaming, con una latenza del modello di circa 90 millisecondi e un tempo per il primo audio di circa 0,8 secondi in PCM, rendendolo adatto alle conversazioni live.
Nella pratica, Voxtral TTS dà voce alle tue applicazioni: assistenti virtuali, narrazione automatizzata, strumenti di accessibilità e doppiaggio.
La pipeline completa: STT, LLM, TTS
Messi insieme, questi tre componenti formano un ciclo completo. L’audio dell’utente diventa testo, il testo viene compreso ed elaborato da un modello linguistico e la risposta ridiventa audio.
User Audio → Voxtral STT → Text
↓
Mistral LLM (reasoning)
↓
Text Response → Voxtral TTS → Audio Response
Il codice sottostante implementa questa pipeline. I primi due passaggi ti sono familiari: trascrizione streaming a 300 millisecondi per catturare la domanda, quindi chiamata all’LLM con un prompt di sistema che impone un registro parlato. Il terzo passaggio rimane commentato, poiché le API di sintesi sono trattate in un corso dedicato; il pattern di chiamata è incluso qui per mostrare dove si inserisce.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async def pipeline_vocal_complet(source_audio_utilisateur):
"""Complete pipeline: listen, understand, respond."""
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Step 1: Transcribe user speech (STT)
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
question_parts = []
print("Listening...", flush=True)
async for event in client.audio.realtime.transcribe_stream(
audio_stream=source_audio_utilisateur,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=300,
):
if isinstance(event, TranscriptionStreamTextDelta):
question_parts.append(event.text)
elif isinstance(event, TranscriptionStreamDone):
break
question = "".join(question_parts).strip()
print(f"Question: {question}")
# Step 2: Generate an intelligent response (LLM)
reponse_llm = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a voice assistant. "
"Respond concisely and naturally, "
"as in a spoken conversation."
},
{"role": "user", "content": question}
]
)
reponse_texte = reponse_llm.choices[0].message.content
print(f"Response: {reponse_texte}")
# Step 3: Synthesize the response into audio (TTS)
# Note: The TTS API will be covered in a dedicated course
# Here is the call pattern:
#
# audio_response = client.audio.speech.complete(
# model="voxtral-mini-tts-3-0",
# input=reponse_texte,
# voice_id="gb_jane_neutral",
# response_format="wav",
# )
# Audio arrives base64-encoded in audio_response.audio_data
#
# Play audio via a player (PyAudio, sounddevice, etc.)
return {
"question": question,
"reponse": reponse_texte
}
Cosa abilita questa pipeline
L’assistente vocale aziendale è l’applicazione più immediata: comprende le domande dei dipendenti e risponde utilizzando la base di conoscenza interna. La trascrizione in tempo reale cattura la domanda, l’LLM interroga un database vettoriale tramite RAG e il TTS pronuncia la risposta ad alta voce.
L’agente di call center spinge la logica oltre, utilizzando entrambe le modalità di trascrizione simultaneamente. Durante la chiamata, Voxtral Realtime trascrive la conversazione in diretta; Mistral LLM analizza l’intento del cliente; Voxtral TTS formula la risposta vocale. Una volta terminata la chiamata, un passaggio offline con diarizzazione produce un riepilogo strutturato che indica chi ha detto cosa, esattamente ciò che il real-time non può fornire.
Lo strumento di traduzione vocale concatena tre modelli su un unico flusso: Voxtral STT trascrive il discorso sorgente tra le sue 50 lingue, Mistral LLM traduce e Voxtral TTS rende l’output in una delle sue 9 lingue target. Infine, la narrazione automatizzata trasforma articoli, report o email in audio per l’ascolto mobile, con l’LLM che adatta il testo per la consegna orale prima della sintesi.
Una pipeline vocale pienamente sovrana
Il vantaggio decisivo di questo ecosistema è la possibilità di ospitare tutto sulla propria infrastruttura. Voxtral Realtime è rilasciato come open weights sotto licenza Apache 2.0 e si distribuisce sui propri server. Mistral Large 3 è accessibile tramite partner cloud europei o on-premise. Anche Voxtral TTS supporta il deployment privato. In altre parole, l’intera catena – ascoltare, comprendere, rispondere – può operare senza che alcun dato esca dalla tua infrastruttura. Per la sanità, la difesa, la finanza o la pubblica amministrazione, questa non è solo una comodità; determina se il progetto è fattibile o meno.
Dove andare adesso
La documentazione ufficiale di Mistral dedica pagine all’audio e rimane il riferimento per monitorare gli aggiornamenti di modelli e API. Hugging Face Hub ospita i modelli Voxtral come open weights, insieme a documentazione ed esempi. Il forum di Mistral raccoglie resoconti sul campo spesso più vicini ai tuoi vincoli reali rispetto alle demo ufficiali, e altri corsi della Corsen Academy coprono il resto dell’ecosistema Mistral AI.
Riepilogo del corso
Ora conosci i modelli Voxtral e i loro rispettivi ruoli: Mini Transcribe V2 per l’offline, Realtime per lo streaming e Small per la chat audio. Hai padroneggiato la trascrizione offline in tutte le sue dimensioni – chiamate API, timestamp, diarizzazione, contestualizzazione lessicale – così come la trascrizione real-time con il suo streaming, l’acquisizione del microfono tramite PyAudio, il controllo della latenza e il pattern del doppio ritardo. Hai costruito casi d’uso completi, dai sottotitoli e i verbali delle riunioni alla dettatura, agli assistenti vocali e alle conferenze, e sai come eseguire tutto questo in produzione. Manca solo la voce di ritorno per chiudere il ciclo conversazionale.
Punti chiave
- Voxtral TTS chiude il ciclo: STT (trascrizione) poi LLM (ragionamento) poi TTS (sintesi)
- La pipeline vocale completa abilita assistenti vocali, agenti di call center e traduttori
- Il deployment sovrano è possibile grazie ai modelli open weights (Apache 2.0)
- La trascrizione è il mattone fondamentale per le applicazioni vocali
- Prosegui il tuo apprendimento con corsi dedicati al TTS e alle pipeline vocali avanzate
Metti alla prova le tue conoscenze
Offline, real-time, produzione: la trascrizione da ogni angolazione.
1. Offline o real-time: come scegliere?
Risposta: Offline per file esistenti (riunioni registrate, archivi) dove conta la massima precisione; real-time per scenari live (sottotitolaggio, assistenti vocali) dove la latenza è critica.
2. Cosa forniscono timestamp e diarizzazione?
Risposta: I timestamp localizzano ogni segmento nel tempo (sottotitoli, navigazione); la diarizzazione identifica chi sta parlando: insieme, trasformano l’audio in un riepilogo fruibile.
3. A cosa serve la contestualizzazione lessicale (context biasing)?
Risposta: A suggerire al modello il vocabolario atteso (nomi propri, termini di settore) per migliorare la precisione laddove la trascrizione generica fallisce.
4. Quali sono gli ingredienti per il real-time in Python?
Risposta: Acquisizione del microfono (PyAudio), streaming verso l’API e gestione del compromesso latenza/precisione: i parametri di latenza sono ottimizzati in base al caso d’uso.
5. Cosa monitori per la produzione?
Risposta: Qualità dell’audio in input, costi per ora trascritta, latenza end-to-end ed errori sul vocabolario critico, con biasing e test come leve di azione.
La scelta tra offline e real-time struttura tutto il resto: la guida del corso ti fornisce il quadro, i tuoi casi d’uso guidano la decisione.