Prochaines étapes : au-delà de la transcription
Ezen az oldalon
Cours mis à jour le 3 novembre 2026 pour Voxtral 3, basé sur le guide Migrate from Voxtral 2 de Mistral : les modèles Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603), dépréciés le 31 octobre 2026 et retirés le 30 avril 2027, sont remplacés dans les exemples parvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3etvoxtral-mini-tts-3-0. Changements clés : les horodatages sont uniquement au niveau des segments (wordrenvoie une erreur 400), la diarisation en temps réel est prise en charge, les paramètres de session en temps réel sont verrouillés après le premier fragment audio, et les entréescontext_biassont en texte libre (phrases avec espaces). Sources : Migrate from Voxtral 2 · Speech to Text.
Ce que tu as appris
Tu as terminé ton parcours à travers les deux modes de transcription Voxtral. En mode hors ligne, tu transcris des fichiers audio avec diarisation, horodatages et biais de contexte en utilisant Voxtral Mini Transcribe 3. En mode temps réel, tu transcris des flux continus avec une latence configurable via Voxtral Realtime, tu captures l’entrée du microphone et tu exploites le modèle de double délai. Pour chaque capacité, tu disposes désormais du code Python complet et de l’intuition nécessaire pour passer en production.
La transcription n’est cependant que la moitié de l’histoire. L’écosystème audio de Mistral AI gère également le chemin inverse, et c’est la combinaison des deux directions qui permet de créer des applications véritablement conversationnelles.
Voxtral TTS : donner une voix au texte
Voxtral TTS est l’exact contrepartie de la transcription : il transforme le texte en parole naturelle. Il prend en charge le clonage vocal zero-shot, ce qui signifie qu’il peut reproduire une voix à partir de seulement deux à trois secondes d’audio sans entraînement préalable. Il s’appuie également sur le principe de la « voix comme instruction » : le modèle suit l’intonation, le rythme et l’émotion de l’invite vocale que tu fournis, ainsi tu n’as pas besoin d’insérer des balises de prosodie dans le texte ; tu montres le ton désiré au lieu de le décrire. La couverture linguistique inclut l’anglais, le français, l’espagnol, le portugais, l’italien, le néerlandais, l’allemand, l’hindi et l’arabe. Il fonctionne également en mode streaming, avec une latence de modèle d’environ 90 millisecondes et un temps jusqu’au premier audio d’environ 0,8 seconde en PCM, ce qui le rend adapté aux conversations en direct.
En pratique, Voxtral TTS donne une voix à tes applications : assistants virtuels, narration automatisée, outils d’accessibilité et doublage.
Le pipeline complet : STT, LLM, TTS
Assemblés ensemble, ces trois composants forment une boucle complète. L’audio de l’utilisateur devient du texte, le texte est compris et traité par un modèle de langage, et la réponse redevient de l’audio.
User Audio → Voxtral STT → Text
↓
Mistral LLM (reasoning)
↓
Text Response → Voxtral TTS → Audio Response
Le code ci-dessous implémente ce pipeline. Les deux premières étapes te sont familières : transcription en streaming à 300 millisecondes pour capturer la question, puis appel au LLM avec une invite système qui impose un registre oral. La troisième étape reste commentée, car l’API de synthèse est couverte dans un cours dédié ; le motif d’appel est inclus ici pour montrer où il s’insère.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async def pipeline_vocal_complet(source_audio_utilisateur):
"""Complete pipeline: listen, understand, respond."""
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Step 1: Transcribe user speech (STT)
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
question_parts = []
print("Listening...", flush=True)
async for event in client.audio.realtime.transcribe_stream(
audio_stream=source_audio_utilisateur,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=300,
):
if isinstance(event, TranscriptionStreamTextDelta):
question_parts.append(event.text)
elif isinstance(event, TranscriptionStreamDone):
break
question = "".join(question_parts).strip()
print(f"Question: {question}")
# Step 2: Generate an intelligent response (LLM)
reponse_llm = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a voice assistant. "
"Respond concisely and naturally, "
"as in a spoken conversation."
},
{"role": "user", "content": question}
]
)
reponse_texte = reponse_llm.choices[0].message.content
print(f"Response: {reponse_texte}")
# Step 3: Synthesize the response into audio (TTS)
# Note: The TTS API will be covered in a dedicated course
# Here is the call pattern:
#
# audio_response = client.audio.speech.complete(
# model="voxtral-mini-tts-3-0",
# input=reponse_texte,
# voice_id="gb_jane_neutral",
# response_format="wav",
# )
# Audio arrives base64-encoded in audio_response.audio_data
#
# Play audio via a player (PyAudio, sounddevice, etc.)
return {
"question": question,
"reponse": reponse_texte
}
Ce que ce pipeline permet
L’assistant vocal d’entreprise est l’application la plus immédiate : il comprend les questions des employés et répond en utilisant la base de connaissances interne. La transcription en temps réel capture la question, le LLM interroge une base de données vectorielle via RAG, et le TTS énonce la réponse à voix haute.
L’agent de centre d’appels pousse la logique plus loin en utilisant simultanément les deux modes de transcription. Pendant l’appel, Voxtral Realtime transcrit la conversation en direct ; Mistral LLM analyse l’intention du client ; Voxtral TTS formule la réponse vocale. Une fois l’appel terminé, un passage hors ligne avec diarisation produit un résumé structuré indiquant qui a dit quoi – précisément ce que le temps réel ne peut pas fournir.
L’outil de traduction vocale enchaîne trois modèles sur un seul flux : Voxtral STT transcrit la parole source parmi ses 50 langues, Mistral LLM traduit, et Voxtral TTS restitue le résultat dans l’une de ses 9 langues cibles. Enfin, la narration automatisée transforme les articles, rapports ou e-mails en audio pour une écoute mobile, le LLM adaptant le texte pour une delivery orale avant la synthèse.
Un pipeline vocal entièrement souverain
L’avantage décisif de cet écosystème est la capacité d’héberger l’ensemble sur ta propre infrastructure. Voxtral Realtime est publié en poids ouverts sous licence Apache 2.0 et se déploie sur tes propres serveurs. Mistral Large 3 est accessible via des partenaires cloud européens ou en on-premise. Voxtral TTS prend également en charge le déploiement privé. En d’autres termes, toute la chaîne – écouter, comprendre, répondre – peut fonctionner sans qu’aucune donnée ne quitte ton infrastructure. Pour la santé, la défense, la finance ou l’administration publique, ce n’est pas seulement une commodité ; cela détermine si le projet est tout simplement réalisable.
Où aller ensuite
La documentation officielle de Mistral consacre des pages à l’audio et reste la référence pour suivre les mises à jour des modèles et des API. Hugging Face Hub héberge les modèles Voxtral en poids ouverts, ainsi que la documentation et des exemples. Le forum Mistral rassemble des retours d’expérience souvent plus proches de tes contraintes réelles que les démos officielles, et d’autres cours de la Corsen Academy couvrent le reste de l’écosystème Mistral AI.
Récapitulatif du cours
Tu connais maintenant les modèles Voxtral et leurs rôles respectifs : Mini Transcribe V2 pour le hors ligne, Realtime pour le streaming, et Small pour le chat audio. Tu as maîtrisé la transcription hors ligne dans toutes ses dimensions – appels API, horodatages, diarisation, biais de contexte – ainsi que la transcription en temps réel avec son streaming, la capture du microphone via PyAudio, le contrôle de la latence et le modèle de double délai. Tu as construit des cas d’usage complets, du sous-titrage et des comptes-rendus de réunion à la dictée, aux assistants vocaux et aux conférences, et tu sais comment exécuter tout cela en production. Il ne manque plus que la voix de retour pour boucler la boucle conversationnelle.
Főbb megállapítások
- Voxtral TTS boucle la boucle : STT (transcription) puis LLM (raisonnement) puis TTS (synthèse)
- Le pipeline vocal complet permet les assistants vocaux, les agents de centre d’appels et les traducteurs
- Le déploiement souverain est possible grâce aux modèles en poids ouverts (Apache 2.0)
- La transcription est la brique fondamentale des applications vocales
- Poursuis ton apprentissage avec des cours dédiés au TTS et aux pipelines vocaux avancés
Teste tes connaissances
Hors ligne, temps réel, production : la transcription sous tous les angles.
1. Hors ligne ou temps réel : comment choisir ?
Réponse : Hors ligne pour les fichiers existants (réunions enregistrées, archives) où la précision maximale compte ; temps réel pour les scénarios en direct (sous-titrage, assistants vocaux) où la latence est critique.
2. Que fournissent les horodatages et la diarisation ?
Réponse : Les horodatages localisent chaque segment dans le temps (sous-titres, navigation) ; la diarisation identifie qui parle – ensemble, ils transforment l’audio en un résumé exploitable.
3. À quoi sert le biais de contexte ?
Réponse : À orienter le modèle sur le vocabulaire attendu (noms propres, termes industriels) pour améliorer la précision là où la transcription générique échoue.
4. Quels sont les ingrédients du temps réel en Python ?
Réponse : Capture du microphone (PyAudio), streaming vers l’API et gestion du compromis latence/précision – les paramètres de latence sont ajustés selon le cas d’usage.
5. Que surveilles-tu pour la production ?
Réponse : Qualité de l’audio d’entrée, coûts par heure transcrite, latence de bout en bout et erreurs sur le vocabulaire critique – avec le biais et les tests comme leviers.
Le choix hors ligne/temps réel structure tout le reste – le guide du cours te donne le cadre, tes cas d’usage pilotent la décision.