Próximos pasos: más allá de la transcripción
En esta página
Curso actualizado el 3 de noviembre de 2026 para Voxtral 3, basado en la guía Migrate from Voxtral 2 de Mistral: los modelos de Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603, obsoletos desde el 31 de octubre de 2026 y retirados el 30 de abril de 2027) se sustituyen en los ejemplos porvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3yvoxtral-mini-tts-3-0. Cambios clave: las marcas temporales son solo a nivel de segmento (worddevuelve un error 400), se admite la diarización en tiempo real, la configuración de sesión en tiempo real se bloquea tras el primer fragmento de audio y las entradas decontext_biasson de formato libre (frases con espacios). Fuentes: Migrate from Voxtral 2 · Speech to Text.
Lo que has aprendido
Has completado el recorrido por ambos modos de transcripción de Voxtral. En modo sin conexión, transcribes archivos de audio con diarización, marcas temporales y sesgo de contexto usando Voxtral Mini Transcribe 3. En modo en tiempo real, transcribes flujos continuos con latencia configurable mediante Voxtral Realtime, capturas la entrada del micrófono y aprovechas el patrón de doble retardo. Para cada capacidad, cuentas ahora con código Python completo y el criterio necesario para pasar a producción.
Sin embargo, la transcripción es solo la mitad de la historia. El ecosistema de audio de Mistral AI también gestiona el camino inverso, y es la combinación de ambas direcciones lo que permite aplicaciones verdaderamente conversacionales.
Voxtral TTS: dar voz al texto
Voxtral TTS es la contrapartida exacta de la transcripción: transforma texto en habla natural. Admite la clonación de voz zero-shot, lo que significa que puede reproducir una voz a partir de solo dos o tres segundos de audio sin entrenamiento previo. Además, se basa en el principio de la voz como instrucción: el modelo sigue la entonación, el ritmo y la emoción de la indicación vocal que proporcionas, de modo que no necesitas insertar etiquetas de prosodia en el texto; en su lugar, muestras el tono deseado en vez de describirlo. La cobertura lingüística incluye inglés, francés, español, portugués, italiano, neerlandés, alemán, hindi y árabe. También funciona en modo de transmisión, con una latencia del modelo de unos 90 milisegundos y un tiempo hasta el primer audio de aproximadamente 0,8 segundos en PCM, lo que lo hace adecuado para conversaciones en directo.
En la práctica, Voxtral TTS dota de voz a tus aplicaciones: asistentes virtuales, narración automatizada, herramientas de accesibilidad y doblaje.
El canal completo: STT, LLM, TTS
Ensamblados, estos tres componentes forman un bucle completo. El audio del usuario se convierte en texto, el texto es comprendido y procesado por un modelo de lenguaje, y la respuesta vuelve a convertirse en audio.
Audio del usuario → Voxtral STT → Texto
↓
Mistral LLM (razonamiento)
↓
Respuesta en texto → Voxtral TTS → Respuesta en audio
El código siguiente implementa este canal. Los dos primeros pasos te resultan familiares: transcripción en flujo a 300 milisegundos para capturar la pregunta y, a continuación, llamada al LLM con un prompt de sistema que impone un registro hablado. El tercer paso permanece comentado, ya que la API de síntesis se trata en un curso específico; aquí se incluye el patrón de llamada para mostrar dónde encaja.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async def pipeline_vocal_complet(source_audio_utilisateur):
"""Canal completo: escuchar, comprender, responder."""
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Paso 1: Transcribir el habla del usuario (STT)
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
question_parts = []
print("Escuchando...", flush=True)
async for event in client.audio.realtime.transcribe_stream(
audio_stream=source_audio_utilisateur,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=300,
):
if isinstance(event, TranscriptionStreamTextDelta):
question_parts.append(event.text)
elif isinstance(event, TranscriptionStreamDone):
break
question = "".join(question_parts).strip()
print(f"Pregunta: {question}")
# Paso 2: Generar una respuesta inteligente (LLM)
reponse_llm = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Eres un asistente de voz. "
"Responde de forma concisa y natural, "
"como en una conversación hablada."
},
{"role": "user", "content": question}
]
)
reponse_texte = reponse_llm.choices[0].message.content
print(f"Respuesta: {reponse_texte}")
# Paso 3: Sintetizar la respuesta en audio (TTS)
# Nota: La API de TTS se tratará en un curso específico
# Aquí está el patrón de llamada:
#
# audio_response = client.audio.speech.complete(
# model="voxtral-mini-tts-3-0",
# input=reponse_texte,
# voice_id="gb_jane_neutral",
# response_format="wav",
# )
# El audio llega codificado en base64 en audio_response.audio_data
#
# Reproducir el audio mediante un reproductor (PyAudio, sounddevice, etc.)
return {
"question": question,
"reponse": reponse_texte
}
Qué permite este canal
El asistente de voz empresarial es la aplicación más inmediata: comprende las preguntas de los empleados y responde utilizando la base de conocimientos interna. La transcripción en tiempo real captura la pregunta, el LLM consulta una base de datos vectorial mediante RAG y el TTS pronuncia la respuesta en voz alta.
El agente de centro de llamadas lleva la lógica un paso más allá al usar ambos modos de transcripción simultáneamente. Durante la llamada, Voxtral Realtime transcribe la conversación en directo; Mistral LLM analiza la intención del cliente; Voxtral TTS formula la respuesta vocal. Una vez finalizada la llamada, un pase sin conexión con diarización produce un resumen estructurado que indica quién ha dicho qué, algo que el tiempo real no puede ofrecer con precisión.
La herramienta de traducción de voz encadena tres modelos en un único flujo: Voxtral STT transcribe el habla de origen entre sus 50 idiomas, Mistral LLM traduce y Voxtral TTS genera la salida en uno de sus 9 idiomas de destino. Por último, la narración automatizada convierte artículos, informes o correos electrónicos en audio para su escucha en dispositivos móviles, adaptando el LLM el texto para su entrega oral antes de la síntesis.
Un canal de voz totalmente soberano
La ventaja decisiva de este ecosistema es la posibilidad de alojar todo en tu propia infraestructura. Voxtral Realtime se publica con pesos abiertos bajo la licencia Apache 2.0 y se despliega en tus propios servidores. Mistral Large 3 es accesible a través de socios de nube europeos o en instalaciones propias. Voxtral TTS también admite despliegue privado. En otras palabras, toda la cadena —escuchar, comprender, responder— puede operar sin que ningún dato salga de tu infraestructura. Para sanidad, defensa, finanzas o administración pública, esto no es solo una comodidad; determina si el proyecto es viable en absoluto.
Hacia dónde ir a continuación
La documentación oficial de Mistral dedica páginas al audio y sigue siendo la referencia para seguir las actualizaciones de modelos y API. Hugging Face Hub aloja los modelos de Voxtral como pesos abiertos, junto con documentación y ejemplos. El foro de Mistral reúne informes de campo que a menudo están más cerca de tus restricciones reales que las demostraciones oficiales, y otros cursos de Corsen Academy cubren el resto del ecosistema de Mistral AI.
Resumen del curso
Ahora conoces los modelos de Voxtral y sus respectivos roles: Mini Transcribe V2 para sin conexión, Realtime para transmisión y Small para chat de audio. Has dominado la transcripción sin conexión en todas sus dimensiones: llamadas a la API, marcas temporales, diarización y sesgo de contexto, así como la transcripción en tiempo real con su transmisión, captura de micrófono mediante PyAudio, control de latencia y patrón de doble retardo. Has construido casos de uso completos, desde subtitulado y actas de reuniones hasta dictado, asistentes de voz y conferencias, y sabes cómo ejecutar todo esto en producción. Solo falta la voz de retorno para cerrar el bucle conversacional.
Puntos clave
- Voxtral TTS cierra el bucle: STT (transcripción), luego LLM (razonamiento) y luego TTS (síntesis)
- El canal de voz completo permite asistentes de voz, agentes de centro de llamadas y traductores
- El despliegue soberano es posible gracias a los modelos de pesos abiertos (Apache 2.0)
- La transcripción es el bloque de construcción fundamental para las aplicaciones de voz
- Continúa tu aprendizaje con cursos dedicados a TTS y canales de voz avanzados
Pon a prueba tus conocimientos
Sin conexión, en tiempo real, producción: transcripción desde todos los ángulos.
1. ¿Sin conexión o en tiempo real: cómo elegir?
Respuesta: Sin conexión para archivos existentes (reuniones grabadas, archivos) donde importa la máxima precisión; en tiempo real para escenarios en directo (subtitulado, asistentes de voz) donde la latencia es crítica.
2. ¿Qué aportan las marcas temporales y la diarización?
Respuesta: Las marcas temporales localizan cada segmento en el tiempo (subtítulos, navegación); la diarización identifica quién habla; juntas, convierten el audio en un resumen accionable.
3. ¿Para qué sirve el sesgo de contexto?
Respuesta: Para indicar al modelo el vocabulario esperado (nombres propios, términos del sector) y mejorar la precisión donde falla la transcripción genérica.
4. ¿Cuáles son los ingredientes para el tiempo real en Python?
Respuesta: Captura de micrófono (PyAudio), transmisión a la API y gestión del equilibrio entre latencia y precisión; los parámetros de latencia se ajustan según el caso de uso.
5. ¿Qué debes monitorizar para producción?
Respuesta: Calidad del audio de entrada, costes por hora transcrita, latencia de extremo a extremo y errores en vocabulario crítico, con el sesgo y las pruebas como palancas.
La elección entre sin conexión y tiempo real estructura todo lo demás; la guía del curso te da el marco, tus casos de uso impulsan la decisión.