Introducción a la transcripción en tiempo real
En esta página
Curso actualizado el 3 de noviembre de 2026 para Voxtral 3, basado en la guía Migrate from Voxtral 2 de Mistral: los modelos de Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603), obsoletos desde el 31 de octubre de 2026 y retirados el 30 de abril de 2027, se sustituyen en los ejemplos porvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3yvoxtral-mini-tts-3-0. Cambios clave: las marcas temporales son solo por segmentos (worddevuelve un error 400), la diarización está disponible en tiempo real, la configuración de la sesión en tiempo real se bloquea tras el primer fragmento de audio y las entradas decontext_biasson de formato libre (frases con espacios). Fuentes: Migrate from Voxtral 2 · Speech to Text.
Un nuevo paradigma: streaming de audio
Hasta ahora has trabajado en modo sin conexión (offline): envías un archivo de audio completo, esperas a que el modelo lo procese y luego utilizas el resultado. Este flujo de trabajo es adecuado para grabaciones existentes, como reuniones archivadas, pódcasts o entrevistas. Sin embargo, falla cuando el audio llega de forma continua: nadie esperará al final de una conferencia de dos horas para ver los primeros subtítulos, y un asistente de voz que solo entiende una pregunta tras un largo silencio parece defectuoso.
Voxtral Realtime responde a esta necesidad con una arquitectura de streaming. El audio se transcribe sobre la marcha, palabra por palabra, y el retraso entre el sonido y el texto se convierte en un parámetro que puedes controlar, bajando hasta los 200 milisegundos. El cambio es tanto mental como técnico: ya no piensas en solicitudes aisladas, sino en flujos, y tu programa debe estar preparado para recibir texto en cualquier momento.
Qué ofrece el modelo en tiempo real
El modelo se invoca bajo el identificador voxtral-mini-transcribe-realtime-3 y difiere fundamentalmente de su homólogo sin conexión. Recibe fragmentos de audio y emite fragmentos de texto de forma continua, sin esperar nunca a que termine la grabación. Su latencia se controla mediante el parámetro target_streaming_delay_ms, que explorarás en detalle más adelante en este curso. Cubre 45 idiomas y dialectos, y el idioma puede fijarse o detectarse automáticamente. Su predecesor de Generación 2, voxtral-mini-transcribe-realtime-2602 (4 mil millones de parámetros), se publica con pesos abiertos bajo la licencia Apache 2.0 en Hugging Face Hub para una instalación totalmente soberana en tus propios servidores.
Con Voxtral 3, el rendimiento en tiempo real ha reducido en gran medida la brecha con el modo sin conexión. La diarización está disponible, aunque no en la misma sesión que la detección de fin de turno, al igual que el sesgo de contexto y la detección de fin de turno. Quedan dos diferencias: los segmentos llevan la etiqueta del hablante pero no tienen marca de tiempo de inicio o fin, y toda la configuración de la sesión (idioma, vocabulario, diarización, retraso) debe enviarse antes del primer fragmento de audio, tras lo cual queda bloqueada. Si tu caso de uso requiere marcas temporales precisas, necesitas el modo sin conexión, posiblemente como complemento al tiempo real.
Instalación
El SDK de Mistral no carga las dependencias de streaming por defecto. Debes solicitar explícitamente el extra realtime, que añade soporte para conexiones WebSocket y procesamiento de audio asíncrono:
pip install "mistralai[realtime]"
El formato de audio requerido
A diferencia del modo sin conexión, que acepta una amplia gama de contenedores, Voxtral Realtime espera un flujo sin procesar en un único formato innegociable:
- Codificación: PCM little-endian firmado de 16 bits (
pcm_s16le) - Frecuencia de muestreo: 16 000 Hz (16 kHz)
- Canales: Mono (1 canal)
Esta restricción no es un obstáculo: este formato es el más estándar disponible y todas las herramientas de captura lo producen de forma nativa, ya sea PyAudio, FFmpeg o PulseAudio. Lo declaras una vez al cliente, que lo utiliza para interpretar los bytes que transmites.
from mistralai.client.models import AudioFormat
# Definir el formato de audio
audio_format = AudioFormat(
encoding="pcm_s16le",
sample_rate=16000
)
Los dos eventos del flujo
Cuando iteras sobre la transcripción, el SDK devuelve dos tipos de objetos. TranscriptionStreamTextDelta se emite para cada nuevo fragmento transcrito y lleva el texto parcial que puedes mostrar inmediatamente; esto es lo que alimenta la pantalla del usuario. TranscriptionStreamDone llega exactamente una vez, cuando finaliza el flujo de audio, ya sea al final de un archivo o cuando se cierra el micrófono; señala que no va a llegar nada más y que puedes consolidar el resultado. Por tanto, toda tu lógica encaja en un bucle asíncrono que distingue estos dos casos:
from mistralai.client.models import (
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async for event in flux_transcription:
if isinstance(event, TranscriptionStreamTextDelta):
# Nuevo texto disponible
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
# Transcripción finalizada
print("\n[Finalizado]")
Primer ejemplo completo
Para familiarizarte con el mecanismo sin depender de un micrófono, el enfoque más sencillo es simular un flujo a partir de un archivo ya convertido a PCM. La función lire_fichier_pcm es un generador asíncrono: lee el archivo en bloques y los cede uno a uno, exactamente como lo haría una tarjeta de sonido. El resto del programa es lo que reutilizarás más adelante sin modificaciones.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
"""Lee un archivo PCM en fragmentos para simular un flujo."""
with open(chemin, "rb") as f:
while True:
chunk = f.read(taille_chunk)
if not chunk:
break
yield chunk
async def main():
flux_audio = lire_fichier_pcm("audio.pcm")
async for event in client.audio.realtime.transcribe_stream(
audio_stream=flux_audio,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
):
if isinstance(event, TranscriptionStreamTextDelta):
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
print("\n\nTranscripción finalizada.")
asyncio.run(main())
Si tu archivo de origen es un MP3, no se puede enviar tal cual: conviértelo primero con FFmpeg, imponiendo las tres características requeridas por el modelo.
ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm
Cuándo cambiar a tiempo real
El criterio de selección es sencillo: el tiempo real está justificado cuando alguien está esperando el texto mientras se produce el sonido. Esto se aplica a la subtitulación en directo para una conferencia, seminario web o curso en línea, donde la audiencia lee mientras escucha; a un asistente de voz, que debe entender al usuario mientras habla para responder sin pausas incómodas; a la dictado, donde el habla se convierte en texto ante los ojos del hablante; y finalmente a la transcripción de conferencias, cuando el texto debe aparecer a medida que se habla. En cualquier otro caso, el modo sin conexión sigue siendo más rico y sencillo de implementar.
Las siguientes lecciones te mostrarán cómo capturar el micrófono, ajustar la latencia y construir estos casos de uso de extremo a extremo.
Puntos clave
- Voxtral Mini Transcribe Realtime 3 transcribe audio en modo streaming con un retraso ajustable de 80 ms a 1,2 s (o 2,4 s)
- Formato de audio requerido: PCM de 16 bits, 16 kHz, mono
- Dos tipos de eventos:
TextDelta(texto parcial) yDone(fin) - Instalar con
pip install "mistralai[realtime]" - Programación asíncrona requerida (
async/await) - Diarización (excluyendo la detección de fin de turno) y sesgo de contexto disponibles en tiempo real, sin marcas temporales de segmento; configuración bloqueada tras el primer fragmento de audio
- La Generación 2 del modelo en tiempo real tiene pesos abiertos Apache 2.0, para despliegue soberano