Introdução à Transcrição em Tempo Real
Nesta página
Curso atualizado a 3 de novembro de 2026 para o Voxtral 3, com base no guia Migrate from Voxtral 2 da Mistral: os modelos Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603, preteridos a 31 de outubro de 2026 e desativados a 30 de abril de 2027) são substituídos nos exemplos porvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3evoxtral-mini-tts-3-0. Alterações principais: as marcas temporais são apenas por segmento (worddevolve um erro 400), a diarização está disponível em tempo real, as definições da sessão em tempo real ficam bloqueadas após o primeiro bloco de áudio e as entradas decontext_biassão de formato livre (frases com espaços). Fontes: Migrate from Voxtral 2 · Speech to Text.
Um Novo Paradigma: Streaming de Áudio
Até agora, trabalhou no modo offline: envia um ficheiro de áudio completo, aguarda que o modelo o processe e só depois utiliza o resultado. Este fluxo de trabalho adequa-se a gravações existentes, como reuniões arquivadas, podcasts ou entrevistas. Falha quando o áudio chega continuamente: ninguém vai esperar até ao fim de uma conferência de duas horas para ver as primeiras legendas, e um assistente de voz que só compreende uma pergunta após um longo silêncio parece defeituoso.
O Voxtral Realtime responde a esta necessidade com uma arquitetura de streaming. O áudio é transcrito em tempo real, palavra por palavra, e o atraso entre o som e o texto torna-se um parâmetro que pode controlar, descendo até 200 milissegundos. A mudança é tanto mental como técnica: deixa de pensar em pedidos isolados para pensar em fluxos contínuos, e o seu programa deve estar preparado para receber texto a qualquer momento.
O Que o Modelo em Tempo Real Oferece
O modelo é invocado sob o identificador voxtral-mini-transcribe-realtime-3 e difere fundamentalmente da sua contraparte offline. Recebe blocos de áudio e emite fragmentos de texto continuamente, sem nunca esperar pelo fim da gravação. A sua latência é controlada pelo parâmetro target_streaming_delay_ms, que explorará em detalhe mais adiante neste curso. Cobre 45 línguas e dialetos, podendo a língua ser fixada ou detetada automaticamente. O seu antecessor de Geração 2, voxtral-mini-transcribe-realtime-2602 (4 mil milhões de parâmetros), é publicado como open weights sob a licença Apache 2.0 no Hugging Face Hub para instalação totalmente soberana nos seus próprios servidores.
Com o Voxtral 3, o desempenho em tempo real reduziu largamente a diferença face ao modo offline. A diarização está disponível — embora não na mesma sessão que a deteção de fim de turno —, assim como o viés de contexto (context biasing) e a deteção de fim de turno. Permanecem duas diferenças: os segmentos transportam o rótulo do orador, mas não a hora de início ou fim, e todas as definições da sessão (língua, vocabulário, diarização, atraso) devem ser enviadas antes do primeiro bloco de áudio, após o qual ficam bloqueadas. Se o seu caso de uso exigir marcas temporais precisas, necessita do modo offline, possivelmente como complemento ao tempo real.
Instalação
O SDK da Mistral não carrega as dependências de streaming por predefinição. Deve solicitar explicitamente o extra realtime, que adiciona suporte para ligações WebSocket e processamento assíncrono de áudio:
pip install "mistralai[realtime]"
O Formato de Áudio Obrigatório
Ao contrário do modo offline, que aceita uma vasta gama de contentores, o Voxtral Realtime espera um fluxo bruto num formato único e inegociável:
- Codificação: PCM little-endian com sinal de 16 bits (
pcm_s16le) - Taxa de amostragem: 16 000 Hz (16 kHz)
- Canais: Mono (1 canal)
Esta restrição não é um obstáculo: este formato é o mais standard disponível e todas as ferramentas de captura o produzem nativamente, seja o PyAudio, o FFmpeg ou o PulseAudio. Declara-o uma vez ao cliente, que o utiliza para interpretar os bytes que transmite.
from mistralai.client.models import AudioFormat
# Definir o formato de áudio
audio_format = AudioFormat(
encoding="pcm_s16le",
sample_rate=16000
)
Os Dois Eventos do Fluxo
Quando itera sobre a transcrição, o SDK devolve dois tipos de objetos. O TranscriptionStreamTextDelta é emitido para cada novo fragmento transcrito e transporta o texto parcial que pode apresentar imediatamente; é isto que alimenta o ecrã do utilizador. O TranscriptionStreamDone chega exatamente uma vez, quando o fluxo de áudio termina, seja no fim de um ficheiro ou quando o microfone é desligado; sinaliza que nada mais virá e que pode consolidar o resultado. Toda a sua lógica se resume, portanto, a um ciclo assíncrono que distingue estes dois casos:
from mistralai.client.models import (
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async for event in flux_transcription:
if isinstance(event, TranscriptionStreamTextDelta):
# Novo texto disponível
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
# Transcrição terminada
print("\n[Concluído]")
Primeiro Exemplo Completo
Para se familiarizar com o mecanismo sem depender de um microfone, a abordagem mais simples é simular um fluxo a partir de um ficheiro já convertido para PCM. A função lire_fichier_pcm é um gerador assíncrono: lê o ficheiro em blocos e devolve-os um a um, exatamente como faria uma placa de som. O restante do programa é o que reutilizará mais tarde sem modificações.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
"""Lê um ficheiro PCM em blocos para simular um fluxo."""
with open(chemin, "rb") as f:
while True:
chunk = f.read(taille_chunk)
if not chunk:
break
yield chunk
async def main():
flux_audio = lire_fichier_pcm("audio.pcm")
async for event in client.audio.realtime.transcribe_stream(
audio_stream=flux_audio,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
):
if isinstance(event, TranscriptionStreamTextDelta):
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
print("\n\nTranscrição concluída.")
asyncio.run(main())
Se o seu ficheiro de origem for um MP3, não pode ser enviado tal como está: converta-o primeiro com o FFmpeg, impondo as três características exigidas pelo modelo.
ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm
Quando Mudar para o Tempo Real
O critério de seleção é simples: o tempo real justifica-se quando alguém está à espera do texto enquanto o som está a ser produzido. Isto aplica-se à legendagem ao vivo de uma conferência, webinar ou curso online, onde a audiência lê à medida que ouve; a um assistente de voz, que deve compreender o utilizador enquanto este fala para responder sem pausas estranhas; à ditada, onde a fala se transforma em texto diante dos olhos do orador; e, finalmente, à transcrição de conferências, quando o texto deve aparecer à medida que é falado. Em todos os outros casos, o modo offline permanece mais rico e mais simples de implementar.
As próximas lições mostrar-lhe-ão como capturar o microfone, afinar a latência e construir estes casos de uso de ponta a ponta.
Pontos-chave
- O Voxtral Mini Transcribe Realtime 3 transcreve áudio em modo de streaming com um atraso ajustável de 80 ms a 1,2 s (ou 2,4 s)
- Formato de áudio obrigatório: PCM de 16 bits, 16 kHz, mono
- Dois tipos de eventos:
TextDelta(texto parcial) eDone(fim) - Instale com
pip install "mistralai[realtime]" - Programação assíncrona obrigatória (
async/await) - Diarização (excluindo a deteção de fim de turno) e viés de contexto disponíveis em tempo real, sem marcas temporais por segmento; definições bloqueadas após o primeiro bloco de áudio
- A Geração 2 do modelo em tempo real é open weights Apache 2.0, para implementação soberana