Próximos Passos: Para Além da Transcrição
Nesta página
Curso atualizado em 3 de novembro de 2026 para o Voxtral 3, com base no guia Migrate from Voxtral 2 da Mistral: os modelos Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603), descontinuados a 31 de outubro de 2026 e retirados a 30 de abril de 2027, são substituídos nos exemplos porvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3evoxtral-mini-tts-3-0. Principais alterações: as marcas temporais são apenas ao nível do segmento (worddevolve um erro 400), a diarização em tempo real é suportada, as definições da sessão em tempo real ficam bloqueadas após o primeiro bloco de áudio e as entradascontext_biassão de formato livre (frases com espaços). Fontes: Migrate from Voxtral 2 · Speech to Text.
O Que Aprendeu
Completou a jornada através dos dois modos de transcrição do Voxtral. No modo offline, transcreveu ficheiros de áudio com diarização, marcas temporais e enviesamento de contexto utilizando o Voxtral Mini Transcribe 3. No modo em tempo real, transcreveu fluxos contínuos com latência configurável através do Voxtral Realtime, capturou entrada de microfone e aproveitou o padrão de duplo atraso. Para cada capacidade, dispõe agora de código Python completo e da intuição necessária para avançar para a produção.
A transcrição é apenas metade da história, contudo. O ecossistema de áudio da Mistral AI também gere o caminho inverso, e é a combinação de ambas as direções que permite aplicações verdadeiramente conversacionais.
Voxtral TTS: Dar Voz ao Texto
O Voxtral TTS é o exato contraponto da transcrição: transforma texto em fala natural. Suporta clonagem de voz zero-shot, o que significa que pode reproduzir uma voz a partir de apenas dois a três segundos de áudio, sem treino prévio. Baseia-se também no princípio da voz como instrução: o modelo segue a entoação, o ritmo e a emoção do prompt vocal que fornece, pelo que não precisa de inserir etiquetas de prosódia no texto — mostra o tom desejado em vez de o descrever. A cobertura linguística inclui inglês, francês, espanhol, português, italiano, neerlandês, alemão, hindi e árabe. Funciona também em modo de streaming, com uma latência do modelo de cerca de 90 milissegundos e um tempo até ao primeiro áudio de aproximadamente 0,8 segundos em PCM, tornando-o adequado para conversas em direto.
Na prática, o Voxtral TTS dá voz às suas aplicações: assistentes virtuais, narração automatizada, ferramentas de acessibilidade e dobragem.
O Pipeline Completo: STT, LLM, TTS
Reunidos, estes três componentes formam um ciclo completo. O áudio do utilizador torna-se texto, o texto é compreendido e processado por um modelo de linguagem e a resposta volta a tornar-se áudio.
User Audio → Voxtral STT → Text
↓
Mistral LLM (reasoning)
↓
Text Response → Voxtral TTS → Audio Response
O código abaixo implementa este pipeline. Os dois primeiros passos são familiares: transcrição em streaming a 300 milissegundos para capturar a pergunta, seguida de uma chamada ao LLM com um prompt de sistema que impõe um registo falado. O terceiro passo permanece comentado, uma vez que a API de síntese é abordada num curso dedicado; o padrão de chamada é aqui incluído para mostrar onde se encaixa.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async def pipeline_vocal_complet(source_audio_utilisateur):
"""Complete pipeline: listen, understand, respond."""
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Step 1: Transcribe user speech (STT)
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
question_parts = []
print("Listening...", flush=True)
async for event in client.audio.realtime.transcribe_stream(
audio_stream=source_audio_utilisateur,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=300,
):
if isinstance(event, TranscriptionStreamTextDelta):
question_parts.append(event.text)
elif isinstance(event, TranscriptionStreamDone):
break
question = "".join(question_parts).strip()
print(f"Question: {question}")
# Step 2: Generate an intelligent response (LLM)
reponse_llm = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a voice assistant. "
"Respond concisely and naturally, "
"as in a spoken conversation."
},
{"role": "user", "content": question}
]
)
reponse_texte = reponse_llm.choices[0].message.content
print(f"Response: {reponse_texte}")
# Step 3: Synthesize the response into audio (TTS)
# Note: The TTS API will be covered in a dedicated course
# Here is the call pattern:
#
# audio_response = client.audio.speech.complete(
# model="voxtral-mini-tts-3-0",
# input=reponse_texte,
# voice_id="gb_jane_neutral",
# response_format="wav",
# )
# Audio arrives base64-encoded in audio_response.audio_data
#
# Play audio via a player (PyAudio, sounddevice, etc.)
return {
"question": question,
"reponse": reponse_texte
}
O Que Este Pipeline Permite
O assistente de voz empresarial é a aplicação mais imediata: compreende as perguntas dos colaboradores e responde utilizando a base de conhecimento interna. A transcrição em tempo real capta a pergunta, o LLM consulta uma base de dados vetorial via RAG e o TTS lê a resposta em voz alta.
O agente de call center leva a lógica mais longe, utilizando ambos os modos de transcrição simultaneamente. Durante a chamada, o Voxtral Realtime transcreve a conversa em direto; o Mistral LLM analisa a intenção do cliente; o Voxtral TTS formula a resposta vocal. Assim que a chamada termina, uma passagem offline com diarização produz um resumo estruturado que indica quem disse o quê — precisamente o que o tempo real não consegue fornecer.
A ferramenta de tradução de voz encadeia três modelos num único fluxo: o Voxtral STT transcreve a fala de origem entre as suas 50 línguas, o Mistral LLM traduz e o Voxtral TTS reproduz o resultado numa das suas 9 línguas de destino. Por fim, a narração automatizada transforma artigos, relatórios ou e-mails em áudio para escuta móvel, adaptando o LLM o texto para entrega oral antes da síntese.
Um Pipeline de Voz Totalmente Soberano
A vantagem decisiva deste ecossistema é a capacidade de alojar tudo na sua própria infraestrutura. O Voxtral Realtime é lançado como pesos abertos sob a licença Apache 2.0 e implementa-se nos seus próprios servidores. O Mistral Large 3 é acessível através de parceiros de cloud europeus ou no local (on-premise). O Voxtral TTS também suporta implementação privada. Por outras palavras, toda a cadeia — ouvir, compreender, responder — pode operar sem que quaisquer dados saiam da sua infraestrutura. Para a saúde, defesa, finanças ou administração pública, isto não é apenas uma conveniência; determina se o projeto é sequer viável.
Para Onde Seguir
A documentação oficial da Mistral dedica páginas ao áudio e permanece a referência para acompanhar atualizações de modelos e APIs. O Hugging Face Hub aloja os modelos Voxtral como pesos abertos, juntamente com documentação e exemplos. O fórum da Mistral reúne relatos de campo, muitas vezes mais próximos das suas restrições reais do que as demonstrações oficiais, e outros cursos da Corsen Academy cobrem o restante do ecossistema da Mistral AI.
Resumo do Curso
Conhece agora os modelos Voxtral e os seus respetivos papéis: Mini Transcribe V2 para offline, Realtime para streaming e Small para chat de áudio. Dominou a transcrição offline em todas as suas dimensões — chamadas à API, marcas temporais, diarização, enviesamento de contexto — bem como a transcrição em tempo real com o seu streaming, captura de microfone via PyAudio, controlo de latência e padrão de duplo atraso. Construiu casos de uso completos, desde legendagem e atas de reuniões até ditado, assistentes de voz e conferências, e sabe como executar tudo isto em produção. Tudo o que falta é a voz de retorno para fechar o ciclo da conversação.
Pontos-chave
- O Voxtral TTS fecha o ciclo: STT (transcrição), depois LLM (raciocínio), depois TTS (síntese)
- O pipeline de voz completo permite assistentes de voz, agentes de call center e tradutores
- A implementação soberana é possível graças aos modelos de pesos abertos (Apache 2.0)
- A transcrição é o bloco de construção fundamental para aplicações de voz
- Continue a sua aprendizagem com cursos dedicados ao TTS e a pipelines de voz avançados
Teste os Seus Conhecimentos
Offline, tempo real, produção: transcrição sob todos os ângulos.
1. Offline ou tempo real: como escolher?
Resposta: Offline para ficheiros existentes (reuniões gravadas, arquivos) onde a máxima precisão importa; tempo real para cenários em direto (legendagem, assistentes de voz) onde a latência é crítica.
2. O que proporcionam as marcas temporais e a diarização?
Resposta: As marcas temporais localizam cada segmento no tempo (legendas, navegação); a diarização identifica quem está a falar — juntas, transformam o áudio num resumo acionável.
3. Para que serve o enviesamento de contexto?
Resposta: Para orientar o modelo sobre o vocabulário esperado (nomes próprios, termos do setor) e melhorar a precisão onde a transcrição genérica falha.
4. Quais são os ingredientes para o tempo real em Python?
Resposta: Captura de microfone (PyAudio), streaming para a API e gestão do compromisso entre latência e precisão — os parâmetros de latência são ajustados com base no caso de uso.
5. O que deve monitorizar para a produção?
Resposta: Qualidade do áudio de entrada, custos por hora transcrita, latência de ponta a ponta e erros no vocabulário crítico — com o enviesamento e os testes como alavancas.
A escolha entre offline e tempo real estrutura todo o resto — o guia do curso fornece-lhe o enquadramento, os seus casos de uso ditam a decisão.