Ir para o conteúdo principal
Português— Escolher um idioma
Menu

Próximos Passos: Para Além da Transcrição

Aula 16 de 16 Atualizada a 3 de novembro de 2026 Programador
Nesta página
  1. O Que Aprendeu
  2. Voxtral TTS: Dar Voz ao Texto
  3. O Pipeline Completo: STT, LLM, TTS
  4. O Que Este Pipeline Permite
  5. Um Pipeline de Voz Totalmente Soberano
  6. Para Onde Seguir
  7. Resumo do Curso
  8. Pontos-chave
  9. Teste os Seus Conhecimentos

Curso atualizado em 3 de novembro de 2026 para o Voxtral 3, com base no guia Migrate from Voxtral 2 da Mistral: os modelos Voxtral 2 (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603), descontinuados a 31 de outubro de 2026 e retirados a 30 de abril de 2027, são substituídos nos exemplos por voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3 e voxtral-mini-tts-3-0. Principais alterações: as marcas temporais são apenas ao nível do segmento (word devolve um erro 400), a diarização em tempo real é suportada, as definições da sessão em tempo real ficam bloqueadas após o primeiro bloco de áudio e as entradas context_bias são de formato livre (frases com espaços). Fontes: Migrate from Voxtral 2 · Speech to Text.

O Que Aprendeu

Completou a jornada através dos dois modos de transcrição do Voxtral. No modo offline, transcreveu ficheiros de áudio com diarização, marcas temporais e enviesamento de contexto utilizando o Voxtral Mini Transcribe 3. No modo em tempo real, transcreveu fluxos contínuos com latência configurável através do Voxtral Realtime, capturou entrada de microfone e aproveitou o padrão de duplo atraso. Para cada capacidade, dispõe agora de código Python completo e da intuição necessária para avançar para a produção.

A transcrição é apenas metade da história, contudo. O ecossistema de áudio da Mistral AI também gere o caminho inverso, e é a combinação de ambas as direções que permite aplicações verdadeiramente conversacionais.

Voxtral TTS: Dar Voz ao Texto

O Voxtral TTS é o exato contraponto da transcrição: transforma texto em fala natural. Suporta clonagem de voz zero-shot, o que significa que pode reproduzir uma voz a partir de apenas dois a três segundos de áudio, sem treino prévio. Baseia-se também no princípio da voz como instrução: o modelo segue a entoação, o ritmo e a emoção do prompt vocal que fornece, pelo que não precisa de inserir etiquetas de prosódia no texto — mostra o tom desejado em vez de o descrever. A cobertura linguística inclui inglês, francês, espanhol, português, italiano, neerlandês, alemão, hindi e árabe. Funciona também em modo de streaming, com uma latência do modelo de cerca de 90 milissegundos e um tempo até ao primeiro áudio de aproximadamente 0,8 segundos em PCM, tornando-o adequado para conversas em direto.

Na prática, o Voxtral TTS dá voz às suas aplicações: assistentes virtuais, narração automatizada, ferramentas de acessibilidade e dobragem.

O Pipeline Completo: STT, LLM, TTS

Reunidos, estes três componentes formam um ciclo completo. O áudio do utilizador torna-se texto, o texto é compreendido e processado por um modelo de linguagem e a resposta volta a tornar-se áudio.

User Audio → Voxtral STT → Text
                             ↓
                      Mistral LLM (reasoning)
                             ↓
                   Text Response → Voxtral TTS → Audio Response

O código abaixo implementa este pipeline. Os dois primeiros passos são familiares: transcrição em streaming a 300 milissegundos para capturar a pergunta, seguida de uma chamada ao LLM com um prompt de sistema que impõe um registo falado. O terceiro passo permanece comentado, uma vez que a API de síntese é abordada num curso dedicado; o padrão de chamada é aqui incluído para mostrar onde se encaixa.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

async def pipeline_vocal_complet(source_audio_utilisateur):
    """Complete pipeline: listen, understand, respond."""
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    # Step 1: Transcribe user speech (STT)
    audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
    question_parts = []

    print("Listening...", flush=True)

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=source_audio_utilisateur,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
        target_streaming_delay_ms=300,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            question_parts.append(event.text)
        elif isinstance(event, TranscriptionStreamDone):
            break

    question = "".join(question_parts).strip()
    print(f"Question: {question}")

    # Step 2: Generate an intelligent response (LLM)
    reponse_llm = client.chat.complete(
        model="mistral-large-latest",
        messages=[
            {
                "role": "system",
                "content": "You are a voice assistant. "
                           "Respond concisely and naturally, "
                           "as in a spoken conversation."
            },
            {"role": "user", "content": question}
        ]
    )

    reponse_texte = reponse_llm.choices[0].message.content
    print(f"Response: {reponse_texte}")

    # Step 3: Synthesize the response into audio (TTS)
    # Note: The TTS API will be covered in a dedicated course
    # Here is the call pattern:
    #
    # audio_response = client.audio.speech.complete(
    #     model="voxtral-mini-tts-3-0",
    #     input=reponse_texte,
    #     voice_id="gb_jane_neutral",
    #     response_format="wav",
    # )
    # Audio arrives base64-encoded in audio_response.audio_data
    #
    # Play audio via a player (PyAudio, sounddevice, etc.)

    return {
        "question": question,
        "reponse": reponse_texte
    }

O Que Este Pipeline Permite

O assistente de voz empresarial é a aplicação mais imediata: compreende as perguntas dos colaboradores e responde utilizando a base de conhecimento interna. A transcrição em tempo real capta a pergunta, o LLM consulta uma base de dados vetorial via RAG e o TTS lê a resposta em voz alta.

O agente de call center leva a lógica mais longe, utilizando ambos os modos de transcrição simultaneamente. Durante a chamada, o Voxtral Realtime transcreve a conversa em direto; o Mistral LLM analisa a intenção do cliente; o Voxtral TTS formula a resposta vocal. Assim que a chamada termina, uma passagem offline com diarização produz um resumo estruturado que indica quem disse o quê — precisamente o que o tempo real não consegue fornecer.

A ferramenta de tradução de voz encadeia três modelos num único fluxo: o Voxtral STT transcreve a fala de origem entre as suas 50 línguas, o Mistral LLM traduz e o Voxtral TTS reproduz o resultado numa das suas 9 línguas de destino. Por fim, a narração automatizada transforma artigos, relatórios ou e-mails em áudio para escuta móvel, adaptando o LLM o texto para entrega oral antes da síntese.

Um Pipeline de Voz Totalmente Soberano

A vantagem decisiva deste ecossistema é a capacidade de alojar tudo na sua própria infraestrutura. O Voxtral Realtime é lançado como pesos abertos sob a licença Apache 2.0 e implementa-se nos seus próprios servidores. O Mistral Large 3 é acessível através de parceiros de cloud europeus ou no local (on-premise). O Voxtral TTS também suporta implementação privada. Por outras palavras, toda a cadeia — ouvir, compreender, responder — pode operar sem que quaisquer dados saiam da sua infraestrutura. Para a saúde, defesa, finanças ou administração pública, isto não é apenas uma conveniência; determina se o projeto é sequer viável.

Para Onde Seguir

A documentação oficial da Mistral dedica páginas ao áudio e permanece a referência para acompanhar atualizações de modelos e APIs. O Hugging Face Hub aloja os modelos Voxtral como pesos abertos, juntamente com documentação e exemplos. O fórum da Mistral reúne relatos de campo, muitas vezes mais próximos das suas restrições reais do que as demonstrações oficiais, e outros cursos da Corsen Academy cobrem o restante do ecossistema da Mistral AI.

Resumo do Curso

Conhece agora os modelos Voxtral e os seus respetivos papéis: Mini Transcribe V2 para offline, Realtime para streaming e Small para chat de áudio. Dominou a transcrição offline em todas as suas dimensões — chamadas à API, marcas temporais, diarização, enviesamento de contexto — bem como a transcrição em tempo real com o seu streaming, captura de microfone via PyAudio, controlo de latência e padrão de duplo atraso. Construiu casos de uso completos, desde legendagem e atas de reuniões até ditado, assistentes de voz e conferências, e sabe como executar tudo isto em produção. Tudo o que falta é a voz de retorno para fechar o ciclo da conversação.

Pontos-chave

  • O Voxtral TTS fecha o ciclo: STT (transcrição), depois LLM (raciocínio), depois TTS (síntese)
  • O pipeline de voz completo permite assistentes de voz, agentes de call center e tradutores
  • A implementação soberana é possível graças aos modelos de pesos abertos (Apache 2.0)
  • A transcrição é o bloco de construção fundamental para aplicações de voz
  • Continue a sua aprendizagem com cursos dedicados ao TTS e a pipelines de voz avançados

Teste os Seus Conhecimentos

Offline, tempo real, produção: transcrição sob todos os ângulos.

1. Offline ou tempo real: como escolher?

Resposta: Offline para ficheiros existentes (reuniões gravadas, arquivos) onde a máxima precisão importa; tempo real para cenários em direto (legendagem, assistentes de voz) onde a latência é crítica.

2. O que proporcionam as marcas temporais e a diarização?

Resposta: As marcas temporais localizam cada segmento no tempo (legendas, navegação); a diarização identifica quem está a falar — juntas, transformam o áudio num resumo acionável.

3. Para que serve o enviesamento de contexto?

Resposta: Para orientar o modelo sobre o vocabulário esperado (nomes próprios, termos do setor) e melhorar a precisão onde a transcrição genérica falha.

4. Quais são os ingredientes para o tempo real em Python?

Resposta: Captura de microfone (PyAudio), streaming para a API e gestão do compromisso entre latência e precisão — os parâmetros de latência são ajustados com base no caso de uso.

5. O que deve monitorizar para a produção?

Resposta: Qualidade do áudio de entrada, custos por hora transcrita, latência de ponta a ponta e erros no vocabulário crítico — com o enviesamento e os testes como alavancas.

A escolha entre offline e tempo real estrutura todo o resto — o guia do curso fornece-lhe o enquadramento, os seus casos de uso ditam a decisão.