Ir para o conteúdo principal
Português— Escolher um idioma
Menu

Introdução à Transcrição em Tempo Real

Aula 9 de 16 Atualizada a 3 de novembro de 2026 Programador
Nesta página
  1. Um Novo Paradigma: Streaming de Áudio
  2. O Que o Modelo em Tempo Real Oferece
  3. Instalação
  4. O Formato de Áudio Obrigatório
  5. Os Dois Eventos do Fluxo
  6. Primeiro Exemplo Completo
  7. Quando Mudar para o Tempo Real
  8. Pontos-chave

Curso atualizado a 3 de novembro de 2026 para o Voxtral 3, com base no guia Migrate from Voxtral 2 da Mistral: os modelos Voxtral 2 (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603, preteridos a 31 de outubro de 2026 e desativados a 30 de abril de 2027) são substituídos nos exemplos por voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3 e voxtral-mini-tts-3-0. Alterações principais: as marcas temporais são apenas por segmento (word devolve um erro 400), a diarização está disponível em tempo real, as definições da sessão em tempo real ficam bloqueadas após o primeiro bloco de áudio e as entradas de context_bias são de formato livre (frases com espaços). Fontes: Migrate from Voxtral 2 · Speech to Text.

Um Novo Paradigma: Streaming de Áudio

Até agora, trabalhou no modo offline: envia um ficheiro de áudio completo, aguarda que o modelo o processe e só depois utiliza o resultado. Este fluxo de trabalho adequa-se a gravações existentes, como reuniões arquivadas, podcasts ou entrevistas. Falha quando o áudio chega continuamente: ninguém vai esperar até ao fim de uma conferência de duas horas para ver as primeiras legendas, e um assistente de voz que só compreende uma pergunta após um longo silêncio parece defeituoso.

O Voxtral Realtime responde a esta necessidade com uma arquitetura de streaming. O áudio é transcrito em tempo real, palavra por palavra, e o atraso entre o som e o texto torna-se um parâmetro que pode controlar, descendo até 200 milissegundos. A mudança é tanto mental como técnica: deixa de pensar em pedidos isolados para pensar em fluxos contínuos, e o seu programa deve estar preparado para receber texto a qualquer momento.

O Que o Modelo em Tempo Real Oferece

O modelo é invocado sob o identificador voxtral-mini-transcribe-realtime-3 e difere fundamentalmente da sua contraparte offline. Recebe blocos de áudio e emite fragmentos de texto continuamente, sem nunca esperar pelo fim da gravação. A sua latência é controlada pelo parâmetro target_streaming_delay_ms, que explorará em detalhe mais adiante neste curso. Cobre 45 línguas e dialetos, podendo a língua ser fixada ou detetada automaticamente. O seu antecessor de Geração 2, voxtral-mini-transcribe-realtime-2602 (4 mil milhões de parâmetros), é publicado como open weights sob a licença Apache 2.0 no Hugging Face Hub para instalação totalmente soberana nos seus próprios servidores.

Com o Voxtral 3, o desempenho em tempo real reduziu largamente a diferença face ao modo offline. A diarização está disponível — embora não na mesma sessão que a deteção de fim de turno —, assim como o viés de contexto (context biasing) e a deteção de fim de turno. Permanecem duas diferenças: os segmentos transportam o rótulo do orador, mas não a hora de início ou fim, e todas as definições da sessão (língua, vocabulário, diarização, atraso) devem ser enviadas antes do primeiro bloco de áudio, após o qual ficam bloqueadas. Se o seu caso de uso exigir marcas temporais precisas, necessita do modo offline, possivelmente como complemento ao tempo real.

Instalação

O SDK da Mistral não carrega as dependências de streaming por predefinição. Deve solicitar explicitamente o extra realtime, que adiciona suporte para ligações WebSocket e processamento assíncrono de áudio:

pip install "mistralai[realtime]"

O Formato de Áudio Obrigatório

Ao contrário do modo offline, que aceita uma vasta gama de contentores, o Voxtral Realtime espera um fluxo bruto num formato único e inegociável:

  • Codificação: PCM little-endian com sinal de 16 bits (pcm_s16le)
  • Taxa de amostragem: 16 000 Hz (16 kHz)
  • Canais: Mono (1 canal)

Esta restrição não é um obstáculo: este formato é o mais standard disponível e todas as ferramentas de captura o produzem nativamente, seja o PyAudio, o FFmpeg ou o PulseAudio. Declara-o uma vez ao cliente, que o utiliza para interpretar os bytes que transmite.

from mistralai.client.models import AudioFormat

# Definir o formato de áudio
audio_format = AudioFormat(
    encoding="pcm_s16le",
    sample_rate=16000
)

Os Dois Eventos do Fluxo

Quando itera sobre a transcrição, o SDK devolve dois tipos de objetos. O TranscriptionStreamTextDelta é emitido para cada novo fragmento transcrito e transporta o texto parcial que pode apresentar imediatamente; é isto que alimenta o ecrã do utilizador. O TranscriptionStreamDone chega exatamente uma vez, quando o fluxo de áudio termina, seja no fim de um ficheiro ou quando o microfone é desligado; sinaliza que nada mais virá e que pode consolidar o resultado. Toda a sua lógica se resume, portanto, a um ciclo assíncrono que distingue estes dois casos:

from mistralai.client.models import (
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

async for event in flux_transcription:
    if isinstance(event, TranscriptionStreamTextDelta):
        # Novo texto disponível
        print(event.text, end="", flush=True)
    elif isinstance(event, TranscriptionStreamDone):
        # Transcrição terminada
        print("\n[Concluído]")

Primeiro Exemplo Completo

Para se familiarizar com o mecanismo sem depender de um microfone, a abordagem mais simples é simular um fluxo a partir de um ficheiro já convertido para PCM. A função lire_fichier_pcm é um gerador assíncrono: lê o ficheiro em blocos e devolve-os um a um, exatamente como faria uma placa de som. O restante do programa é o que reutilizará mais tarde sem modificações.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)

async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
    """Lê um ficheiro PCM em blocos para simular um fluxo."""
    with open(chemin, "rb") as f:
        while True:
            chunk = f.read(taille_chunk)
            if not chunk:
                break
            yield chunk

async def main():
    flux_audio = lire_fichier_pcm("audio.pcm")

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=flux_audio,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            print(event.text, end="", flush=True)
        elif isinstance(event, TranscriptionStreamDone):
            print("\n\nTranscrição concluída.")

asyncio.run(main())

Se o seu ficheiro de origem for um MP3, não pode ser enviado tal como está: converta-o primeiro com o FFmpeg, impondo as três características exigidas pelo modelo.

ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm

Quando Mudar para o Tempo Real

O critério de seleção é simples: o tempo real justifica-se quando alguém está à espera do texto enquanto o som está a ser produzido. Isto aplica-se à legendagem ao vivo de uma conferência, webinar ou curso online, onde a audiência lê à medida que ouve; a um assistente de voz, que deve compreender o utilizador enquanto este fala para responder sem pausas estranhas; à ditada, onde a fala se transforma em texto diante dos olhos do orador; e, finalmente, à transcrição de conferências, quando o texto deve aparecer à medida que é falado. Em todos os outros casos, o modo offline permanece mais rico e mais simples de implementar.

As próximas lições mostrar-lhe-ão como capturar o microfone, afinar a latência e construir estes casos de uso de ponta a ponta.

Pontos-chave

  • O Voxtral Mini Transcribe Realtime 3 transcreve áudio em modo de streaming com um atraso ajustável de 80 ms a 1,2 s (ou 2,4 s)
  • Formato de áudio obrigatório: PCM de 16 bits, 16 kHz, mono
  • Dois tipos de eventos: TextDelta (texto parcial) e Done (fim)
  • Instale com pip install "mistralai[realtime]"
  • Programação assíncrona obrigatória (async/await)
  • Diarização (excluindo a deteção de fim de turno) e viés de contexto disponíveis em tempo real, sem marcas temporais por segmento; definições bloqueadas após o primeiro bloco de áudio
  • A Geração 2 do modelo em tempo real é open weights Apache 2.0, para implementação soberana