Formatos de áudio e otimização
Nesta página
Escolha o formato certo para cada contexto
O formato de áudio é uma daquelas definições que trata à pressa no início e de que se arrepende depois. No entanto, ele determina a qualidade percebida, a largura de banda consumida em cada reprodução e a compatibilidade com a sua plataforma de destino. Um podcast entregue como PCM bruto faz explodir os seus custos de distribuição, e um fluxo de telefone a 24.000 Hz será transcodificado pelo caminho, com toda a degradação que isso implica. Esta lição revê os formatos disponíveis e como escolher entre eles.
Codecs suportados
| Codec | Tipo MIME | Compressão | Utilização principal |
|---|---|---|---|
mp3 | audio/mpeg | Com perdas | Web, telemóvel, podcasts |
wav | audio/wav | Sem perdas | Pós-produção, arquivamento |
pcm | audio/pcm | Nenhuma (bruto) | Pipelines de áudio, Voice Agent |
mulaw | audio/basic | Logarítmica | Telefonia (Américas, Japão) |
alaw | audio/alaw | Logarítmica | Telefonia (Europa, internacional) |
O MP3 cobre a maior parte da distribuição para consumidores. O WAV destina-se a áudio que ainda precisa de edição ou que deve ser mantido sem perdas. O PCM é o formato de troca de pipelines em tempo real, incluindo o Voice Agent, porque não custa nada descodificar. O Mu-law e o A-law existem apenas para telefonia e não têm razão para aparecer noutro lugar.
Taxas de amostragem
A taxa de amostragem define a granularidade do sinal: quanto maior for, melhores são as altas frequências que passam, e maior é o ficheiro.
| Taxa de amostragem | Qualidade | Utilização |
|---|---|---|
| 8.000 Hz | Telefonia | VoIP, SIP, G.711 |
| 16.000 Hz | Voz de banda larga | Transcrição, reconhecimento de voz |
| 22.050 Hz | Rádio FM | Podcasts, notificações |
| 24.000 Hz | Padrão TTS (predefinição) | Uso geral |
| 44.100 Hz | Áudio CD | Produção musical, audiolivros |
| 48.000 Hz | Vídeo/broadcast | Pós-produção, radiodifusão |
Na prática, três casos resolvem a questão. A telefonia exige 8.000 Hz, sem discussão: é o que o G.711 exige. A web e o telemóvel funcionam bem com os 24.000 Hz predefinidos, o melhor equilíbrio entre qualidade e largura de banda para voz. O trabalho de produção, como um audiolivro ou uma banda sonora de vídeo, justifica 44.100 ou 48.000 Hz, porque o ficheiro será misturado, normalizado e possivelmente recodificado, e cada passo consome um pouco de qualidade.
Taxas de bits MP3
Com o codec MP3, a taxa de bits define a compressão e, portanto, o tamanho final do ficheiro.
| Taxa de bits | Qualidade | Tamanho para 1 min |
|---|---|---|
| 32.000 bps | Baixa | ~240 KB |
| 64.000 bps | Média | ~480 KB |
| 96.000 bps | Boa | ~720 KB |
| 128.000 bps (predefinição) | Muito boa | ~960 KB |
| 192.000 bps | Excelente | ~1,4 MB |
A voz ocupa apenas uma pequena parte do espetro: 128 kbps já a reproduz muito bem, e subir para 192 kbps torna o seu catálogo metade mais pesado sem que nenhum ouvinte note a diferença em conteúdo falado. Guarde esse nível superior para produções premium ou passagens musicais.
Converter áudio em Python
O Voice Agent entrega PCM bruto, codificado em base64, e duas conversões surgem em quase todos os projetos. A primeira transforma esse fluxo num array numpy normalizado entre -1 e 1, o formato que a maioria das bibliotecas de processamento de sinal espera, e faz o caminho inverso para enviar áudio de volta à API.
import base64
import numpy as np
def base64_to_audio(base64_audio: str) -> np.ndarray:
audio_bytes = base64.b64decode(base64_audio)
audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
return audio_int16.astype(np.float32) / 32768.0
def audio_to_base64(audio_data: np.ndarray) -> str:
audio_int16 = (audio_data * 32767).astype(np.int16)
return base64.b64encode(audio_int16.tobytes()).decode("utf-8")
A segunda envolve o PCM num contentor WAV. Sem esse cabeçalho, um leitor de áudio não sabe quantos canais existem nem qual a taxa de amostragem a assumir, e ou recusará o ficheiro ou reproduzi-lo-á à velocidade errada.
import wave
def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
import io
buffer = io.BytesIO()
with wave.open(buffer, "wb") as wf:
wf.setnchannels(1)
wf.setsampwidth(2) # 16-bit
wf.setframerate(sample_rate)
wf.writeframes(pcm_data)
return buffer.getvalue()
Otimize para o destino
Para uma aplicação web, mantenha-se no MP3 a 128 kbps e 24.000 Hz para TTS e PCM a 24.000 Hz para o Voice Agent, que exige streaming bidirecional. Converta os seus ativos de áudio estáticos, como jingles e mensagens pré-gravadas, para MP3 de uma vez por todas, em vez de servir WAV a todos os visitantes.
Para telefonia, mantenha-se estritamente no G.711 a 8.000 Hz e configure o Voice Agent diretamente nesse formato: qualquer transcodificação em tempo real adiciona latência onde não tem margem para isso.
Para armazenamento, separe o arquivamento da distribuição: o mestre permanece em WAV a 24.000 Hz, pronto para ser retrabalhado, e distribui MP3 a 128 kbps, que é muito mais leve. O mesmo conteúdo, dois ficheiros, dois propósitos.
Gerir memória no navegador
Durante a reprodução em streaming, cada chamada a URL.createObjectURL reserva memória que o navegador não liberta por si só. Numa sessão longa, estes URLs acumulam-se até o separador ficar extremamente lento. Revogue o anterior antes de criar um novo:
let currentBlobUrl = null;
function playAudioChunk(base64Data) {
// Libertar o URL anterior
if (currentBlobUrl) {
URL.revokeObjectURL(currentBlobUrl);
}
const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
const blob = new Blob([audioBuffer], { type: "audio/pcm" });
currentBlobUrl = URL.createObjectURL(blob);
// Reproduzir o áudio...
}
Interpretar códigos de erro TTS
| Código | Significado | Ação |
|---|---|---|
| 200 | Sucesso | Áudio no corpo da resposta |
| 400 | Pedido inválido | Verifique o texto, o codec e a taxa de amostragem |
| 401 | Não autorizado | Verifique a chave da API |
| 429 | Cota excedida | Implemente backoff exponencial |
| 500/503 | Erro do servidor | Tente novamente com backoff |
Os erros 400 corrigem-se no seu código e não desaparecem sozinhos: provêm de um parâmetro incompatível, tipicamente uma taxa de amostragem que o codec escolhido não aceita. Os erros 429 e 5xx, por outro lado, exigem a mesma resposta: backoff exponencial, com atrasos que duplicam em cada tentativa. Um ciclo de repetição imediata só piora as coisas ao sobrecarregar a cota que acabou de exceder.
Pontos-chave
- Estão disponíveis cinco codecs: MP3, WAV, PCM, mu-law e A-law, cada um adequado a um contexto específico
- A taxa de amostragem predefinida é 24.000 Hz; use 8.000 Hz para telefonia e 44.100 Hz ou superior para produção
- O MP3 a 128 kbps oferece o melhor compromisso qualidade-tamanho para voz falada
- Gerir URLs de Blob no navegador para evitar fugas de memória
- Implementar backoff exponencial para lidar com erros 429 (limitação de taxa) e 5xx
Verifique a sua compreensão
Voice Agent e TTS: voz de ponta a ponta, em cinco perguntas.
1. Como funciona uma sessão de Voice Agent?
Resposta: Através de um WebSocket em tempo real. Configura a sessão (voz, personalidade, instruções) e, em seguida, os eventos fluem nos dois sentidos: o áudio do utilizador numa direção e as respostas faladas do agente na outra.
2. O que é que a chamada de funções torna possível na voz?
Resposta: O agente de voz chama as suas ferramentas no meio da conversa para consultar uma conta, fazer uma reserva ou tomar uma ação. A voz torna-se uma interface completa, não apenas uma máquina de ditado.
3. O que é que as etiquetas expressivas TTS adicionam?
Resposta: Controlo sobre a fala: entoação, pausas, ênfase. A síntese deixa de soar monótona e segue a intenção do texto, em todas as línguas suportadas.
4. Porque é que os tokens efémeros são importantes?
Resposta: Permitem que o cliente (navegador ou aplicação móvel) se ligue ao serviço de voz sem expor a sua chave principal da API. As credenciais têm vida curta, estão limitadas a uma sessão de voz e expiram por si só, o que torna a voz em tempo real segura.
5. O que é que os formatos de áudio lhe permitem controlar?
Resposta: O compromisso entre qualidade, latência e largura de banda: escolher o formato e a taxa de amostragem adequados ao canal (web, telefonia SIP, LiveKit). É a otimização que o leva à linha de chegada.
Sessão, ferramentas, expressividade, segurança, formatos: o assistente de voz completo neste curso reúne todos os cinco, e o seu seguirá o mesmo plano.