Formatos de audio y optimización
En esta página
Elige el formato adecuado para cada contexto
El formato de audio es uno de esos parámetros que configuras a toda prisa al principio y de los que te arrepientes después. Sin embargo, determina la calidad percibida, el ancho de banda que consume cada reproducción y la compatibilidad con tu plataforma de destino. Un pódcast entregado como PCM sin comprimir dispara tus costes de distribución, y una transmisión telefónica a 24.000 Hz sufrirá una transcodificación intermedia con toda la degradación que ello conlleva. Esta lección repasa los formatos disponibles y cómo decidir entre ellos.
Códecs compatibles
| Códec | Tipo MIME | Compresión | Uso principal |
|---|---|---|---|
mp3 | audio/mpeg | Con pérdida | Web, móvil, pódcasts |
wav | audio/wav | Sin pérdida | Postproducción, archivado |
pcm | audio/pcm | Ninguna (crudo) | Tuberías de audio, Voice Agent |
mulaw | audio/basic | Logarítmica | Telefonía (Américas, Japón) |
alaw | audio/alaw | Logarítmica | Telefonía (Europa, internacional) |
MP3 cubre la mayor parte de la distribución para consumidores. WAV se reserva para audio que aún necesita edición o debe conservarse sin pérdida. PCM es el formato de intercambio de las tuberías en tiempo real, incluido el Voice Agent, porque no tiene coste de decodificación. Mu-law y A-law existen exclusivamente para telefonía y no tienen razón de aparecer en ningún otro lugar.
Frecuencias de muestreo
La frecuencia de muestreo define la granularidad de la señal: cuanto más alta sea, mejor se reproducirán las frecuencias agudas y mayor será el tamaño del archivo.
| Frecuencia de muestreo | Calidad | Uso |
|---|---|---|
| 8.000 Hz | Telefonía | VoIP, SIP, G.711 |
| 16.000 Hz | Voz de banda ancha | Transcripción, reconocimiento de voz |
| 22.050 Hz | Radio FM | Pódcasts, notificaciones |
| 24.000 Hz | Estándar TTS (predeterminado) | Uso general |
| 44.100 Hz | Audio CD | Producción musical, audiolibros |
| 48.000 Hz | Vídeo/broadcast | Postproducción, radiodifusión |
En la práctica, tres casos lo deciden todo. La telefonía exige 8.000 Hz, sin discusión: es lo que demanda G.711. La web y el móvil funcionan bien con los 24.000 Hz predeterminados, el mejor equilibrio entre calidad y ancho de banda para la voz. El trabajo de producción, como un audiolibro o la banda sonora de un vídeo, justifica 44.100 o 48.000 Hz, porque el archivo se mezclará, normalizará y posiblemente se recodificará, y cada paso merma un poco la calidad.
Tasas de bits en MP3
Con el códec MP3, la tasa de bits establece la compresión y, por tanto, el tamaño final del archivo.
| Tasa de bits | Calidad | Tamaño por 1 min |
|---|---|---|
| 32.000 bps | Baja | ~240 KB |
| 64.000 bps | Media | ~480 KB |
| 96.000 bps | Buena | ~720 KB |
| 128.000 bps (predeterminado) | Muy buena | ~960 KB |
| 192.000 bps | Excelente | ~1,4 MB |
La voz ocupa solo una pequeña parte del espectro: 128 kbps ya la reproducen muy bien, y subir a 192 kbps aumenta la mitad del peso de tu catálogo sin que ningún oyente note la diferencia en contenido hablado. Reserva ese nivel superior para producciones premium o pasajes musicales.
Convertir audio en Python
El Voice Agent entrega PCM crudo codificado en base64, y dos conversiones surgen en casi todos los proyectos. La primera transforma ese flujo en un array de numpy normalizado entre -1 y 1, el formato que esperan la mayoría de las bibliotecas de procesamiento de señales, y realiza el proceso inverso para enviar audio de vuelta a la API.
import base64
import numpy as np
def base64_to_audio(base64_audio: str) -> np.ndarray:
audio_bytes = base64.b64decode(base64_audio)
audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
return audio_int16.astype(np.float32) / 32768.0
def audio_to_base64(audio_data: np.ndarray) -> str:
audio_int16 = (audio_data * 32767).astype(np.int16)
return base64.b64encode(audio_int16.tobytes()).decode("utf-8")
La segunda envuelve el PCM en un contenedor WAV. Sin esa cabecera, un reproductor de audio no sabe ni cuántos canales hay ni qué frecuencia de muestreo asumir, por lo que rechazará el archivo o lo reproducirá a la velocidad incorrecta.
import wave
def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
import io
buffer = io.BytesIO()
with wave.open(buffer, "wb") as wf:
wf.setnchannels(1)
wf.setsampwidth(2) # 16-bit
wf.setframerate(sample_rate)
wf.writeframes(pcm_data)
return buffer.getvalue()
Optimiza para el destino
Para una aplicación web, mantén MP3 a 128 kbps y 24.000 Hz para TTS y PCM a 24.000 Hz para el Voice Agent, que requiere transmisión bidireccional. Convierte tus activos de audio estáticos, como sintonías y mensajes pregrabados, a MP3 de una vez por todas en lugar de servir WAV a cada visitante.
Para telefonía, mantente estrictamente con G.711 a 8.000 Hz y configura el Voice Agent directamente en ese formato: cualquier transcodificación en tiempo real añade latencia donde no te sobra nada.
Para el almacenamiento, separa el archivado de la distribución: el máster se mantiene en WAV a 24.000 Hz, listo para ser retocado, y distribuyes MP3 a 128 kbps, que es mucho más ligero. Mismo contenido, dos archivos, dos propósitos.
Gestiona la memoria en el navegador
Durante la reproducción en streaming, cada llamada a URL.createObjectURL reserva memoria que el navegador no libera por sí solo. En una sesión larga, estas URLs se acumulan hasta que la pestaña se vuelve extremadamente lenta. Revoca la anterior antes de crear una nueva:
let currentBlobUrl = null;
function playAudioChunk(base64Data) {
// Liberar la URL anterior
if (currentBlobUrl) {
URL.revokeObjectURL(currentBlobUrl);
}
const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
const blob = new Blob([audioBuffer], { type: "audio/pcm" });
currentBlobUrl = URL.createObjectURL(blob);
// Reproducir el audio...
}
Interpreta los códigos de error de TTS
| Código | Significado | Acción |
|---|---|---|
| 200 | Éxito | Audio en el cuerpo de la respuesta |
| 400 | Solicitud incorrecta | Revisa el texto, el códec y la frecuencia de muestreo |
| 401 | No autorizado | Revisa la clave de API |
| 429 | Cuota excedida | Implementa retroceso exponencial |
| 500/503 | Error del servidor | Reintenta con retroceso |
Los errores 400 se corrigen en tu código y no desaparecerán por sí solos: provienen de un parámetro incompatible, típicamente una frecuencia de muestreo que el códec elegido no acepta. Los errores 429 y 5xx, por el contrario, requieren la misma respuesta: retroceso exponencial, con retrasos que se duplican en cada intento. Un bucle de reintento inmediato solo empeora las cosas al machacar la cuota que acabas de exceder.
Puntos clave
- Hay cinco códecs disponibles: MP3, WAV, PCM, mu-law y A-law, cada uno adecuado para un contexto específico
- La frecuencia de muestreo predeterminada es 24.000 Hz; usa 8.000 Hz para telefonía y 44.100 Hz o superior para producción
- MP3 a 128 kbps ofrece el mejor equilibrio calidad-tamaño para la voz hablada
- Gestiona las URLs de Blob en el navegador para evitar fugas de memoria
- Implementa retroceso exponencial para gestionar errores 429 (límite de tasa) y 5xx
Comprueba tu comprensión
Voice Agent y TTS: voz de extremo a extremo, en cinco preguntas.
1. ¿Cómo funciona una sesión de Voice Agent?
Respuesta: A través de un WebSocket en tiempo real. Configuras la sesión (voz, personalidad, instrucciones) y luego los eventos fluyen en ambas direcciones: el audio del usuario en una dirección y las respuestas habladas del agente en la otra.
2. ¿Qué hace posible la llamada a funciones en voz?
Respuesta: El agente de voz llama a tus herramientas en mitad de la conversación para consultar una cuenta, hacer una reserva o realizar una acción. La voz se convierte en una interfaz completa, no solo en una máquina de dictado.
3. ¿Qué aportan las etiquetas expresivas de TTS?
Respuesta: Control sobre el habla: entonación, pausas, énfasis. La síntesis deja de sonar monótona y sigue la intención del texto, en todos los idiomas compatibles.
4. ¿Por qué son importantes los tokens efímeros?
Respuesta: Permiten que el cliente (navegador o aplicación móvil) se conecte al servicio de voz sin exponer tu clave de API principal. Las credenciales son de corta duración, están limitadas a una sesión de voz y caducan por sí solas, lo que hace segura la voz en tiempo real.
5. ¿Qué te permiten controlar los formatos de audio?
Respuesta: El equilibrio entre calidad, latencia y ancho de banda: elegir el formato y la frecuencia de muestreo que se ajusten al canal (web, telefonía SIP, LiveKit). Es la optimización que te permite llegar a la meta.
Sesión, herramientas, expresividad, seguridad, formatos: el asistente de voz completo de este curso reúne los cinco elementos, y el tuyo seguirá el mismo plan.