Formatos de audio: PCM y G.711
En esta página
Actualizado el 3 de noviembre de 2026, según la página Speech to Speech de xAI: la API acepta un cuarto códec,
audio/opus(paquetes Opus en bruto, 24 kHz mono), y un segundo modo de transporte,binary, que envía el audio como tramas binarias de WebSocket en lugar de codificadas en base64 dentro de JSON. Fuente: Speech to Speech, Audio and Audio Transport.
Formatos de audio compatibles
La API de Voice Agent admite cuatro formatos de audio para la entrada y la salida: PCM, G.711 μ-law, G.711 A-law y Opus. La elección de uno u otro depende de tu caso de uso: una aplicación web, telefonía o procesamiento de audio profesional.
| Formato | Codificación | Frecuencias de muestreo | Uso habitual |
|---|---|---|---|
| audio/pcm | Linear16, little-endian | 8000–48000 Hz | Aplicaciones web, procesamiento de audio |
| audio/pcmu | G.711 mu-law | Solo 8000 Hz | Telefonía norteamericana |
| audio/pcma | G.711 A-law | Solo 8000 Hz | Telefonía europea / internacional |
| audio/opus | Opus (paquetes en bruto) | 24000 Hz mono | Móvil, ancho de banda reducido |
PCM (Modulación por impulsos codificados)
PCM es el formato predeterminado y el más versátil. Codifica el audio como enteros con signo de 16 bits sin comprimir (Linear16) en orden little-endian.
Frecuencias de muestreo disponibles
La API admite siete frecuencias de muestreo para PCM:
- 8000 Hz: calidad telefónica mínima
- 16000 Hz: un buen equilibrio para la voz (banda ancha)
- 22050 Hz: calidad intermedia
- 24000 Hz: el valor predeterminado, recomendado para la mayoría de los casos
- 32000 Hz: mayor calidad
- 44100 Hz: calidad CD
- 48000 Hz: calidad de estudio
Para una aplicación de voz estándar, 24000 Hz ofrece el mejor equilibrio entre calidad y ancho de banda. Subir más no aporta ninguna mejora perceptible en el habla.
Configuración en session.update
{
"type": "session.update",
"session": {
"audio": {
"input": {
"format": {"type": "audio/pcm", "rate": 24000}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000}
}
}
}
}
G.711: mu-law y A-law
Los códecs G.711 son los estándares de la telefonía tradicional. Utilizan compresión logarítmica para reducir los datos de audio manteniendo la calidad de voz dentro de la banda telefónica (300–3400 Hz).
mu-law (audio/pcmu)
Se utiliza principalmente en América del Norte y Japón; es el códec nativo de las redes telefónicas norteamericanas. Si integras la API de Voice Agent con un sistema SIP basado en EE. UU., audio/pcmu es la opción natural.
A-law (audio/pcma)
Se utiliza en Europa y el resto del mundo. Para una integración con un operador telefónico europeo, opta por audio/pcma.
Limitaciones de G.711
Ambos códecs G.711 están limitados a 8000 Hz, lo que implica un ancho de banda de audio reducido. La calidad de voz es adecuada para telefonía, pero inferior a la del PCM a 24000 Hz. Úsalos solo cuando tu infraestructura telefónica lo exija.
Formatos de entrada y salida diferentes
La API te permite configurar formatos distintos para la entrada y la salida, algo útil en arquitecturas híbridas:
{
"type": "session.update",
"session": {
"audio": {
"input": {
"format": {"type": "audio/pcmu", "rate": 8000}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000}
}
}
}
}
En este ejemplo, recibes G.711 mu-law desde un sistema telefónico y envías PCM de alta calidad de vuelta a un sistema de difusión.
Opus
El cuarto códec, audio/opus, transporta paquetes Opus en bruto a 24000 Hz en mono, un paquete por carga útil, sin cabecera de contenedor. Es un códec comprimido: reduce drásticamente el ancho de banda en comparación con PCM, lo cual es crucial en una conexión móvil, siempre que tu cliente pueda codificar y decodificar Opus.
Transporte: JSON o binario
El códec (format) indica cómo se codifica el audio; el transporte (transport) indica cómo viajan esos bytes por el WebSocket. Por defecto ("json"), el audio se codifica en base64 dentro de input_audio_buffer.append y response.output_audio.delta. Con "binary", sale como tramas binarias de WebSocket, sin base64 ni cabecera; los eventos del ciclo de vida (response.created, response.done, transcripciones) permanecen en JSON.
await ws.send(json.dumps({
"type": "session.update",
"session": {
"audio": {
"input": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
"output": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
}
},
}))
await ws.send(pcm16_bytes) # trama binaria: PCM de 16 bits en bruto, sin base64
async for message in ws:
if isinstance(message, bytes):
player.write(message) # audio del asistente
else:
event = json.loads(message) # evento JSON
La documentación establece dos reglas. En la entrada, una vez configurado el formato, el servidor acepta ambas vías simultáneamente: input.transport solo indica tu vía preferida. En la salida, el audio llega únicamente a través de output.transport, y un cambio a mitad de sesión solo se aplica a partir de la siguiente respuesta, de modo que una única intervención nunca mezcla JSON y binario. El modo binario evita la sobrecarga de base64, que añade aproximadamente un tercio al volumen de datos.
Puntos clave
- El formato predeterminado es PCM a 24000 Hz, ideal para aplicaciones web
- G.711 mu-law (pcmu) es el estándar de telefonía norteamericana
- G.711 A-law (pcma) es el estándar de telefonía europea
- Los códecs G.711 están limitados a 8000 Hz
- Puedes usar formatos diferentes para la entrada y la salida
audio/opus(24 kHz mono) reduce el ancho de banda;transport: "binary"envía el audio como tramas binarias, sin base64- Para la voz, 24000 Hz es el mejor equilibrio entre calidad y ancho de banda