Ir al contenido principal
Español— Elegir un idioma
Menú

Formatos de audio: PCM y G.711

Lección 5 de 16 Actualizado el 3 de noviembre de 2026 Desarrollador
En esta página
  1. Formatos de audio compatibles
  2. PCM (Modulación por impulsos codificados)
  3. G.711: mu-law y A-law
  4. Formatos de entrada y salida diferentes
  5. Opus
  6. Transporte: JSON o binario
  7. Puntos clave

Actualizado el 3 de noviembre de 2026, según la página Speech to Speech de xAI: la API acepta un cuarto códec, audio/opus (paquetes Opus en bruto, 24 kHz mono), y un segundo modo de transporte, binary, que envía el audio como tramas binarias de WebSocket en lugar de codificadas en base64 dentro de JSON. Fuente: Speech to Speech, Audio and Audio Transport.

Formatos de audio compatibles

La API de Voice Agent admite cuatro formatos de audio para la entrada y la salida: PCM, G.711 μ-law, G.711 A-law y Opus. La elección de uno u otro depende de tu caso de uso: una aplicación web, telefonía o procesamiento de audio profesional.

Formato Codificación Frecuencias de muestreo Uso habitual
audio/pcm Linear16, little-endian 8000–48000 Hz Aplicaciones web, procesamiento de audio
audio/pcmu G.711 mu-law Solo 8000 Hz Telefonía norteamericana
audio/pcma G.711 A-law Solo 8000 Hz Telefonía europea / internacional
audio/opus Opus (paquetes en bruto) 24000 Hz mono Móvil, ancho de banda reducido

PCM (Modulación por impulsos codificados)

PCM es el formato predeterminado y el más versátil. Codifica el audio como enteros con signo de 16 bits sin comprimir (Linear16) en orden little-endian.

Frecuencias de muestreo disponibles

La API admite siete frecuencias de muestreo para PCM:

  • 8000 Hz: calidad telefónica mínima
  • 16000 Hz: un buen equilibrio para la voz (banda ancha)
  • 22050 Hz: calidad intermedia
  • 24000 Hz: el valor predeterminado, recomendado para la mayoría de los casos
  • 32000 Hz: mayor calidad
  • 44100 Hz: calidad CD
  • 48000 Hz: calidad de estudio

Para una aplicación de voz estándar, 24000 Hz ofrece el mejor equilibrio entre calidad y ancho de banda. Subir más no aporta ninguna mejora perceptible en el habla.

Configuración en session.update

{
  "type": "session.update",
  "session": {
    "audio": {
      "input": {
        "format": {"type": "audio/pcm", "rate": 24000}
      },
      "output": {
        "format": {"type": "audio/pcm", "rate": 24000}
      }
    }
  }
}

G.711: mu-law y A-law

Los códecs G.711 son los estándares de la telefonía tradicional. Utilizan compresión logarítmica para reducir los datos de audio manteniendo la calidad de voz dentro de la banda telefónica (300–3400 Hz).

mu-law (audio/pcmu)

Se utiliza principalmente en América del Norte y Japón; es el códec nativo de las redes telefónicas norteamericanas. Si integras la API de Voice Agent con un sistema SIP basado en EE. UU., audio/pcmu es la opción natural.

A-law (audio/pcma)

Se utiliza en Europa y el resto del mundo. Para una integración con un operador telefónico europeo, opta por audio/pcma.

Limitaciones de G.711

Ambos códecs G.711 están limitados a 8000 Hz, lo que implica un ancho de banda de audio reducido. La calidad de voz es adecuada para telefonía, pero inferior a la del PCM a 24000 Hz. Úsalos solo cuando tu infraestructura telefónica lo exija.

Formatos de entrada y salida diferentes

La API te permite configurar formatos distintos para la entrada y la salida, algo útil en arquitecturas híbridas:

{
  "type": "session.update",
  "session": {
    "audio": {
      "input": {
        "format": {"type": "audio/pcmu", "rate": 8000}
      },
      "output": {
        "format": {"type": "audio/pcm", "rate": 24000}
      }
    }
  }
}

En este ejemplo, recibes G.711 mu-law desde un sistema telefónico y envías PCM de alta calidad de vuelta a un sistema de difusión.

Opus

El cuarto códec, audio/opus, transporta paquetes Opus en bruto a 24000 Hz en mono, un paquete por carga útil, sin cabecera de contenedor. Es un códec comprimido: reduce drásticamente el ancho de banda en comparación con PCM, lo cual es crucial en una conexión móvil, siempre que tu cliente pueda codificar y decodificar Opus.

Transporte: JSON o binario

El códec (format) indica cómo se codifica el audio; el transporte (transport) indica cómo viajan esos bytes por el WebSocket. Por defecto ("json"), el audio se codifica en base64 dentro de input_audio_buffer.append y response.output_audio.delta. Con "binary", sale como tramas binarias de WebSocket, sin base64 ni cabecera; los eventos del ciclo de vida (response.created, response.done, transcripciones) permanecen en JSON.

await ws.send(json.dumps({
    "type": "session.update",
    "session": {
        "audio": {
            "input": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
            "output": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
        }
    },
}))

await ws.send(pcm16_bytes)  # trama binaria: PCM de 16 bits en bruto, sin base64

async for message in ws:
    if isinstance(message, bytes):
        player.write(message)           # audio del asistente
    else:
        event = json.loads(message)     # evento JSON

La documentación establece dos reglas. En la entrada, una vez configurado el formato, el servidor acepta ambas vías simultáneamente: input.transport solo indica tu vía preferida. En la salida, el audio llega únicamente a través de output.transport, y un cambio a mitad de sesión solo se aplica a partir de la siguiente respuesta, de modo que una única intervención nunca mezcla JSON y binario. El modo binario evita la sobrecarga de base64, que añade aproximadamente un tercio al volumen de datos.

Puntos clave

  • El formato predeterminado es PCM a 24000 Hz, ideal para aplicaciones web
  • G.711 mu-law (pcmu) es el estándar de telefonía norteamericana
  • G.711 A-law (pcma) es el estándar de telefonía europea
  • Los códecs G.711 están limitados a 8000 Hz
  • Puedes usar formatos diferentes para la entrada y la salida
  • audio/opus (24 kHz mono) reduce el ancho de banda; transport: "binary" envía el audio como tramas binarias, sin base64
  • Para la voz, 24000 Hz es el mejor equilibrio entre calidad y ancho de banda