Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

Audioformaten: PCM en G.711

Les 5 van 16 Bijgewerkt op 3 november 2026 Ontwikkelaar
Op deze pagina
  1. Ondersteunde audioformaten
  2. PCM (Pulse Code Modulation)
  3. G.711: mu-law en A-law
  4. Verschillende formaten voor invoer en uitvoer
  5. Opus
  6. Transport: JSON of binair
  7. Belangrijkste punten

Bijgewerkt op 3 november 2026, gebaseerd op de xAI-pagina Speech to Speech: de API accepteert een vierde codec, audio/opus (raw Opus-pakketten, 24 kHz mono), en een tweede transportmodus, binary, die audio verzendt als binaire WebSocket-frames in plaats van base64 binnen JSON. Bron: Speech to Speech, Audio and Audio Transport.

Ondersteunde audioformaten

De Voice Agent API ondersteunt vier audioformaten voor invoer en uitvoer: PCM, G.711 μ-law, G.711 A-law en Opus. Uw keuze hangt af van uw use case: een webapplicatie, telefonie of professionele audioverwerking.

Formaat Codering Sample rates Typisch gebruik
audio/pcm Linear16, little-endian 8000–48000 Hz Web-apps, audioverwerking
audio/pcmu G.711 mu-law Alleen 8000 Hz Noord-Amerikaanse telefonie
audio/pcma G.711 A-law Alleen 8000 Hz Europese / internationale telefonie
audio/opus Opus (raw pakketten) 24000 Hz mono Mobiel, lage bandbreedte

PCM (Pulse Code Modulation)

PCM is het standaardformaat en het meest veelzijdig. Het codeert audio als ongecomprimeerde 16-bit signed integers (Linear16) in little-endian volgorde.

Beschikbare sample rates

De API ondersteunt zeven sample rates voor PCM:

  • 8000 Hz: minimale telefoonkwaliteit
  • 16000 Hz: een goed compromis voor spraak (wideband)
  • 22050 Hz: tussenliggende kwaliteit
  • 24000 Hz: de standaard, aanbevolen voor de meeste gevallen
  • 32000 Hz: hogere kwaliteit
  • 44100 Hz: cd-kwaliteit
  • 48000 Hz: studiekwaliteit

Voor een standaard spraakapplicatie biedt 24000 Hz de beste balans tussen kwaliteit en bandbreedte. Hogere waarden leveren voor spraak geen merkbare verbetering op.

Configuratie in session.update

{
  "type": "session.update",
  "session": {
    "audio": {
      "input": {
        "format": {"type": "audio/pcm", "rate": 24000}
      },
      "output": {
        "format": {"type": "audio/pcm", "rate": 24000}
      }
    }
  }
}

G.711: mu-law en A-law

De G.711-codecs zijn de standaarden voor traditionele telefonie. Ze gebruiken logaritmische compressie om audiogegevens te verkleinen terwijl de spraakkwaliteit binnen de telefoonband (300–3400 Hz) behouden blijft.

mu-law (audio/pcmu)

Wordt voornamelijk gebruikt in Noord-Amerika en Japan; het is de native codec van Noord-Amerikaanse telefoonnetwerken. Als u de Voice Agent API integreert met een SIP-systeem in de VS, is audio/pcmu de logische keuze.

A-law (audio/pcma)

Wordt gebruikt in Europa en de rest van de wereld. Kies voor een integratie met een Europese telefonieaanbieder audio/pcma.

Beperkingen van G.711

Beide G.711-codecs zijn beperkt tot 8000 Hz, wat resulteert in een verminderde audiobandbreedte. De spraakkwaliteit is prima voor telefonie, maar lager dan bij 24000 Hz PCM. Gebruik ze alleen wanneer uw telefonie-infrastructuur dit vereist.

Verschillende formaten voor invoer en uitvoer

Met de API kunt u verschillende formaten configureren voor invoer en uitvoer, wat handig is in hybride architecturen:

{
  "type": "session.update",
  "session": {
    "audio": {
      "input": {
        "format": {"type": "audio/pcmu", "rate": 8000}
      },
      "output": {
        "format": {"type": "audio/pcm", "rate": 24000}
      }
    }
  }
}

In dit voorbeeld ontvangt u G.711 mu-law van een telefoonsysteem en stuurt u hoogwaardige PCM terug naar een omroepsysteem.

Opus

De vierde codec, audio/opus, vervoert raw Opus-pakketten op 24.000 Hz mono, één pakket per payload, zonder container-header. Het is een gecomprimeerde codec: het verlaagt het bandbreedtegebruik aanzienlijk in vergelijking met PCM, wat belangrijk is op een mobiele verbinding, zolang uw client Opus kan coderen en decoderen.

Transport: JSON of binair

De codec (format) bepaalt hoe de audio is gecodeerd; het transport (transport) bepaalt hoe die bytes via het WebSocket worden verzonden. Standaard ("json") wordt audio base64-gecodeerd binnen input_audio_buffer.append en response.output_audio.delta. Bij "binary" wordt het verzonden als binaire WebSocket-frames, zonder base64 en zonder header; lifecycle-events (response.created, response.done, transcripties) blijven in JSON.

await ws.send(json.dumps({
    "type": "session.update",
    "session": {
        "audio": {
            "input": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
            "output": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
        }
    },
}))

await ws.send(pcm16_bytes)  # binair frame: raw 16-bit PCM, geen base64

async for message in ws:
    if isinstance(message, bytes):
        player.write(message)           # audio van de assistent
    else:
        event = json.loads(message)     # JSON-event

De documentatie stelt twee regels. Bij invoer accepteert de server, zodra het formaat is geconfigureerd, beide paden tegelijkertijd: input.transport geeft alleen uw voorkeurspad aan. Bij uitvoer komt audio alleen binnen via output.transport, en een wijziging tijdens een sessie geldt pas vanaf de volgende respons, zodat één utterance nooit JSON en binair mengt. Binair vermijdt de base64-overhead, wat ongeveer een derde aan datavolume toevoegt.

Belangrijkste punten

  • Het standaardformaat is 24000 Hz PCM, ideaal voor web-apps
  • G.711 mu-law (pcmu) is de Noord-Amerikaanse telefoniestandaard
  • G.711 A-law (pcma) is de Europese telefoniestandaard
  • G.711-codecs zijn beperkt tot 8000 Hz
  • U kunt verschillende formaten gebruiken voor invoer en uitvoer
  • audio/opus (24 kHz mono) verlaagt het bandbreedtegebruik; transport: "binary" verzendt audio als binaire frames, zonder base64
  • Voor spraak is 24000 Hz het beste compromis tussen kwaliteit en bandbreedte