Audioformaten: PCM en G.711
Op deze pagina
Bijgewerkt op 3 november 2026, gebaseerd op de xAI-pagina Speech to Speech: de API accepteert een vierde codec,
audio/opus(raw Opus-pakketten, 24 kHz mono), en een tweede transportmodus,binary, die audio verzendt als binaire WebSocket-frames in plaats van base64 binnen JSON. Bron: Speech to Speech, Audio and Audio Transport.
Ondersteunde audioformaten
De Voice Agent API ondersteunt vier audioformaten voor invoer en uitvoer: PCM, G.711 μ-law, G.711 A-law en Opus. Uw keuze hangt af van uw use case: een webapplicatie, telefonie of professionele audioverwerking.
| Formaat | Codering | Sample rates | Typisch gebruik |
|---|---|---|---|
| audio/pcm | Linear16, little-endian | 8000–48000 Hz | Web-apps, audioverwerking |
| audio/pcmu | G.711 mu-law | Alleen 8000 Hz | Noord-Amerikaanse telefonie |
| audio/pcma | G.711 A-law | Alleen 8000 Hz | Europese / internationale telefonie |
| audio/opus | Opus (raw pakketten) | 24000 Hz mono | Mobiel, lage bandbreedte |
PCM (Pulse Code Modulation)
PCM is het standaardformaat en het meest veelzijdig. Het codeert audio als ongecomprimeerde 16-bit signed integers (Linear16) in little-endian volgorde.
Beschikbare sample rates
De API ondersteunt zeven sample rates voor PCM:
- 8000 Hz: minimale telefoonkwaliteit
- 16000 Hz: een goed compromis voor spraak (wideband)
- 22050 Hz: tussenliggende kwaliteit
- 24000 Hz: de standaard, aanbevolen voor de meeste gevallen
- 32000 Hz: hogere kwaliteit
- 44100 Hz: cd-kwaliteit
- 48000 Hz: studiekwaliteit
Voor een standaard spraakapplicatie biedt 24000 Hz de beste balans tussen kwaliteit en bandbreedte. Hogere waarden leveren voor spraak geen merkbare verbetering op.
Configuratie in session.update
{
"type": "session.update",
"session": {
"audio": {
"input": {
"format": {"type": "audio/pcm", "rate": 24000}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000}
}
}
}
}
G.711: mu-law en A-law
De G.711-codecs zijn de standaarden voor traditionele telefonie. Ze gebruiken logaritmische compressie om audiogegevens te verkleinen terwijl de spraakkwaliteit binnen de telefoonband (300–3400 Hz) behouden blijft.
mu-law (audio/pcmu)
Wordt voornamelijk gebruikt in Noord-Amerika en Japan; het is de native codec van Noord-Amerikaanse telefoonnetwerken. Als u de Voice Agent API integreert met een SIP-systeem in de VS, is audio/pcmu de logische keuze.
A-law (audio/pcma)
Wordt gebruikt in Europa en de rest van de wereld. Kies voor een integratie met een Europese telefonieaanbieder audio/pcma.
Beperkingen van G.711
Beide G.711-codecs zijn beperkt tot 8000 Hz, wat resulteert in een verminderde audiobandbreedte. De spraakkwaliteit is prima voor telefonie, maar lager dan bij 24000 Hz PCM. Gebruik ze alleen wanneer uw telefonie-infrastructuur dit vereist.
Verschillende formaten voor invoer en uitvoer
Met de API kunt u verschillende formaten configureren voor invoer en uitvoer, wat handig is in hybride architecturen:
{
"type": "session.update",
"session": {
"audio": {
"input": {
"format": {"type": "audio/pcmu", "rate": 8000}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000}
}
}
}
}
In dit voorbeeld ontvangt u G.711 mu-law van een telefoonsysteem en stuurt u hoogwaardige PCM terug naar een omroepsysteem.
Opus
De vierde codec, audio/opus, vervoert raw Opus-pakketten op 24.000 Hz mono, één pakket per payload, zonder container-header. Het is een gecomprimeerde codec: het verlaagt het bandbreedtegebruik aanzienlijk in vergelijking met PCM, wat belangrijk is op een mobiele verbinding, zolang uw client Opus kan coderen en decoderen.
Transport: JSON of binair
De codec (format) bepaalt hoe de audio is gecodeerd; het transport (transport) bepaalt hoe die bytes via het WebSocket worden verzonden. Standaard ("json") wordt audio base64-gecodeerd binnen input_audio_buffer.append en response.output_audio.delta. Bij "binary" wordt het verzonden als binaire WebSocket-frames, zonder base64 en zonder header; lifecycle-events (response.created, response.done, transcripties) blijven in JSON.
await ws.send(json.dumps({
"type": "session.update",
"session": {
"audio": {
"input": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
"output": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
}
},
}))
await ws.send(pcm16_bytes) # binair frame: raw 16-bit PCM, geen base64
async for message in ws:
if isinstance(message, bytes):
player.write(message) # audio van de assistent
else:
event = json.loads(message) # JSON-event
De documentatie stelt twee regels. Bij invoer accepteert de server, zodra het formaat is geconfigureerd, beide paden tegelijkertijd: input.transport geeft alleen uw voorkeurspad aan. Bij uitvoer komt audio alleen binnen via output.transport, en een wijziging tijdens een sessie geldt pas vanaf de volgende respons, zodat één utterance nooit JSON en binair mengt. Binair vermijdt de base64-overhead, wat ongeveer een derde aan datavolume toevoegt.
Belangrijkste punten
- Het standaardformaat is 24000 Hz PCM, ideaal voor web-apps
- G.711 mu-law (pcmu) is de Noord-Amerikaanse telefoniestandaard
- G.711 A-law (pcma) is de Europese telefoniestandaard
- G.711-codecs zijn beperkt tot 8000 Hz
- U kunt verschillende formaten gebruiken voor invoer en uitvoer
audio/opus(24 kHz mono) verlaagt het bandbreedtegebruik;transport: "binary"verzendt audio als binaire frames, zonder base64- Voor spraak is 24000 Hz het beste compromis tussen kwaliteit en bandbreedte