Ljudformat: PCM och G.711
På denna sida
Uppdaterat den 3 november 2026, baserat på xAI:s sida Speech to Speech: API:t accepterar en fjärde codec,
audio/opus(råa Opus-paket, 24 kHz mono), och ett andra transportläge,binary, som skickar ljud som binära WebSocket-ramar istället för base64 inuti JSON. Källa: Speech to Speech, Audio and Audio Transport.
Ljudformat som stöds
Voice Agent API stöder fyra ljudformat för in- och utdata: PCM, G.711 μ-law, G.711 A-law och Opus. Vilket du väljer beror på ditt användningsområde: en webbapp, telefoni eller professionell ljudbearbetning.
| Format | Kodning | Samplingsfrekvenser | Typisk användning |
|---|---|---|---|
| audio/pcm | Linear16, little-endian | 8000–48000 Hz | Webbappar, ljudbearbetning |
| audio/pcmu | G.711 mu-law | Endast 8000 Hz | Nordamerikansk telefoni |
| audio/pcma | G.711 A-law | Endast 8000 Hz | Europeisk / internationell telefoni |
| audio/opus | Opus (råa paket) | 24000 Hz mono | Mobil, låg bandbredd |
PCM (Pulse Code Modulation)
PCM är standardformatet och det mest mångsidiga. Det kodar ljud som okomprimerade 16-bitars signerade heltal (Linear16) i little-endian-ordning.
Tillgängliga samplingsfrekvenser
API:t stöder sju samplingsfrekvenser för PCM:
- 8000 Hz: minimal telefonkvalitet
- 16000 Hz: en bra kompromiss för tal (bredband)
- 22050 Hz: mellanliggande kvalitet
- 24000 Hz: standardvärdet, rekommenderas för de flesta fall
- 32000 Hz: högre kvalitet
- 44100 Hz: CD-kvalitet
- 48000 Hz: studiekvalitet
För en vanlig talapp erbjuder 24000 Hz den bästa balansen mellan kvalitet och bandbredd. Att gå högre ger ingen märkbar förbättring för tal.
Konfiguration i session.update
{
"type": "session.update",
"session": {
"audio": {
"input": {
"format": {"type": "audio/pcm", "rate": 24000}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000}
}
}
}
}
G.711: mu-law och A-law
G.711-codecarna är standarden för traditionell telefoni. De använder logaritmisk komprimering för att krympa ljuddata samtidigt som talkvaliteten bevaras inom telefonbandet (300–3400 Hz).
mu-law (audio/pcmu)
Används främst i Nordamerika och Japan; det är den inhemska codecen för nordamerikanska telefonnät. Om du integrerar Voice Agent API med ett SIP-system baserat i USA är audio/pcmu det naturliga valet.
A-law (audio/pcma)
Används i Europa och övriga världen. För en integration med en europeisk teleoperatör ska du välja audio/pcma.
Begränsningar för G.711
Båda G.711-codecarna är begränsade till 8000 Hz, vilket innebär reducerad ljudbandbredd. Talkvaliteten är godtagbar för telefoni men lägre än för PCM vid 24000 Hz. Använd dem endast om din telefoninfrastruktur kräver det.
Olika format för in- och utdata
API:t låter dig konfigurera olika format för in- och utdata, vilket är användbart i hybrida arkitekturer:
{
"type": "session.update",
"session": {
"audio": {
"input": {
"format": {"type": "audio/pcmu", "rate": 8000}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000}
}
}
}
}
I detta exempel tar du emot G.711 mu-law från ett telefonsystem och skickar högkvalitativ PCM tillbaka till ett sändningssystem.
Opus
Den fjärde codecen, audio/opus, hanterar råa Opus-paket vid 24 000 Hz mono, ett paket per nyttolast, utan containerhuvud. Det är en komprimerad codec: den skär ner bandbredden kraftigt jämfört med PCM, vilket är viktigt över mobiluppkoppling, förutsatt att din klient kan koda och avkoda Opus.
Transport: JSON eller binär
Codecen (format) anger hur ljudet är kodat; transporten (transport) anger hur dessa byte färdas över WebSocket. Som standard ("json") är ljudet base64-kodat inuti input_audio_buffer.append och response.output_audio.delta. Med "binary" skickas det som binära WebSocket-ramar, utan base64 och utan huvud; livscykelhändelser (response.created, response.done, transkript) förblir i JSON.
await ws.send(json.dumps({
"type": "session.update",
"session": {
"audio": {
"input": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
"output": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
}
},
}))
await ws.send(pcm16_bytes) # binär ram: rå 16-bitars PCM, ingen base64
async for message in ws:
if isinstance(message, bytes):
player.write(message) # assistentens ljud
else:
event = json.loads(message) # JSON-händelse
Dokumentationen fastställer två regler. Vid indata accepterar servern, när formatet är konfigurerat, båda vägarna samtidigt: input.transport anger endast din föredragna väg. Vid utdata anländer ljud endast via output.transport, och en ändring mitt i en session gäller först från nästa svar, så en enda yttring blandar aldrig JSON och binärt. Binärt undviker base64-overhead, vilket lägger till cirka en tredjedel till datavolymen.
Viktiga punkter
- Standardformatet är 24000 Hz PCM, idealiskt för webbappar
- G.711 mu-law (pcmu) är standarden för nordamerikansk telefoni
- G.711 A-law (pcma) är standarden för europeisk telefoni
- G.711-codecar är begränsade till 8000 Hz
- Du kan använda olika format för in- och utdata
audio/opus(24 kHz mono) minskar bandbredden;transport: "binary"skickar ljud som binära ramar, utan base64- För tal är 24000 Hz den bästa kompromissen mellan kvalitet och bandbredd