Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Ljudformat: PCM och G.711

Lektion 5 av 16 Uppdaterad 3 november 2026 Utvecklare
På denna sida
  1. Ljudformat som stöds
  2. PCM (Pulse Code Modulation)
  3. G.711: mu-law och A-law
  4. Olika format för in- och utdata
  5. Opus
  6. Transport: JSON eller binär
  7. Viktiga punkter

Uppdaterat den 3 november 2026, baserat på xAI:s sida Speech to Speech: API:t accepterar en fjärde codec, audio/opus (råa Opus-paket, 24 kHz mono), och ett andra transportläge, binary, som skickar ljud som binära WebSocket-ramar istället för base64 inuti JSON. Källa: Speech to Speech, Audio and Audio Transport.

Ljudformat som stöds

Voice Agent API stöder fyra ljudformat för in- och utdata: PCM, G.711 μ-law, G.711 A-law och Opus. Vilket du väljer beror på ditt användningsområde: en webbapp, telefoni eller professionell ljudbearbetning.

Format Kodning Samplingsfrekvenser Typisk användning
audio/pcm Linear16, little-endian 8000–48000 Hz Webbappar, ljudbearbetning
audio/pcmu G.711 mu-law Endast 8000 Hz Nordamerikansk telefoni
audio/pcma G.711 A-law Endast 8000 Hz Europeisk / internationell telefoni
audio/opus Opus (råa paket) 24000 Hz mono Mobil, låg bandbredd

PCM (Pulse Code Modulation)

PCM är standardformatet och det mest mångsidiga. Det kodar ljud som okomprimerade 16-bitars signerade heltal (Linear16) i little-endian-ordning.

Tillgängliga samplingsfrekvenser

API:t stöder sju samplingsfrekvenser för PCM:

  • 8000 Hz: minimal telefonkvalitet
  • 16000 Hz: en bra kompromiss för tal (bredband)
  • 22050 Hz: mellanliggande kvalitet
  • 24000 Hz: standardvärdet, rekommenderas för de flesta fall
  • 32000 Hz: högre kvalitet
  • 44100 Hz: CD-kvalitet
  • 48000 Hz: studiekvalitet

För en vanlig talapp erbjuder 24000 Hz den bästa balansen mellan kvalitet och bandbredd. Att gå högre ger ingen märkbar förbättring för tal.

Konfiguration i session.update

{
  "type": "session.update",
  "session": {
    "audio": {
      "input": {
        "format": {"type": "audio/pcm", "rate": 24000}
      },
      "output": {
        "format": {"type": "audio/pcm", "rate": 24000}
      }
    }
  }
}

G.711: mu-law och A-law

G.711-codecarna är standarden för traditionell telefoni. De använder logaritmisk komprimering för att krympa ljuddata samtidigt som talkvaliteten bevaras inom telefonbandet (300–3400 Hz).

mu-law (audio/pcmu)

Används främst i Nordamerika och Japan; det är den inhemska codecen för nordamerikanska telefonnät. Om du integrerar Voice Agent API med ett SIP-system baserat i USA är audio/pcmu det naturliga valet.

A-law (audio/pcma)

Används i Europa och övriga världen. För en integration med en europeisk teleoperatör ska du välja audio/pcma.

Begränsningar för G.711

Båda G.711-codecarna är begränsade till 8000 Hz, vilket innebär reducerad ljudbandbredd. Talkvaliteten är godtagbar för telefoni men lägre än för PCM vid 24000 Hz. Använd dem endast om din telefoninfrastruktur kräver det.

Olika format för in- och utdata

API:t låter dig konfigurera olika format för in- och utdata, vilket är användbart i hybrida arkitekturer:

{
  "type": "session.update",
  "session": {
    "audio": {
      "input": {
        "format": {"type": "audio/pcmu", "rate": 8000}
      },
      "output": {
        "format": {"type": "audio/pcm", "rate": 24000}
      }
    }
  }
}

I detta exempel tar du emot G.711 mu-law från ett telefonsystem och skickar högkvalitativ PCM tillbaka till ett sändningssystem.

Opus

Den fjärde codecen, audio/opus, hanterar råa Opus-paket vid 24 000 Hz mono, ett paket per nyttolast, utan containerhuvud. Det är en komprimerad codec: den skär ner bandbredden kraftigt jämfört med PCM, vilket är viktigt över mobiluppkoppling, förutsatt att din klient kan koda och avkoda Opus.

Transport: JSON eller binär

Codecen (format) anger hur ljudet är kodat; transporten (transport) anger hur dessa byte färdas över WebSocket. Som standard ("json") är ljudet base64-kodat inuti input_audio_buffer.append och response.output_audio.delta. Med "binary" skickas det som binära WebSocket-ramar, utan base64 och utan huvud; livscykelhändelser (response.created, response.done, transkript) förblir i JSON.

await ws.send(json.dumps({
    "type": "session.update",
    "session": {
        "audio": {
            "input": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
            "output": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
        }
    },
}))

await ws.send(pcm16_bytes)  # binär ram: rå 16-bitars PCM, ingen base64

async for message in ws:
    if isinstance(message, bytes):
        player.write(message)           # assistentens ljud
    else:
        event = json.loads(message)     # JSON-händelse

Dokumentationen fastställer två regler. Vid indata accepterar servern, när formatet är konfigurerat, båda vägarna samtidigt: input.transport anger endast din föredragna väg. Vid utdata anländer ljud endast via output.transport, och en ändring mitt i en session gäller först från nästa svar, så en enda yttring blandar aldrig JSON och binärt. Binärt undviker base64-overhead, vilket lägger till cirka en tredjedel till datavolymen.

Viktiga punkter

  • Standardformatet är 24000 Hz PCM, idealiskt för webbappar
  • G.711 mu-law (pcmu) är standarden för nordamerikansk telefoni
  • G.711 A-law (pcma) är standarden för europeisk telefoni
  • G.711-codecar är begränsade till 8000 Hz
  • Du kan använda olika format för in- och utdata
  • audio/opus (24 kHz mono) minskar bandbredden; transport: "binary" skickar ljud som binära ramar, utan base64
  • För tal är 24000 Hz den bästa kompromissen mellan kvalitet och bandbredd