Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Lydformater: PCM og G.711

Lektion 5 af 16 Opdateret 3. november 2026 Udvikler
På denne side
  1. Understøttede lydformater
  2. PCM (Pulse Code Modulation)
  3. G.711: mu-law og A-law
  4. Forskellige input- og output-formater
  5. Opus
  6. Transport: JSON eller binær
  7. Vigtige pointer

Opdateret 3. november 2026 baseret på xAI-siden Speech to Speech: API’et accepterer nu en fjerde codec, audio/opus (rå Opus-pakker, 24 kHz mono), og en anden transporttilstand, binary, som sender lyd som binære WebSocket-frames i stedet for base64 inde i JSON. Kilde: Speech to Speech, Audio and Audio Transport.

Understøttede lydformater

Voice Agent API understøtter fire lydformater til input og output: PCM, G.711 μ-law, G.711 A-law og Opus. Valget afhænger af dit brugstilfælde: en webapp, telefoni eller professionel lydbehandling.

Format Kodning Sample rates Typisk brug
audio/pcm Linear16, little-endian 8000–48000 Hz Webapps, lydbehandling
audio/pcmu G.711 mu-law Kun 8000 Hz Nordamerikansk telefoni
audio/pcma G.711 A-law Kun 8000 Hz Europæisk / international telefoni
audio/opus Opus (rå pakker) 24000 Hz mono Mobil, lav båndbredde

PCM (Pulse Code Modulation)

PCM er standardformatet og det mest alsidige. Det kodrer lyd som ukomprimerede 16-bit signed integers (Linear16) i little-endian-rækkefølge.

Tilgængelige sample rates

API’et understøtter syv sample rates til PCM:

  • 8000 Hz: minimal telefonkvalitet
  • 16000 Hz: et godt kompromis for tale (wideband)
  • 22050 Hz: mellemkvalitet
  • 24000 Hz: standard, anbefales til de fleste tilfælde
  • 32000 Hz: højere kvalitet
  • 44100 Hz: CD-kvalitet
  • 48000 Hz: studiekvalitet

Til en standard tale-app giver 24000 Hz den bedste balance mellem kvalitet og båndbredde. At gå højere op giver ingen mærkbar forbedring for tale.

Konfiguration i session.update

{
  "type": "session.update",
  "session": {
    "audio": {
      "input": {
        "format": {"type": "audio/pcm", "rate": 24000}
      },
      "output": {
        "format": {"type": "audio/pcm", "rate": 24000}
      }
    }
  }
}

G.711: mu-law og A-law

G.711-codecs er standarden inden for traditionel telefoni. De bruger logaritmisk kompression til at reducere lyddata, mens talekvaliteten bevares inden for telefonbåndet (300–3400 Hz).

mu-law (audio/pcmu)

Bruges primært i Nordamerika og Japan og er den native codec i nordamerikanske telefonnetværk. Hvis du integrerer Voice Agent API med et SIP-system baseret i USA, er audio/pcmu det naturlige valg.

A-law (audio/pcma)

Bruges i Europa og resten af verden. Ved integration med en europæisk teleudbyder skal du vælge audio/pcma.

Begrænsninger ved G.711

Begge G.711-codecs er begrænset til 8000 Hz, hvilket betyder reduceret lydbåndbredde. Talekvaliteten er fin til telefoni, men lavere end PCM ved 24000 Hz. Brug dem kun, hvis din telefoninfrastruktur kræver det.

Forskellige input- og output-formater

API’et lader dig konfigurere forskellige formater til input og output, hvilket er nyttigt i hybride arkitekturer:

{
  "type": "session.update",
  "session": {
    "audio": {
      "input": {
        "format": {"type": "audio/pcmu", "rate": 8000}
      },
      "output": {
        "format": {"type": "audio/pcm", "rate": 24000}
      }
    }
  }
}

I dette eksempel modtager du G.711 mu-law fra et telefonsystem og sender høj-kvalitets PCM tilbage til et broadcast-system.

Opus

Den fjerde codec, audio/opus, transporterer rå Opus-pakker ved 24.000 Hz mono, én pakke per payload, uden container-header. Det er en komprimeret codec: den skærer kraftigt ned på båndbredden sammenlignet med PCM, hvilket betyder noget på en mobilforbindelse, så længe din klient kan kode og afkode Opus.

Transport: JSON eller binær

Codec’en (format) beskriver, hvordan lyden er kodet; transporten (transport) beskriver, hvordan disse bytes rejser over WebSocket. Som standard ("json") er lyd base64-kodet inde i input_audio_buffer.append og response.output_audio.delta. Med "binary" sendes den som binære WebSocket-frames uden base64 og uden header; livscyklusbegivenheder (response.created, response.done, transskriptioner) forbliver i JSON.

await ws.send(json.dumps({
    "type": "session.update",
    "session": {
        "audio": {
            "input": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
            "output": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
        }
    },
}))

await ws.send(pcm16_bytes)  # binær frame: rå 16-bit PCM, ingen base64

async for message in ws:
    if isinstance(message, bytes):
        player.write(message)           # assistentens lyd
    else:
        event = json.loads(message)     # JSON-begivenhed

Dokumentationen fastslår to regler. Ved input accepterer serveren begge stier samtidigt, når formatet er konfigureret: input.transport angiver kun din foretrukne sti. Ved output ankommer lyd kun via output.transport, og en ændring midt i en session gælder først fra næste svar, så en enkelt ytring aldrig blander JSON og binær data. Binær transport undgår base64-overheadet, som tilføjer ca. en tredjedel til datamængden.

Vigtige pointer

  • Standardformatet er 24000 Hz PCM, ideelt til webapps
  • G.711 mu-law (pcmu) er standarden for nordamerikansk telefoni
  • G.711 A-law (pcma) er standarden for europæisk telefoni
  • G.711-codecs er begrænset til 8000 Hz
  • Du kan bruge forskellige formater til input og output
  • audio/opus (24 kHz mono) reducerer båndbredden; transport: "binary" sender lyd som binære frames uden base64
  • Til tale er 24000 Hz det bedste kompromis mellem kvalitet og båndbredde