Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Audio formāti: PCM un G.711

Nodarbība 5 no 16 Atjaunota 2026. gada 3. novembris Programmētājs
Šajā lapā
  1. Atbalstītie audio formāti
  2. PCM (Impulsa kodu modulācija)
  3. G.711: mu-law un A-law
  4. Dažādi ievades un izvades formāti
  5. Opus
  6. Pārsūtīšana: JSON vai binārais
  7. Galvenās atziņas

Atjaunināts 2026. gada 3. novembrī, pamatojoties uz xAI lapu Speech to Speech: API pieņem ceturto kodeku audio/opus (neapstrādāti Opus paketes, 24 kHz mono) un otro pārsūtīšanas režīmu binary, kas nosūta audio kā bināros WebSocket kadrus, nevis base64 kodētu JSON ietvaros. Avots: Speech to Speech, Audio and Audio Transport.

Atbalstītie audio formāti

Voice Agent API atbalsta četrus audio formātus ievadei un izvadei: PCM, G.711 μ-law, G.711 A-law un Opus. Izvēle ir atkarīga no tava lietojuma gadījuma: tīmekļa lietotne, telefonija vai profesionāla audio apstrāde.

Formāts Kodējums Diskretizācijas frekvences Tipisks lietojums
audio/pcm Linear16, mazākais bajts vispirms (little-endian) 8000–48000 Hz Tīmekļa lietotnes, audio apstrāde
audio/pcmu G.711 mu-law Tikai 8000 Hz Ziemeļamerikas telefonija
audio/pcma G.711 A-law Tikai 8000 Hz Eiropas / starptautiskā telefonija
audio/opus Opus (neapstrādātas paketes) 24000 Hz mono Mobilās ierīces, zems joslas platums

PCM (Impulsa kodu modulācija)

PCM ir noklusējuma un daudzpusīgākais formāts. Tas kodē audio kā nesaspiestus 16 bitu zīmētus veselos skaitļus (Linear16) mazākā bajta secībā (little-endian).

Pieejamās diskretizācijas frekvences

API atbalsta septiņas PCM diskretizācijas frekvences:

  • 8000 Hz: minimāla telefona kvalitāte
  • 16000 Hz: labs kompromiss balsij (platjosla)
  • 22050 Hz: vidēja kvalitāte
  • 24000 Hz: noklusējums, ieteicams vairumam gadījumu
  • 32000 Hz: augstāka kvalitāte
  • 44100 Hz: CD kvalitāte
  • 48000 Hz: studijas kvalitāte

Standarta balss lietotnei 24000 Hz nodrošina labāko līdzsvaru starp kvalitāti un joslas platumu. Augstākas frekvences nerada manāmus uzlabojumus runai.

Konfigurācija session.update

{
  "type": "session.update",
  "session": {
    "audio": {
      "input": {
        "format": {"type": "audio/pcm", "rate": 24000}
      },
      "output": {
        "format": {"type": "audio/pcm", "rate": 24000}
      }
    }
  }
}

G.711: mu-law un A-law

G.711 kodeki ir tradicionālās telefonijas standarti. Tie izmanto logaritmisko saspiešanu, lai samazinātu audio datus, vienlaikus saglabājot balss kvalitāti telefona frekvenču joslā (300–3400 Hz).

mu-law (audio/pcmu)

Galvenokārt izmantots Ziemeļamerikā un Japānā; tas ir Ziemeļamerikas tālruņu tīklu dabiskais kodeks. Ja integrē Voice Agent API ar ASV bāzētu SIP sistēmu, audio/pcmu ir dabiskā izvēle.

A-law (audio/pcma)

Izmantots Eiropā un pārējā pasaulē. Integrācijai ar Eiropas telefona operatoru izvēlies audio/pcma.

G.711 ierobežojumi

Abi G.711 kodeki ir ierobežoti līdz 8000 Hz, kas nozīmē samazinātu audio joslas platumu. Balss kvalitāte ir pietiekama telefonijai, bet zemāka nekā 24000 Hz PCM. Izmanto tos tikai tad, ja tava telefona infrastruktūra to prasa.

Dažādi ievades un izvades formāti

API ļauj konfigurēt dažādus formātus ievadei un izvadei, kas ir noderīgi hibrīdās arhitektūrās:

{
  "type": "session.update",
  "session": {
    "audio": {
      "input": {
        "format": {"type": "audio/pcmu", "rate": 8000}
      },
      "output": {
        "format": {"type": "audio/pcm", "rate": 24000}
      }
    }
  }
}

Šajā piemērā tu saņem G.711 mu-law no telefona sistēmas un nosūti augstas kvalitātes PCM atpakaļ uz apraides sistēmu.

Opus

Ceturtais kodeks audio/opus pārraida neapstrādātas Opus paketes ar 24 000 Hz mono frekvenci, vienu paketi vienā datu bloka daļā (payload), bez konteinera galvenes. Tas ir saspiests kodeks: tas krasi samazina joslas platumu salīdzinājumā ar PCM, kas ir svarīgi mobilajos savienojumos, ja tavs klients spēj kodēt un dekodēt Opus.

Pārsūtīšana: JSON vai binārais

Kodeks (format) nosaka, kā audio ir kodēts; pārsūtīšanas veids (transport) nosaka, kā šie baiti ceļo caur WebSocket. Pēc noklusējuma ("json") audio ir base64 kodēts iekš input_audio_buffer.append un response.output_audio.delta. Ar "binary" tas tiek nosūtīts kā bināri WebSocket kadri bez base64 un bez galvenes; dzīves cikla notikumi (response.created, response.done, transkripti) paliek JSON formātā.

await ws.send(json.dumps({
    "type": "session.update",
    "session": {
        "audio": {
            "input": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
            "output": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
        }
    },
}))

await ws.send(pcm16_bytes)  # binārais kadrs: neapstrādāts 16 bitu PCM, bez base64

async for message in ws:
    if isinstance(message, bytes):
        player.write(message)           # asistenta audio
    else:
        event = json.loads(message)     # JSON notikums

Dokumentācija nosaka divus noteikumus. Ievadē, tiklīdz formāts ir konfigurēts, serveris pieņem abus ceļus vienlaicīgi: input.transport tikai norāda tavu vēlamo ceļu. Izvadē audio pienāk tikai caur output.transport, un izmaiņas sesijas laikā attiecas tikai uz nākamo atbildi, tāpēc viena teikuma laikā nekad netiek sajaukti JSON un binārie dati. Binārais režīms izvairās no base64 pieskaitāmās daļas, kas palielina datu apjomu par aptuveni trešdaļu.

Galvenās atziņas

  • Noklusējuma formāts ir 24000 Hz PCM, ideāli piemērots tīmekļa lietotnēm
  • G.711 mu-law (pcmu) ir Ziemeļamerikas telefonijas standarts
  • G.711 A-law (pcma) ir Eiropas telefonijas standarts
  • G.711 kodeki ir ierobežoti līdz 8000 Hz
  • Ievadei un izvadei vari izmantot dažādus formātus
  • audio/opus (24 kHz mono) samazina joslas platumu; transport: "binary" nosūta audio kā bināros kadrus bez base64
  • Balsij 24000 Hz ir labākais kompromiss starp kvalitāti un joslas platumu