Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Garso formatai: PCM ir G.711

Paskaita 5 iš 16 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. Palaikomi garso formatai
  2. PCM (Impulsinis kodų moduliavimas)
  3. G.711: mu-law ir A-law
  4. Skirtingi įvesties ir išvesties formatai
  5. Opus
  6. Perdavimas: JSON arba binary
  7. Svarbiausi punktai

Atnaujinta 2026 m. lapkričio 3 d., remiantis xAI Speech to Speech puslapiu: API priima ketvirtąjį kodeką audio/opus (neapdoroti Opus paketai, 24 kHz mono) ir antrąjį perdavimo būdą binary, kuris siunčia garso duomenis kaip dvejetainius WebSocket rėmelius vietoj base64 JSON viduje. Šaltinis: Speech to Speech, Audio and Audio Transport.

Palaikomi garso formatai

Voice Agent API palaiko keturis garso formatus įvestiai ir išvestiai: PCM, G.711 μ-law, G.711 A-law ir Opus. Kurį pasirinkti, priklauso nuo tavo naudojimo atvejo: žiniatinklio programėlės, telefonijos ar profesionalaus garso apdorojimo.

Formatas Kodavimas Diskretizavimo dažniai Tipiškas naudojimas
audio/pcm Linear16, mažųjų baitų eiliškumas (little-endian) 8000–48000 Hz Žiniatinklio programėlės, garso apdorojimas
audio/pcmu G.711 mu-law Tik 8000 Hz Šiaurės Amerikos telefonija
audio/pcma G.711 A-law Tik 8000 Hz Europos / tarptautinė telefonija
audio/opus Opus (neapdoroti paketai) 24000 Hz mono Mobilieji ryšiai, mažas pralaidumas

PCM (Impulsinis kodų moduliavimas)

PCM yra numatytasis ir universalumas formatas. Jis koduoja garsą kaip nesuglaudintus 16 bitų ženklintus sveikuosius skaičius (Linear16) mažųjų baitų eiliškumu (little-endian).

Galimi diskretizavimo dažniai

API palaiko septynis PCM diskretizavimo dažnius:

  • 8000 Hz: minimali telefono kokybė
  • 16000 Hz: geras kompromisas balsui (plačiajuostis)
  • 22050 Hz: tarpinė kokybė
  • 24000 Hz: numatytasis, rekomenduojamas daugeliu atvejų
  • 32000 Hz: aukštesnė kokybė
  • 44100 Hz: CD kokybė
  • 48000 Hz: studijinė kokybė

Standartinei balso programėlei 24000 Hz užtikrina geriausią pusiausvyrą tarp kokybės ir pralaidumo. Didinimas daugiau pastebimos naudos kalbai neduoda.

Konfigūravimas naudojant session.update

{
  "type": "session.update",
  "session": {
    "audio": {
      "input": {
        "format": {"type": "audio/pcm", "rate": 24000}
      },
      "output": {
        "format": {"type": "audio/pcm", "rate": 24000}
      }
    }
  }
}

G.711: mu-law ir A-law

G.711 kodekai yra tradicinės telefonijos standartai. Jie naudoja logaritminį glaudinimą, kad sumažintų garso duomenų dydį, išlaikydami balso kokybę telefono dažnių juostoje (300–3400 Hz).

mu-law (audio/pcmu)

Dažniausiai naudojamas Šiaurės Amerikoje ir Japonijoje; tai yra Šiaurės Amerikos telefono tinklų vietinis kodekas. Jei integruoji Voice Agent API su JAV pagrįsta SIP sistema, audio/pcmu yra natūralus pasirinkimas.

A-law (audio/pcma)

Naudojamas Europoje ir likusiame pasaulyje. Integruojant su Europos telefono operatoriumi, rinkis audio/pcma.

G.711 apribojimai

Abu G.711 kodekai apriboti iki 8000 Hz, o tai reiškia mažesnį garso pralaidumą. Balso kokybė telefonijai yra tinkama, tačiau žemesnė nei 24000 Hz PCM. Naudok juos tik tada, kai to reikalauja tavo telefono infrastruktūra.

Skirtingi įvesties ir išvesties formatai

API leidžia konfigūruoti skirtingus formatus įvestiai ir išvestiai, kas naudinga hibridinėse architektūrose:

{
  "type": "session.update",
  "session": {
    "audio": {
      "input": {
        "format": {"type": "audio/pcmu", "rate": 8000}
      },
      "output": {
        "format": {"type": "audio/pcm", "rate": 24000}
      }
    }
  }
}

Šiame pavyzdyje gauni G.711 mu-law iš telefono sistemos ir siunči aukštos kokybės PCM atgal į transliavimo sistemą.

Opus

Ketvirtasis kodekas audio/opus perneša neapdorotus Opus paketus 24 000 Hz mono režimu, po vieną paketą viename „payload“, be konteinerio antraštės. Tai suglaudintas kodekas: jis smarkiai sumažina pralaidumą, palyginti su PCM, kas svarbu naudojant mobilųjį ryšį, jei tavo klientas gali koduoti ir dekoduoti Opus.

Perdavimas: JSON arba binary

Kodekas (format) nurodo, kaip garsas užkoduotas; perdavimo būdas (transport) nurodo, kaip tie baitai keliauja per WebSocket. Pagal nutylėjimą ("json"), garsas yra base64 koduojamas viduje input_audio_buffer.append ir response.output_audio.delta. Naudojant "binary", jis siunčiamas kaip dvejetainiai WebSocket rėmeliai, be base64 ir be antraštės; gyvavimo ciklo įvykiai (response.created, response.done, transkriptai) lieka JSON formatu.

await ws.send(json.dumps({
    "type": "session.update",
    "session": {
        "audio": {
            "input": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
            "output": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
        }
    },
}))

await ws.send(pcm16_bytes)  # dvejetainis rėmelis: neapdorotas 16 bitų PCM, be base64

async for message in ws:
    if isinstance(message, bytes):
        player.write(message)           # asistento garsas
    else:
        event = json.loads(message)     # JSON įvykis

Dokumentacijoje nustatytos dvi taisyklės. Įvesties atveju, sukonfigūravus formatą, serveris vienu metu priima abu kelius: input.transport tik nurodo pageidaujamą kelią. Išvesties atveju garsas atkeliauja tik per output.transport, o pakeitimas sesijos metu įsigalioja tik nuo kito atsakymo, todėl viena frazė niekada nemaišo JSON ir binary. Binary būdas išvengia base64 pridėtinės naštos, kuri padidina duomenų apimtį maždaug trečdaliu.

Svarbiausi punktai

  • Numatytasis formatas yra 24000 Hz PCM, idealus žiniatinklio programėlėms
  • G.711 mu-law (pcmu) yra Šiaurės Amerikos telefonijos standartas
  • G.711 A-law (pcma) yra Europos telefonijos standartas
  • G.711 kodekai apriboti iki 8000 Hz
  • Įvestiai ir išvestiai gali naudoti skirtingus formatus
  • audio/opus (24 kHz mono) sumažina pralaidumą; transport: "binary" siunčia garsą kaip dvejetainius rėmelius be base64
  • Balsui 24000 Hz yra geriausias kompromisas tarp kokybės ir pralaidumo