Salt la conținutul principal
Română— Alege o limbă
Meniu

Formate audio: PCM și G.711

Lecția 5 din 16 Actualizată 3 noiembrie 2026 Dezvoltator
Pe această pagină
  1. Formate audio suportate
  2. PCM (Modulație prin Codare în Impulsuri)
  3. G.711: mu-law și A-law
  4. Formate diferite pentru intrare și ieșire
  5. Opus
  6. Transport: JSON sau binar
  7. Puncte cheie

Actualizat la 3 noiembrie 2026, pe baza paginii Speech to Speech de la xAI: API-ul acceptă un al patrulea codec, audio/opus (pachete Opus brute, 24 kHz mono), și un al doilea mod de transport, binary, care trimite audio sub formă de cadre WebSocket binare în loc de base64 în interiorul JSON. Sursă: Speech to Speech, Audio and Audio Transport.

Formate audio suportate

API-ul Voice Agent suportă patru formate audio pentru intrare și ieșire: PCM, G.711 μ-law, G.711 A-law și Opus. Alegerea dumneavoastră depinde de cazul de utilizare: o aplicație web, telefonie sau procesare audio profesională.

Format Codare Frecvențe de eșantionare Utilizare tipică
audio/pcm Linear16, little-endian 8000–48000 Hz Aplicații web, procesare audio
audio/pcmu G.711 mu-law Doar 8000 Hz Telefonie nord-americană
audio/pcma G.711 A-law Doar 8000 Hz Telefonie europeană / internațională
audio/opus Opus (pachete brute) 24000 Hz mono Mobil, lățime de bandă redusă

PCM (Modulație prin Codare în Impulsuri)

PCM este formatul implicit și cel mai versatil. Acesta codifică audio sub formă de întregi semnați pe 16 biți necomprimați (Linear16) în ordine little-endian.

Frecvențe de eșantionare disponibile

API-ul suportă șapte frecvențe de eșantionare pentru PCM:

  • 8000 Hz: calitate telefonică minimă
  • 16000 Hz: un compromis bun pentru voce (bandă largă)
  • 22050 Hz: calitate intermediară
  • 24000 Hz: implicit, recomandat pentru majoritatea cazurilor
  • 32000 Hz: calitate superioară
  • 44100 Hz: calitate CD
  • 48000 Hz: calitate de studio

Pentru o aplicație vocală standard, 24000 Hz oferă cel mai bun echilibru între calitate și lățime de bandă. Creșterea peste această valoare nu aduce îmbunătățiri vizibile pentru vorbire.

Configurare în session.update

{
  "type": "session.update",
  "session": {
    "audio": {
      "input": {
        "format": {"type": "audio/pcm", "rate": 24000}
      },
      "output": {
        "format": {"type": "audio/pcm", "rate": 24000}
      }
    }
  }
}

G.711: mu-law și A-law

Codecurile G.711 reprezintă standardele telefoniei tradiționale. Acestea utilizează compresia logaritmică pentru a reduce dimensiunea datelor audio, păstrând în același timp calitatea vocii în banda telefonică (300–3400 Hz).

mu-law (audio/pcmu)

Utilizat în principal în America de Nord și Japonia, este codec-ul nativ al rețelelor telefonice nord-americane. Dacă integrați API-ul Voice Agent cu un sistem SIP bazat în SUA, audio/pcmu este alegerea naturală.

A-law (audio/pcma)

Utilizat în Europa și restul lumii. Pentru o integrare cu un operator de telefonie european, optați pentru audio/pcma.

Limitările G.711

Ambele codecuri G.711 sunt limitate la 8000 Hz, ceea ce înseamnă o lățime de bandă audio redusă. Calitatea vocii este adecvată pentru telefonie, dar inferioară față de PCM la 24000 Hz. Utilizați-le doar atunci când infrastructura dumneavoastră telefonică impune acest lucru.

Formate diferite pentru intrare și ieșire

API-ul vă permite să configurați formate diferite pentru intrare și ieșire, lucru util în arhitecturile hibride:

{
  "type": "session.update",
  "session": {
    "audio": {
      "input": {
        "format": {"type": "audio/pcmu", "rate": 8000}
      },
      "output": {
        "format": {"type": "audio/pcm", "rate": 24000}
      }
    }
  }
}

În acest exemplu, primiți G.711 mu-law de la un sistem telefonic și trimiteți PCM de înaltă calitate înapoi către un sistem de difuzare.

Opus

Al patrulea codec, audio/opus, transportă pachete Opus brute la 24.000 Hz mono, câte un pachet per payload, fără antet de container. Este un codec comprimat: reduce drastic lățimea de bandă comparativ cu PCM, ceea ce contează pe o conexiune mobilă, atâta timp cât clientul dumneavoastră poate codifica și decodifica Opus.

Transport: JSON sau binar

Codec-ul (format) indică modul în care este codificat audio; transportul (transport) indică modul în care acei octeți circulă prin WebSocket. Implicit ("json"), audio este codificat base64 în interiorul input_audio_buffer.append și response.output_audio.delta. Cu "binary", acesta este transmis sub formă de cadre WebSocket binare, fără base64 și fără antet; evenimentele de ciclu de viață (response.created, response.done, transcrieri) rămân în JSON.

await ws.send(json.dumps({
    "type": "session.update",
    "session": {
        "audio": {
            "input": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
            "output": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
        }
    },
}))

await ws.send(pcm16_bytes)  # cadru binar: PCM brut pe 16 biți, fără base64

async for message in ws:
    if isinstance(message, bytes):
        player.write(message)           # audio-ul asistentului
    else:
        event = json.loads(message)     # eveniment JSON

Documentația stabilește două reguli. La intrare, odată configurat formatul, serverul acceptă ambele căi simultan: input.transport indică doar calea preferată. La ieșire, audio-ul sosește doar prin output.transport, iar o schimbare la mijlocul sesiunii se aplică doar de la următorul răspuns, astfel încât o singură enunțare nu amestecă niciodată JSON și binar. Modul binar evită supraîncărcarea base64, care adaugă aproximativ o treime la volumul de date.

Puncte cheie

  • Formatul implicit este PCM la 24000 Hz, ideal pentru aplicații web
  • G.711 mu-law (pcmu) este standardul pentru telefonie în America de Nord
  • G.711 A-law (pcma) este standardul pentru telefonie în Europa
  • Codecurile G.711 sunt limitate la 8000 Hz
  • Puteți utiliza formate diferite pentru intrare și ieșire
  • audio/opus (24 kHz mono) reduce lățimea de bandă; transport: "binary" trimite audio sub formă de cadre binare, fără base64
  • Pentru voce, 24000 Hz reprezintă cel mai bun compromis între calitate și lățime de bandă