Formate audio: PCM și G.711
Pe această pagină
Actualizat la 3 noiembrie 2026, pe baza paginii Speech to Speech de la xAI: API-ul acceptă un al patrulea codec,
audio/opus(pachete Opus brute, 24 kHz mono), și un al doilea mod de transport,binary, care trimite audio sub formă de cadre WebSocket binare în loc de base64 în interiorul JSON. Sursă: Speech to Speech, Audio and Audio Transport.
Formate audio suportate
API-ul Voice Agent suportă patru formate audio pentru intrare și ieșire: PCM, G.711 μ-law, G.711 A-law și Opus. Alegerea dumneavoastră depinde de cazul de utilizare: o aplicație web, telefonie sau procesare audio profesională.
| Format | Codare | Frecvențe de eșantionare | Utilizare tipică |
|---|---|---|---|
| audio/pcm | Linear16, little-endian | 8000–48000 Hz | Aplicații web, procesare audio |
| audio/pcmu | G.711 mu-law | Doar 8000 Hz | Telefonie nord-americană |
| audio/pcma | G.711 A-law | Doar 8000 Hz | Telefonie europeană / internațională |
| audio/opus | Opus (pachete brute) | 24000 Hz mono | Mobil, lățime de bandă redusă |
PCM (Modulație prin Codare în Impulsuri)
PCM este formatul implicit și cel mai versatil. Acesta codifică audio sub formă de întregi semnați pe 16 biți necomprimați (Linear16) în ordine little-endian.
Frecvențe de eșantionare disponibile
API-ul suportă șapte frecvențe de eșantionare pentru PCM:
- 8000 Hz: calitate telefonică minimă
- 16000 Hz: un compromis bun pentru voce (bandă largă)
- 22050 Hz: calitate intermediară
- 24000 Hz: implicit, recomandat pentru majoritatea cazurilor
- 32000 Hz: calitate superioară
- 44100 Hz: calitate CD
- 48000 Hz: calitate de studio
Pentru o aplicație vocală standard, 24000 Hz oferă cel mai bun echilibru între calitate și lățime de bandă. Creșterea peste această valoare nu aduce îmbunătățiri vizibile pentru vorbire.
Configurare în session.update
{
"type": "session.update",
"session": {
"audio": {
"input": {
"format": {"type": "audio/pcm", "rate": 24000}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000}
}
}
}
}
G.711: mu-law și A-law
Codecurile G.711 reprezintă standardele telefoniei tradiționale. Acestea utilizează compresia logaritmică pentru a reduce dimensiunea datelor audio, păstrând în același timp calitatea vocii în banda telefonică (300–3400 Hz).
mu-law (audio/pcmu)
Utilizat în principal în America de Nord și Japonia, este codec-ul nativ al rețelelor telefonice nord-americane. Dacă integrați API-ul Voice Agent cu un sistem SIP bazat în SUA, audio/pcmu este alegerea naturală.
A-law (audio/pcma)
Utilizat în Europa și restul lumii. Pentru o integrare cu un operator de telefonie european, optați pentru audio/pcma.
Limitările G.711
Ambele codecuri G.711 sunt limitate la 8000 Hz, ceea ce înseamnă o lățime de bandă audio redusă. Calitatea vocii este adecvată pentru telefonie, dar inferioară față de PCM la 24000 Hz. Utilizați-le doar atunci când infrastructura dumneavoastră telefonică impune acest lucru.
Formate diferite pentru intrare și ieșire
API-ul vă permite să configurați formate diferite pentru intrare și ieșire, lucru util în arhitecturile hibride:
{
"type": "session.update",
"session": {
"audio": {
"input": {
"format": {"type": "audio/pcmu", "rate": 8000}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000}
}
}
}
}
În acest exemplu, primiți G.711 mu-law de la un sistem telefonic și trimiteți PCM de înaltă calitate înapoi către un sistem de difuzare.
Opus
Al patrulea codec, audio/opus, transportă pachete Opus brute la 24.000 Hz mono, câte un pachet per payload, fără antet de container. Este un codec comprimat: reduce drastic lățimea de bandă comparativ cu PCM, ceea ce contează pe o conexiune mobilă, atâta timp cât clientul dumneavoastră poate codifica și decodifica Opus.
Transport: JSON sau binar
Codec-ul (format) indică modul în care este codificat audio; transportul (transport) indică modul în care acei octeți circulă prin WebSocket. Implicit ("json"), audio este codificat base64 în interiorul input_audio_buffer.append și response.output_audio.delta. Cu "binary", acesta este transmis sub formă de cadre WebSocket binare, fără base64 și fără antet; evenimentele de ciclu de viață (response.created, response.done, transcrieri) rămân în JSON.
await ws.send(json.dumps({
"type": "session.update",
"session": {
"audio": {
"input": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
"output": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
}
},
}))
await ws.send(pcm16_bytes) # cadru binar: PCM brut pe 16 biți, fără base64
async for message in ws:
if isinstance(message, bytes):
player.write(message) # audio-ul asistentului
else:
event = json.loads(message) # eveniment JSON
Documentația stabilește două reguli. La intrare, odată configurat formatul, serverul acceptă ambele căi simultan: input.transport indică doar calea preferată. La ieșire, audio-ul sosește doar prin output.transport, iar o schimbare la mijlocul sesiunii se aplică doar de la următorul răspuns, astfel încât o singură enunțare nu amestecă niciodată JSON și binar. Modul binar evită supraîncărcarea base64, care adaugă aproximativ o treime la volumul de date.
Puncte cheie
- Formatul implicit este PCM la 24000 Hz, ideal pentru aplicații web
- G.711 mu-law (pcmu) este standardul pentru telefonie în America de Nord
- G.711 A-law (pcma) este standardul pentru telefonie în Europa
- Codecurile G.711 sunt limitate la 8000 Hz
- Puteți utiliza formate diferite pentru intrare și ieșire
audio/opus(24 kHz mono) reduce lățimea de bandă;transport: "binary"trimite audio sub formă de cadre binare, fără base64- Pentru voce, 24000 Hz reprezintă cel mai bun compromis între calitate și lățime de bandă