Formati zvuka: PCM i G.711
Na ovoj stranici
Ažurirano 3. studenog 2026., na temelju xAI stranice Speech to Speech: API prihvaća četvrti kodek,
audio/opus(sirovi Opus paketi, 24 kHz mono), i drugi način prijenosa,binary, koji šalje zvuk kao binarne WebSocket okvire umjesto base64 unutar JSON-a. Izvor: Speech to Speech, Audio and Audio Transport.
Podržani formati zvuka
Voice Agent API podržava četiri formata zvuka za ulaz i izlaz: PCM, G.711 μ-law, G.711 A-law i Opus. Odabir ovisi o tvom slučaju upotrebe: web aplikacija, telefonija ili profesionalna obrada zvuka.
| Format | Kodiranje | Frekvencije uzorkovanja | Tipična upotreba |
|---|---|---|---|
| audio/pcm | Linear16, little-endian | 8000–48000 Hz | Web aplikacije, obrada zvuka |
| audio/pcmu | G.711 mu-law | Samo 8000 Hz | Sjevernoamerička telefonija |
| audio/pcma | G.711 A-law | Samo 8000 Hz | Europska / međunarodna telefonija |
| audio/opus | Opus (sirovi paketi) | 24000 Hz mono | Mobilni uređaji, mala propusnost |
PCM (Pulse Code Modulation)
PCM je zadani i najsvestraniji format. Kodira zvuk kao nekompresirane 16-bitne predznačene cijele brojeve (Linear16) u little-endian poretku.
Dostupne frekvencije uzorkovanja
API podržava sedam frekvencija uzorkovanja za PCM:
- 8000 Hz: minimalna telefonska kvaliteta
- 16000 Hz: dobar kompromis za glas (wideband)
- 22050 Hz: srednja kvaliteta
- 24000 Hz: zadano, preporučeno za većinu slučajeva
- 32000 Hz: viša kvaliteta
- 44100 Hz: CD kvaliteta
- 48000 Hz: studijska kvaliteta
Za standardnu glasovnu aplikaciju, 24000 Hz nudi najbolju ravnotežu između kvalitete i propusnosti. Više frekvencije ne donose primjetno poboljšanje za govor.
Konfiguracija u session.update
{
"type": "session.update",
"session": {
"audio": {
"input": {
"format": {"type": "audio/pcm", "rate": 24000}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000}
}
}
}
}
G.711: mu-law i A-law
G.711 kodeci su standardi tradicionalne telefonije. Koriste logaritamsku kompresiju za smanjenje podataka uz očuvanje kvalitete glasa unutar telefonskog pojasa (300–3400 Hz).
mu-law (audio/pcmu)
Koristi se uglavnom u Sjevernoj Americi i Japanu; to je izvorni kodek sjevernoameričkih telefonskih mreža. Ako integriraš Voice Agent API sa SIP sustavom u SAD-u, audio/pcmu je prirodan izbor.
A-law (audio/pcma)
Koristi se u Europi i ostatku svijeta. Za integraciju s europskim telefonskim operaterom, odaberi audio/pcma.
Ograničenja G.711
Oba G.711 kodeka ograničena su na 8000 Hz, što znači smanjenu audio propusnost. Kvaliteta glasa je prihvatljiva za telefoniju, ali niža od PCM-a na 24000 Hz. Koristi ih samo kada tvoja telefonska infrastruktura to zahtijeva.
Različiti formati za ulaz i izlaz
API ti omogućuje konfiguraciju različitih formata za ulaz i izlaz, što je korisno u hibridnim arhitekturama:
{
"type": "session.update",
"session": {
"audio": {
"input": {
"format": {"type": "audio/pcmu", "rate": 8000}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000}
}
}
}
}
U ovom primjeru, primaš G.711 mu-law iz telefonskog sustava i šalješ visokokvalitetni PCM natrag u emiterski sustav.
Opus
Četvrti kodek, audio/opus, prenosi sirove Opus pakete na 24.000 Hz mono, jedan paket po payloadu, bez zaglavlja kontejnera. To je komprimirani kodek: drastično smanjuje propusnost u usporedbi s PCM-om, što je bitno na mobilnim vezama, pod uvjetom da tvoj klijent može kodirati i dekodirati Opus.
Prijenos: JSON ili binary
Kodek (format) definira kako je zvuk kodiran; prijenos (transport) definira kako ti bajtovi putuju kroz WebSocket. Zadano ("json"), zvuk je base64-kodiran unutar input_audio_buffer.append i response.output_audio.delta. S "binary", izlazi kao binarni WebSocket okviri, bez base64 i bez zaglavlja; događaji životnog ciklusa (response.created, response.done, transkripti) ostaju u JSON-u.
await ws.send(json.dumps({
"type": "session.update",
"session": {
"audio": {
"input": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
"output": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
}
},
}))
await ws.send(pcm16_bytes) # binary frame: raw 16-bit PCM, no base64
async for message in ws:
if isinstance(message, bytes):
player.write(message) # the assistant's audio
else:
event = json.loads(message) # JSON event
Dokumentacija postavlja dva pravila. Na ulazu, jednom kada je format konfiguriran, poslužitelj prihvaća oba puta istovremeno: input.transport samo navodi tvoj preferirani put. Na izlazu, zvuk stiže samo kroz output.transport, a promjena usred sesije vrijedi tek od sljedećeg odgovora, tako da se u jednoj izjavi nikada ne miješaju JSON i binary. Binary izbjegava overhead base64 kodiranja, koji povećava volumen podataka za oko trećinu.
Ključne točke
- Zadani format je PCM na 24000 Hz, idealan za web aplikacije
- G.711 mu-law (pcmu) je standard sjevernoameričke telefonije
- G.711 A-law (pcma) je standard europske telefonije
- G.711 kodeci ograničeni su na 8000 Hz
- Možeš koristiti različite formate za ulaz i izlaz
audio/opus(24 kHz mono) smanjuje propusnost;transport: "binary"šalje zvuk kao binarne okvire, bez base64- Za glas, 24000 Hz je najbolji kompromis između kvalitete i propusnosti