Formáty zvuku: PCM a G.711
Na tejto strane
Aktualizované 3. novembra 2026 na základe stránky xAI Speech to Speech: API akceptuje štvrtý kodek,
audio/opus(surové pakety Opus, 24 kHz mono), a druhý režim prenosu,binary, ktorý odosiela zvuk ako binárne rámce WebSocket namiesto base64 vnútri JSON. Zdroj: Speech to Speech, Audio and Audio Transport.
Podporované formáty zvuku
API Voice Agent podporuje štyri formáty zvuku pre vstup aj výstup: PCM, G.711 μ-law, G.711 A-law a Opus. Výber závisí od tvojho prípadu použitia: webová aplikácia, telefónia alebo profesionálne spracovanie zvuku.
| Formát | Kódovanie | Vzorkovacie frekvencie | Typické použitie |
|---|---|---|---|
| audio/pcm | Linear16, little-endian | 8000–48000 Hz | Webové aplikácie, spracovanie zvuku |
| audio/pcmu | G.711 mu-law | len 8000 Hz | Severoamerická telefónia |
| audio/pcma | G.711 A-law | len 8000 Hz | Európska / medzinárodná telefónia |
| audio/opus | Opus (surové pakety) | 24000 Hz mono | Mobilné zariadenia, nízka šírka pásma |
PCM (Pulzne kódová modulácia)
PCM je predvolený a najuniverzálnejší formát. Kóduje zvuk ako nekomprimované 16-bitové signed integers (Linear16) v poradí little-endian.
Dostupné vzorkovacie frekvencie
API podporuje sedem vzorkovacích frekvencií pre PCM:
- 8000 Hz: minimálna telefónna kvalita
- 16000 Hz: dobrý kompromis pre hlas (wideband)
- 22050 Hz: stredná kvalita
- 24000 Hz: predvolená, odporúčaná pre väčšinu prípadov
- 32000 Hz: vyššia kvalita
- 44100 Hz: CD kvalita
- 48000 Hz: štúdiová kvalita
Pre štandardnú hlasovú aplikáciu ponúka 24000 Hz najlepší pomer medzi kvalitou a šírkou pásma. Vyššie hodnoty neprinášajú pri reči citeľné zlepšenie.
Konfigurácia v session.update
{
"type": "session.update",
"session": {
"audio": {
"input": {
"format": {"type": "audio/pcm", "rate": 24000}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000}
}
}
}
}
G.711: mu-law a A-law
Kodeky G.711 sú štandardom tradičnej telefónie. Využívajú logaritmickú kompresiu na zmenšenie dátového objemu zvuku pri zachovaní kvality hlasu v rámci telefónneho pásma (300–3400 Hz).
mu-law (audio/pcmu)
Používa sa hlavne v Severnej Amerike a Japonsku; je natívnym kodekom severoamerických telefónnych sietí. Ak integruješ API Voice Agent so systémom SIP so sídlom v USA, audio/pcmu je prirodzenou voľbou.
A-law (audio/pcma)
Používa sa v Európe a zvyšku sveta. Pre integráciu s európskym telefónnym operátorom zvoľ audio/pcma.
Obmedzenia G.711
Oba kodeky G.711 sú obmedzené na 8000 Hz, čo znamená zníženú šírku pásma zvuku. Kvalita hlasu je pre telefóniu dostatočná, ale nižšia než pri PCM s frekvenciou 24000 Hz. Používaj ich len vtedy, ak si to vyžaduje tvoja telefónna infraštruktúra.
Rôzne formáty pre vstup a výstup
API ti umožňuje nastaviť rôzne formáty pre vstup a výstup, čo je užitočné v hybridných architektúrach:
{
"type": "session.update",
"session": {
"audio": {
"input": {
"format": {"type": "audio/pcmu", "rate": 8000}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000}
}
}
}
}
V tomto príklade prijímaš G.711 mu-law z telefónneho systému a odosielaš späť do vysielacieho systému vysokokvalitné PCM.
Opus
Štvrtý kodek, audio/opus, prenáša surové pakety Opus pri 24 000 Hz mono, jeden paket na payload, bez hlavičky kontajnera. Ide o komprimovaný kodek: výrazne znižuje šírku pásma v porovnaní s PCM, čo je dôležité pri mobilnom pripojení, pokiaľ tvoj klient vie kódovať a dekódovať Opus.
Prenos: JSON alebo binárny
Kodek (format) určuje, ako je zvuk zakódovaný; prenos (transport) určuje, ako tieto bajty putujú cez WebSocket. Predvolene ("json") je zvuk kódovaný base64 vnútri input_audio_buffer.append a response.output_audio.delta. Pri "binary" putuje ako binárne rámce WebSocket, bez base64 a bez hlavičky; udalosti životného cyklu (response.created, response.done, prepisy) zostávajú v JSON.
await ws.send(json.dumps({
"type": "session.update",
"session": {
"audio": {
"input": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
"output": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
}
},
}))
await ws.send(pcm16_bytes) # binárny rámec: surové 16-bitové PCM, žiadne base64
async for message in ws:
if isinstance(message, bytes):
player.write(message) # zvuk asistenta
else:
event = json.loads(message) # JSON udalosť
Dokumentácia stanovuje dve pravidlá. Pri vstupe server po nastavení formátu akceptuje obe cesty súčasne: input.transport iba určuje tvoju preferovanú cestu. Pri výstupe prichádza zvuk výlučne cez output.transport a zmena počas relácie sa prejaví až od ďalšej odpovede, takže jedna výpoveď nikdy nemieša JSON a binárny formát. Binárny prenos sa vyhne réžii base64, ktorá zvyšuje objem dát približne o tretinu.
Kľúčové poznatky
- Predvolený formát je PCM s frekvenciou 24000 Hz, ideálny pre webové aplikácie
- G.711 mu-law (pcmu) je štandard severoamerickej telefónie
- G.711 A-law (pcma) je štandard európskej telefónie
- Kodeky G.711 sú obmedzené na 8000 Hz
- Pre vstup a výstup môžeš použiť rôzne formáty
audio/opus(24 kHz mono) znižuje šírku pásma;transport: "binary"odosiela zvuk ako binárne rámce bez base64- Pre hlas je 24000 Hz najlepším kompromisom medzi kvalitou a šírkou pásma