Formáty zvuku: PCM a G.711
Na této stránce
Aktualizováno 3. listopadu 2026 na základě stránky xAI Speech to Speech: API nyní přijímá čtvrtý kodek,
audio/opus(surové pakety Opus, 24 kHz mono), a druhý režim přenosu,binary, který odesílá zvuk jako binární rámce WebSocket místo base64 uvnitř JSON. Zdroj: Speech to Speech, Audio and Audio Transport.
Podporované formáty zvuku
API Voice Agent podporuje pro vstup i výstup čtyři zvukové formáty: PCM, G.711 μ-law, G.711 A-law a Opus. Volba závisí na tvém použití: webová aplikace, telefonie nebo profesionální zpracování zvuku.
| Formát | Kódování | Vzorkovací frekvence | Typické použití |
|---|---|---|---|
| audio/pcm | Linear16, little-endian | 8000–48000 Hz | Webové aplikace, zpracování zvuku |
| audio/pcmu | G.711 mu-law | pouze 8000 Hz | Severoamerická telefonie |
| audio/pcma | G.711 A-law | pouze 8000 Hz | Evropská / mezinárodní telefonie |
| audio/opus | Opus (surové pakety) | 24000 Hz mono | Mobilní zařízení, nízká šířka pásma |
PCM (Pulzní kódová modulace)
PCM je výchozí a nejuniverzálnější formát. Kóduje zvuk jako nekomprimované 16bitové znaménkové celá čísla (Linear16) v pořadí little-endian.
Dostupné vzorkovací frekvence
API podporuje pro PCM sedm vzorkovacích frekvencí:
- 8000 Hz: minimální kvalita pro telefonii
- 16000 Hz: dobrý kompromis pro hlas (wideband)
- 22050 Hz: střední kvalita
- 24000 Hz: výchozí, doporučeno pro většinu případů
- 32000 Hz: vyšší kvalita
- 44100 Hz: kvalita CD
- 48000 Hz: studiová kvalita
Pro běžnou hlasovou aplikaci nabízí 24000 Hz nejlepší rovnováhu mezi kvalitou a šířkou pásma. Vyšší frekvence nepřinášejí pro řeč znatelné zlepšení.
Konfigurace v session.update
{
"type": "session.update",
"session": {
"audio": {
"input": {
"format": {"type": "audio/pcm", "rate": 24000}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000}
}
}
}
}
G.711: mu-law a A-law
Kodeky G.711 jsou standardem tradiční telefonie. Používají logaritmickou kompresi ke zmenšení objemu zvukových dat při zachování kvality hlasu v rámci telefonního pásma (300–3400 Hz).
mu-law (audio/pcmu)
Používá se hlavně v Severní Americe a Japonsku; je nativním kodekem severoamerických telefonních sítí. Pokud integruješ API Voice Agent se systémem SIP založeným v USA, je audio/pcmu přirozenou volbou.
A-law (audio/pcma)
Používá se v Evropě a zbytku světa. Pro integraci s evropským telefonním operátorem zvol audio/pcma.
Omezení G.711
Oba kodeky G.711 jsou omezeny na 8000 Hz, což znamená nižší audio šířku pásma. Kvalita hlasu je pro telefonii dostatečná, ale nižší než u PCM na 24000 Hz. Používej je pouze tehdy, když to tvoje telefonní infrastruktura vyžaduje.
Různé formáty pro vstup a výstup
API umožňuje nastavit různé formáty pro vstup a výstup, což je užitečné v hybridních architekturách:
{
"type": "session.update",
"session": {
"audio": {
"input": {
"format": {"type": "audio/pcmu", "rate": 8000}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000}
}
}
}
}
V tomto příkladu přijímáš G.711 mu-law z telefonního systému a odesíláš zpět vysoce kvalitní PCM do vysílacího systému.
Opus
Čtvrtý kodek, audio/opus, přenáší surové pakety Opus při 24 000 Hz mono, jeden paket na datovou část, bez hlavičky kontejneru. Jde o komprimovaný kodek: výrazně snižuje potřebnou šířku pásma ve srovnání s PCM, což je klíčové pro mobilní připojení, pokud tvůj klient umí kódovat a dekódovat Opus.
Přenos: JSON nebo binární
Kodek (format) určuje, jak je zvuk zakódován; přenos (transport) určuje, jak tyto byty putují přes WebSocket. Ve výchozím nastavení ("json") je zvuk kódován base64 uvnitř input_audio_buffer.append a response.output_audio.delta. Při nastavení "binary" odchází jako binární rámce WebSocket, bez base64 a bez hlavičky; události životního cyklu (response.created, response.done, přepisy) zůstávají v JSON.
await ws.send(json.dumps({
"type": "session.update",
"session": {
"audio": {
"input": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
"output": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
}
},
}))
await ws.send(pcm16_bytes) # binární rámec: surové 16bitové PCM, bez base64
async for message in ws:
if isinstance(message, bytes):
player.write(message) # zvuk asistenta
else:
event = json.loads(message) # událost JSON
Dokumentace stanovuje dvě pravidla. Na vstupu server po nastavení formátu přijímá obě cesty současně: input.transport pouze určuje tvou preferovanou cestu. Na výstupu přichází zvuk pouze prostřednictvím output.transport a změna uprostřed relace se projeví až od další odpovědi, takže jedna promluva nikdy nemíchá JSON a binární data. Binární přenos eliminuje režii base64, která zvyšuje objem dat přibližně o třetinu.
Klíčové poznatky
- Výchozí formát je PCM na 24000 Hz, ideální pro webové aplikace
- G.711 mu-law (pcmu) je standard pro severoamerickou telefonii
- G.711 A-law (pcma) je standard pro evropskou telefonii
- Kodeky G.711 jsou omezeny na 8000 Hz
- Pro vstup a výstup můžeš použít různé formáty
audio/opus(24 kHz mono) snižuje šířku pásma;transport: "binary"odesílá zvuk jako binární rámce bez base64- Pro hlas je 24000 Hz nejlepší kompromis mezi kvalitou a šířkou pásma