Аудио формати: PCM и G.711
На тази страница
Обновено на 3 ноември 2026 г. въз основа на страницата Speech to Speech на xAI: API приема четвърти кодек,
audio/opus(сурови Opus пакети, 24 kHz моно), и втори транспортен режим,binary, който изпраща аудио като двоични WebSocket кадри вместо base64 вътре в JSON. Източник: Speech to Speech, Audio and Audio Transport.
Поддържани аудио формати
Voice Agent API поддържа четири аудио формата за вход и изход: PCM, G.711 μ-law, G.711 A-law и Opus. Изборът Ви зависи от случая на употреба: уеб приложение, телефония или професионална аудио обработка.
| Format | Encoding | Sample rates | Typical use |
|---|---|---|---|
| audio/pcm | Linear16, little-endian | 8000–48000 Hz | Web apps, audio processing |
| audio/pcmu | G.711 mu-law | 8000 Hz only | North American telephony |
| audio/pcma | G.711 A-law | 8000 Hz only | European / international telephony |
| audio/opus | Opus (raw packets) | 24000 Hz mono | Mobile, low bandwidth |
PCM (Импулсно-кодова модулация)
PCM е форматът по подразбиране и най-универсалният вариант. Той кодира аудиото като некомпресирани 16-битови знакови цели числа (Linear16) в little-endian ред.
Наличми честоти на дискретизация
API поддържа седем честоти на дискретизация за PCM:
- 8000 Hz: минимално телефонно качество
- 16000 Hz: добър компромис за глас (широколентов)
- 22050 Hz: междинно качество
- 24000 Hz: по подразбиране, препоръчително за повечето случаи
- 32000 Hz: по-високо качество
- 44100 Hz: CD качество
- 48000 Hz: студийно качество
За стандартно гласово приложение 24000 Hz предлага най-добрия баланс между качество и честотна лента. Повишаването над тази стойност не носи забележимо подобрение за речта.
Конфигурация в session.update
{
"type": "session.update",
"session": {
"audio": {
"input": {
"format": {"type": "audio/pcm", "rate": 24000}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000}
}
}
}
}
G.711: mu-law и A-law
Кодеците G.711 са стандартите на традиционната телефония. Те използват логаритмична компресия, за да намалят обема на аудио данните, запазвайки качеството на гласа в телефонната лента (300–3400 Hz).
mu-law (audio/pcmu)
Използва се основно в Северна Америка и Япония; това е родният кодек на северноамериканските телефонни мрежи. Ако интегрирате Voice Agent API със SIP система със седалище в САЩ, audio/pcmu е естественият избор.
A-law (audio/pcma)
Използва се в Европа и останалата част от света. За интеграция с европейски телефонен оператор изберете audio/pcma.
Ограничения на G.711
И двата кодека G.711 са ограничени до 8000 Hz, което означава намалена аудио честотна лента. Качеството на гласа е подходящо за телефония, но по-ниско от това на PCM при 24000 Hz. Използвайте ги само когато Вашата телефонна инфраструктура го изисква.
Различни формати за вход и изход
API Ви позволява да конфигурирате различни формати за вход и изход, което е полезно при хибридни архитектури:
{
"type": "session.update",
"session": {
"audio": {
"input": {
"format": {"type": "audio/pcmu", "rate": 8000}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000}
}
}
}
}
В този пример получавате G.711 mu-law от телефонна система и изпращате висококачествен PCM обратно към система за излъчване.
Opus
Четвъртият кодек, audio/opus, пренася сурови Opus пакети при 24 000 Hz моно, по един пакет на полезен товар, без заглавка на контейнер. Това е компресиран кодек: той рязко намалява честотната лента в сравнение с PCM, което е важно при мобилна връзка, стига клиентът Ви да може да кодира и декодира Opus.
Транспорт: JSON или двоичен
Кодекът (format) определя как е кодирано аудиото; транспортът (transport) определя как тези байтове пътуват през WebSocket. По подразбиране ("json"), аудиото е кодирано в base64 вътре в input_audio_buffer.append и response.output_audio.delta. При "binary", то се изпраща като двоични WebSocket кадри, без base64 и без заглавка; събитията от жизнения цикъл (response.created, response.done, транскрипции) остават в JSON.
await ws.send(json.dumps({
"type": "session.update",
"session": {
"audio": {
"input": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
"output": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
}
},
}))
await ws.send(pcm16_bytes) # binary frame: raw 16-bit PCM, no base64
async for message in ws:
if isinstance(message, bytes):
player.write(message) # the assistant's audio
else:
event = json.loads(message) # JSON event
Документацията установява две правила. При вход, след като форматът е конфигуриран, сървърът приема двата пътя едновременно: input.transport само посочва предпочитания от Вас път. При изход, аудиото пристига само чрез output.transport, а промяна по време на сесията важи само от следващия отговор, така че една единствена реплика никога не смесва JSON и двоичен формат. Двоичният режим избягва натоварването от base64, което добавя около една трета към обема на данните.
Ключови изводи
- Форматът по подразбиране е PCM при 24000 Hz, идеален за уеб приложения
- G.711 mu-law (pcmu) е стандартът за телефония в Северна Америка
- G.711 A-law (pcma) е стандартът за телефония в Европа
- Кодеците G.711 са ограничени до 8000 Hz
- Можете да използвате различни формати за вход и изход
audio/opus(24 kHz моно) намалява честотната лента;transport: "binary"изпраща аудио като двоични кадри, без base64- За глас 24000 Hz е най-добрият компромис между качество и честотна лента