Премини към основното съдържание
Български— Изберете език
Меню

Аудио формати: PCM и G.711

Урок 5 от 16 Обновен 3 ноември 2026 г. Програмист
На тази страница
  1. Поддържани аудио формати
  2. PCM (Импулсно-кодова модулация)
  3. G.711: mu-law и A-law
  4. Различни формати за вход и изход
  5. Opus
  6. Транспорт: JSON или двоичен
  7. Ключови изводи

Обновено на 3 ноември 2026 г. въз основа на страницата Speech to Speech на xAI: API приема четвърти кодек, audio/opus (сурови Opus пакети, 24 kHz моно), и втори транспортен режим, binary, който изпраща аудио като двоични WebSocket кадри вместо base64 вътре в JSON. Източник: Speech to Speech, Audio and Audio Transport.

Поддържани аудио формати

Voice Agent API поддържа четири аудио формата за вход и изход: PCM, G.711 μ-law, G.711 A-law и Opus. Изборът Ви зависи от случая на употреба: уеб приложение, телефония или професионална аудио обработка.

Format Encoding Sample rates Typical use
audio/pcm Linear16, little-endian 8000–48000 Hz Web apps, audio processing
audio/pcmu G.711 mu-law 8000 Hz only North American telephony
audio/pcma G.711 A-law 8000 Hz only European / international telephony
audio/opus Opus (raw packets) 24000 Hz mono Mobile, low bandwidth

PCM (Импулсно-кодова модулация)

PCM е форматът по подразбиране и най-универсалният вариант. Той кодира аудиото като некомпресирани 16-битови знакови цели числа (Linear16) в little-endian ред.

Наличми честоти на дискретизация

API поддържа седем честоти на дискретизация за PCM:

  • 8000 Hz: минимално телефонно качество
  • 16000 Hz: добър компромис за глас (широколентов)
  • 22050 Hz: междинно качество
  • 24000 Hz: по подразбиране, препоръчително за повечето случаи
  • 32000 Hz: по-високо качество
  • 44100 Hz: CD качество
  • 48000 Hz: студийно качество

За стандартно гласово приложение 24000 Hz предлага най-добрия баланс между качество и честотна лента. Повишаването над тази стойност не носи забележимо подобрение за речта.

Конфигурация в session.update

{
  "type": "session.update",
  "session": {
    "audio": {
      "input": {
        "format": {"type": "audio/pcm", "rate": 24000}
      },
      "output": {
        "format": {"type": "audio/pcm", "rate": 24000}
      }
    }
  }
}

G.711: mu-law и A-law

Кодеците G.711 са стандартите на традиционната телефония. Те използват логаритмична компресия, за да намалят обема на аудио данните, запазвайки качеството на гласа в телефонната лента (300–3400 Hz).

mu-law (audio/pcmu)

Използва се основно в Северна Америка и Япония; това е родният кодек на северноамериканските телефонни мрежи. Ако интегрирате Voice Agent API със SIP система със седалище в САЩ, audio/pcmu е естественият избор.

A-law (audio/pcma)

Използва се в Европа и останалата част от света. За интеграция с европейски телефонен оператор изберете audio/pcma.

Ограничения на G.711

И двата кодека G.711 са ограничени до 8000 Hz, което означава намалена аудио честотна лента. Качеството на гласа е подходящо за телефония, но по-ниско от това на PCM при 24000 Hz. Използвайте ги само когато Вашата телефонна инфраструктура го изисква.

Различни формати за вход и изход

API Ви позволява да конфигурирате различни формати за вход и изход, което е полезно при хибридни архитектури:

{
  "type": "session.update",
  "session": {
    "audio": {
      "input": {
        "format": {"type": "audio/pcmu", "rate": 8000}
      },
      "output": {
        "format": {"type": "audio/pcm", "rate": 24000}
      }
    }
  }
}

В този пример получавате G.711 mu-law от телефонна система и изпращате висококачествен PCM обратно към система за излъчване.

Opus

Четвъртият кодек, audio/opus, пренася сурови Opus пакети при 24 000 Hz моно, по един пакет на полезен товар, без заглавка на контейнер. Това е компресиран кодек: той рязко намалява честотната лента в сравнение с PCM, което е важно при мобилна връзка, стига клиентът Ви да може да кодира и декодира Opus.

Транспорт: JSON или двоичен

Кодекът (format) определя как е кодирано аудиото; транспортът (transport) определя как тези байтове пътуват през WebSocket. По подразбиране ("json"), аудиото е кодирано в base64 вътре в input_audio_buffer.append и response.output_audio.delta. При "binary", то се изпраща като двоични WebSocket кадри, без base64 и без заглавка; събитията от жизнения цикъл (response.created, response.done, транскрипции) остават в JSON.

await ws.send(json.dumps({
    "type": "session.update",
    "session": {
        "audio": {
            "input": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
            "output": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
        }
    },
}))

await ws.send(pcm16_bytes)  # binary frame: raw 16-bit PCM, no base64

async for message in ws:
    if isinstance(message, bytes):
        player.write(message)           # the assistant's audio
    else:
        event = json.loads(message)     # JSON event

Документацията установява две правила. При вход, след като форматът е конфигуриран, сървърът приема двата пътя едновременно: input.transport само посочва предпочитания от Вас път. При изход, аудиото пристига само чрез output.transport, а промяна по време на сесията важи само от следващия отговор, така че една единствена реплика никога не смесва JSON и двоичен формат. Двоичният режим избягва натоварването от base64, което добавя около една трета към обема на данните.

Ключови изводи

  • Форматът по подразбиране е PCM при 24000 Hz, идеален за уеб приложения
  • G.711 mu-law (pcmu) е стандартът за телефония в Северна Америка
  • G.711 A-law (pcma) е стандартът за телефония в Европа
  • Кодеците G.711 са ограничени до 8000 Hz
  • Можете да използвате различни формати за вход и изход
  • audio/opus (24 kHz моно) намалява честотната лента; transport: "binary" изпраща аудио като двоични кадри, без base64
  • За глас 24000 Hz е най-добрият компромис между качество и честотна лента