Премини към основното съдържание
Български— Изберете език
Меню

Изпращане на аудио с input_audio_buffer.append

Урок 7 от 16 Обновен 30 юли 2026 г. Програмист
На тази страница
  1. Поточно предаване на аудио към сървъра
  2. Структура на събитието
  3. Заснемане на аудио в браузъра
  4. Заснемане на аудио в Python
  5. Размер на частите и честота на изпращане
  6. Ехокомпенсация
  7. Ключови изводи

Поточно предаване на аудио към сървъра

След като конфигурирате сесията, можете да започнете да предавате аудио данни към сървъра в реално време. Събитието input_audio_buffer.append изпраща части (chunk) от аудио данни, кодирани в base64.

Структура на събитието

{
  "type": "input_audio_buffer.append",
  "audio": "SGVsbG8gV29ybGQ..."
}

Полето audio съдържа сурови аудио данни, кодирани в base64. Форматът им трябва да съвпада с този, конфигуриран в session.update (по подразбиране това е 16-битов PCM с малък край (little-endian) при 24000 Hz).

Заснемане на аудио в браузъра

Web Audio API на браузъра Ви позволява да заснемете звука от микрофона и да изпратите данните в реално време:

async function startCapture(ws) {
  const stream = await navigator.mediaDevices.getUserMedia({
    audio: {
      sampleRate: 24000,
      channelCount: 1,
      echoCancellation: true,
      noiseSuppression: true
    }
  });

  const audioContext = new AudioContext({ sampleRate: 24000 });
  const source = audioContext.createMediaStreamSource(stream);
  const processor = audioContext.createScriptProcessor(4096, 1, 1);

  processor.onaudioprocess = (event) => {
    const inputData = event.inputBuffer.getChannelData(0);
    const pcm16 = float32ToPCM16(inputData);
    const base64 = arrayBufferToBase64(pcm16.buffer);

    ws.send(JSON.stringify({
      type: "input_audio_buffer.append",
      audio: base64
    }));
  };

  source.connect(processor);
  processor.connect(audioContext.destination);
}

function float32ToPCM16(float32Array) {
  const pcm16 = new Int16Array(float32Array.length);
  for (let i = 0; i < float32Array.length; i++) {
    const s = Math.max(-1, Math.min(1, float32Array[i]));
    pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7FFF;
  }
  return pcm16;
}

function arrayBufferToBase64(buffer) {
  const bytes = new Uint8Array(buffer);
  let binary = "";
  for (let i = 0; i < bytes.byteLength; i++) {
    binary += String.fromCharCode(bytes[i]);
  }
  return btoa(binary);
}

Заснемане на аудио в Python

С библиотеката pyaudio можете да заснемете звука от микрофона и да изпратите отделните части:

import pyaudio
import base64
import json

RATE = 24000
CHUNK = 4096
FORMAT = pyaudio.paInt16
CHANNELS = 1

p = pyaudio.PyAudio()
stream = p.open(
    format=FORMAT,
    channels=CHANNELS,
    rate=RATE,
    input=True,
    frames_per_buffer=CHUNK
)

async def send_audio(ws):
    while True:
        data = stream.read(CHUNK, exception_on_overflow=False)
        audio_b64 = base64.b64encode(data).decode("utf-8")
        await ws.send(json.dumps({
            "type": "input_audio_buffer.append",
            "audio": audio_b64
        }))

Размер на частите и честота на изпращане

Размерът на аудио частите влияе върху забавянето (latency) и производителността:

  • Малки части (1024 проби / ~42 ms): минимално забавяне, но повече WebSocket съобщения.
  • Средни части (4096 проби / ~170 ms): добър баланс между двете.
  • Големи части (8192 проби / ~341 ms): по-малко съобщения, но забележимо забавяне.

За естествен разговор изпращайте нова част на всеки 100 до 200 ms. Сървърният VAD (детектор на гласова активност) събира данните във вътрешен буфер и ги обработва непрекъснато.

Ехокомпенсация

Ако приложението Ви възпроизвежда аудио отговора през високоговорители, докато микрофонът е активен, е необходима ехокомпенсация. Без нея агентът ще „чуе“ собствените си думи и може да попадне в безкраен цикъл на разговор със самия себе си.

Възможните решения са:

  • Използвайте опциите echoCancellation и noiseSuppression на Web Audio API.
  • Заглушавайте микрофона, докато агентът говори.
  • Използвайте слушалки, за да изолирате входа от изхода.

Ключови изводи

  • input_audio_buffer.append изпраща аудио части, кодирани в base64.
  • Форматът на данните трябва да съвпада с конфигурацията на сесията (по подразбиране 16-битов PCM).
  • Изпращайте част на всеки 100 до 200 ms за оптимален баланс между забавяне и производителност.
  • Заснемането на аудио в браузъра използва Web Audio API с конвертиране от Float32 към PCM16.
  • Осигурете ехокомпенсация, за да избегнете аудио цикли.