Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Odosielanie zvuku pomocou input_audio_buffer.append

Lekcia 7 z 16 Aktualizované 30. júla 2026 Vývojár
Na tejto strane
  1. Streamovanie zvuku na server
  2. Štruktúra udalosti
  3. Záznam zvuku v prehliadači
  4. Záznam zvuku v Pythone
  5. Veľkosť časti a frekvencia odoslania
  6. Potlačenie ozveny
  7. Kľúčové poznatky

Streamovanie zvuku na server

Akonáhle je relácia nakonfigurovaná, môžeš začať streamovať zvuk na server. Udalosť input_audio_buffer.append odosiela časti zvuku zakódované v base64.

Štruktúra udalosti

{
  "type": "input_audio_buffer.append",
  "audio": "SGVsbG8gV29ybGQ..."
}

Pole audio obsahuje surové zvukové dáta zakódované v base64. Jeho formát musí zodpovedať formátu nakonfigurovanému v session.update (predvolene 16-bitové PCM s little-endian usporiadaním pri 24 000 Hz).

Záznam zvuku v prehliadači

Webové zvukové API (Web Audio API) v prehliadači ti umožňuje zachytiť mikrofón a odosielať dáta v reálnom čase:

async function startCapture(ws) {
  const stream = await navigator.mediaDevices.getUserMedia({
    audio: {
      sampleRate: 24000,
      channelCount: 1,
      echoCancellation: true,
      noiseSuppression: true
    }
  });

  const audioContext = new AudioContext({ sampleRate: 24000 });
  const source = audioContext.createMediaStreamSource(stream);
  const processor = audioContext.createScriptProcessor(4096, 1, 1);

  processor.onaudioprocess = (event) => {
    const inputData = event.inputBuffer.getChannelData(0);
    const pcm16 = float32ToPCM16(inputData);
    const base64 = arrayBufferToBase64(pcm16.buffer);

    ws.send(JSON.stringify({
      type: "input_audio_buffer.append",
      audio: base64
    }));
  };

  source.connect(processor);
  processor.connect(audioContext.destination);
}

function float32ToPCM16(float32Array) {
  const pcm16 = new Int16Array(float32Array.length);
  for (let i = 0; i < float32Array.length; i++) {
    const s = Math.max(-1, Math.min(1, float32Array[i]));
    pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7FFF;
  }
  return pcm16;
}

function arrayBufferToBase64(buffer) {
  const bytes = new Uint8Array(buffer);
  let binary = "";
  for (let i = 0; i < bytes.byteLength; i++) {
    binary += String.fromCharCode(bytes[i]);
  }
  return btoa(binary);
}

Záznam zvuku v Pythone

Pomocou knižnice pyaudio môžeš zachytiť zvuk z mikrofónu a odosielať ho po častiach:

import pyaudio
import base64
import json

RATE = 24000
CHUNK = 4096
FORMAT = pyaudio.paInt16
CHANNELS = 1

p = pyaudio.PyAudio()
stream = p.open(
    format=FORMAT,
    channels=CHANNELS,
    rate=RATE,
    input=True,
    frames_per_buffer=CHUNK
)

async def send_audio(ws):
    while True:
        data = stream.read(CHUNK, exception_on_overflow=False)
        audio_b64 = base64.b64encode(data).decode("utf-8")
        await ws.send(json.dumps({
            "type": "input_audio_buffer.append",
            "audio": audio_b64
        }))

Veľkosť časti a frekvencia odoslania

Veľkosť časti ovplyvňuje oneskorenie a výkon:

  • Malé časti (1 024 vzoriek / ~42 ms): minimálne oneskorenie, ale viac správ WebSocket
  • Stredné časti (4 096 vzoriek / ~170 ms): dobrý kompromis
  • Veľké časti (8 192 vzoriek / ~341 ms): menej správ, ale citeľné oneskorenie

Pre prirodzenú konverzáciu odosielaj časť každých 100 až 200 ms. Serverový VAD (detekcia hlasovej aktivity) zhromažďuje dáta do interného bufferu a spracováva ich priebežne.

Potlačenie ozveny

Ak tvoja aplikácia prehráva odpoveďový zvuk cez reproduktory, zatiaľ čo je mikrofón aktívny, potrebuješ potlačenie ozveny. Bez neho by agent počul sám seba a mohol by sa dostať do slučky konverzácie so sebou samým.

Máš tieto možnosti:

  • Použi možnosti echoCancellation a noiseSuppression vo Web Audio API
  • Stíš mikrofón, keď agent hovorí
  • Použi náhlavnú súpravu na izoláciu vstupu od výstupu

Kľúčové poznatky

  • input_audio_buffer.append odosiela časti zvuku zakódované v base64
  • Formát dát musí zodpovedať konfigurácii relácie (predvolene 16-bitové PCM)
  • Pre dobrú rovnováhu medzi oneskorením a výkonom odosielaj časť každých 100 až 200 ms
  • Záznam zvuku v prehliadači využíva Web Audio API s konverziou z Float32 na PCM16
  • Rieš potlačenie ozveny, aby sa predišlo zvukovým slučkám