Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Slanje zvuka pomoću input_audio_buffer.append

Lekcija 7 od 16 Ažurirano 30. srpnja 2026. Programer
Na ovoj stranici
  1. Strujanje zvuka prema poslužitelju
  2. Struktura događaja
  3. Snimanje zvuka u pregledniku
  4. Snimanje zvuka u Pythonu
  5. Veličina dijela i učestalost
  6. Poništavanje eha
  7. Ključne točke

Strujanje zvuka prema poslužitelju

Nakon što konfiguriraš sesiju, možeš početi strujati zvuk prema poslužitelju. Događaj input_audio_buffer.append šalje dijelove zvuka kodirane u base64 formatu.

Struktura događaja

{
  "type": "input_audio_buffer.append",
  "audio": "SGVsbG8gV29ybGQ..."
}

Polje audio sadrži sirove audio podatke kodirane u base64. Njegov format mora odgovarati onome konfiguriranom u session.update (zadano: 16-bitni PCM s little-endian zapisom pri 24000 Hz).

Snimanje zvuka u pregledniku

Web Audio API preglednika omogućuje ti snimanje mikrofona i slanje podataka u stvarnom vremenu:

async function startCapture(ws) {
  const stream = await navigator.mediaDevices.getUserMedia({
    audio: {
      sampleRate: 24000,
      channelCount: 1,
      echoCancellation: true,
      noiseSuppression: true
    }
  });

  const audioContext = new AudioContext({ sampleRate: 24000 });
  const source = audioContext.createMediaStreamSource(stream);
  const processor = audioContext.createScriptProcessor(4096, 1, 1);

  processor.onaudioprocess = (event) => {
    const inputData = event.inputBuffer.getChannelData(0);
    const pcm16 = float32ToPCM16(inputData);
    const base64 = arrayBufferToBase64(pcm16.buffer);

    ws.send(JSON.stringify({
      type: "input_audio_buffer.append",
      audio: base64
    }));
  };

  source.connect(processor);
  processor.connect(audioContext.destination);
}

function float32ToPCM16(float32Array) {
  const pcm16 = new Int16Array(float32Array.length);
  for (let i = 0; i < float32Array.length; i++) {
    const s = Math.max(-1, Math.min(1, float32Array[i]));
    pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7FFF;
  }
  return pcm16;
}

function arrayBufferToBase64(buffer) {
  const bytes = new Uint8Array(buffer);
  let binary = "";
  for (let i = 0; i < bytes.byteLength; i++) {
    binary += String.fromCharCode(bytes[i]);
  }
  return btoa(binary);
}

Snimanje zvuka u Pythonu

Pomoću biblioteke pyaudio možeš snimiti mikrofon i poslati dijelove podataka:

import pyaudio
import base64
import json

RATE = 24000
CHUNK = 4096
FORMAT = pyaudio.paInt16
CHANNELS = 1

p = pyaudio.PyAudio()
stream = p.open(
    format=FORMAT,
    channels=CHANNELS,
    rate=RATE,
    input=True,
    frames_per_buffer=CHUNK
)

async def send_audio(ws):
    while True:
        data = stream.read(CHUNK, exception_on_overflow=False)
        audio_b64 = base64.b64encode(data).decode("utf-8")
        await ws.send(json.dumps({
            "type": "input_audio_buffer.append",
            "audio": audio_b64
        }))

Veličina dijela i učestalost

Veličina dijela utječe na kašnjenje i performanse:

  • Mali dijelovi (1024 uzorka / ~42 ms): minimalno kašnjenje, ali više WebSocket poruka
  • Srednji dijelovi (4096 uzoraka / ~170 ms): dobar kompromis
  • Veliki dijelovi (8192 uzorka / ~341 ms): manje poruka, ali primjetno kašnjenje

Za prirodan razgovor šalji dio svakih 100 do 200 ms. Poslužiteljev VAD prikuplja podatke u interni međuspremnik i neprestano ih obrađuje.

Poništavanje eha

Ako tvoja aplikacija reproducira odgovorni zvuk kroz zvučnike dok je mikrofon uključen, trebaš poništavanje eha. Bez toga, agent bi čuo sam sebe kako govori i mogao bi upasti u petlju razgovora sa samim sobom.

Tvoje opcije:

  • Koristi opcije echoCancellation i noiseSuppression Web Audio API-ja
  • Isključi mikrofon dok agent govori
  • Koristi slušalice kako bi izolirao ulaz od izlaza

Ključne točke

  • input_audio_buffer.append šalje dijelove zvuka kodirane u base64
  • Format podataka mora odgovarati konfiguraciji sesije (zadano 16-bitni PCM)
  • Šalji dio svakih 100 do 200 ms za dobru ravnotežu između kašnjenja i performansi
  • Snimanje zvuka u pregledniku koristi Web Audio API s konverzijom iz Float32 u PCM16
  • Riješi poništavanje eha kako bi izbjegao audio petlje