Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Saada heli sisends puhvrisse käsuga input_audio_buffer.append

Õppetund 7 / 16 Värskendatud 30. juuli 2026 Arendajatele
Sellel lehel
  1. Heli voogedastus serverisse
  2. Sündmuse struktuur
  3. Heli salvestamine brauseris
  4. Heli salvestamine Pythonis
  5. Lõike suurus ja sagedus
  6. Kaja summutamine
  7. Peamised punktid

Heli voogedastus serverisse

Kui seanss on konfigureeritud, saad alustada heli voogedastust serverisse. Sündmus input_audio_buffer.append saadab base64-kodeeritud helilõike.

Sündmuse struktuur

{
  "type": "input_audio_buffer.append",
  "audio": "SGVsbG8gV29ybGQ..."
}

Väli audio sisaldab toorest heliandmeid, mis on kodeeritud base64-formaati. Selle formaat peab vastama sellele, mis on määratud session.update käigus (vaikimisi 16-bitine little-endian PCM sagedusega 24 000 Hz).

Heli salvestamine brauseris

Brauseri Web Audio API võimaldab haarata mikrofoni ja saata andmeid reaalajas:

async function startCapture(ws) {
  const stream = await navigator.mediaDevices.getUserMedia({
    audio: {
      sampleRate: 24000,
      channelCount: 1,
      echoCancellation: true,
      noiseSuppression: true
    }
  });

  const audioContext = new AudioContext({ sampleRate: 24000 });
  const source = audioContext.createMediaStreamSource(stream);
  const processor = audioContext.createScriptProcessor(4096, 1, 1);

  processor.onaudioprocess = (event) => {
    const inputData = event.inputBuffer.getChannelData(0);
    const pcm16 = float32ToPCM16(inputData);
    const base64 = arrayBufferToBase64(pcm16.buffer);

    ws.send(JSON.stringify({
      type: "input_audio_buffer.append",
      audio: base64
    }));
  };

  source.connect(processor);
  processor.connect(audioContext.destination);
}

function float32ToPCM16(float32Array) {
  const pcm16 = new Int16Array(float32Array.length);
  for (let i = 0; i < float32Array.length; i++) {
    const s = Math.max(-1, Math.min(1, float32Array[i]));
    pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7FFF;
  }
  return pcm16;
}

function arrayBufferToBase64(buffer) {
  const bytes = new Uint8Array(buffer);
  let binary = "";
  for (let i = 0; i < bytes.byteLength; i++) {
    binary += String.fromCharCode(bytes[i]);
  }
  return btoa(binary);
}

Heli salvestamine Pythonis

Teegi pyaudio abil saad haarata mikrofoni ja saata helilõike:

import pyaudio
import base64
import json

RATE = 24000
CHUNK = 4096
FORMAT = pyaudio.paInt16
CHANNELS = 1

p = pyaudio.PyAudio()
stream = p.open(
    format=FORMAT,
    channels=CHANNELS,
    rate=RATE,
    input=True,
    frames_per_buffer=CHUNK
)

async def send_audio(ws):
    while True:
        data = stream.read(CHUNK, exception_on_overflow=False)
        audio_b64 = base64.b64encode(data).decode("utf-8")
        await ws.send(json.dumps({
            "type": "input_audio_buffer.append",
            "audio": audio_b64
        }))

Lõike suurus ja sagedus

Lõike suurus mõjutab latentsust ja jõudlust:

  • Väikesed lõigud (1024 proovi / ~42 ms): minimaalne latentsus, kuid rohkem WebSocketi sõnumeid
  • Keskmised lõigud (4096 proovi / ~170 ms): hea kompromiss
  • Suured lõigud (8192 proovi / ~341 ms): vähem sõnumeid, kuid märgatav latentsus

Loomuliku vestluse tagamiseks saada lõik iga 100–200 ms järel. Serveri VAD (hääleaktiivsuse tuvastus) kogub andmed sisemisse puhvrisse ja töötleb neid pidevalt.

Kaja summutamine

Kui sinu rakendus esitab vastusheli kõlaritest samal ajal, kui mikrofon on sisse lülitatud, on vaja kaja summutamist. Ilma selleta kuuleks agent iseennast rääkimas ja võib sattuda enda kanssa lõputusse vestlusringisse.

Sinu valikud:

  • Kasuta Web Audio API suvandeid echoCancellation ja noiseSuppression
  • Vaigista mikrofon ajal, kui agent räägib
  • Kasuta peakomplekti, et eraldada sisend väljundist

Peamised punktid

  • input_audio_buffer.append saadab base64-kodeeritud helilõike
  • Andmeformaadid peavad vastama seansi konfiguratsioonile (vaikimisi 16-bitine PCM)
  • Hea tasakaalu saavutamiseks latentsuse ja jõudluse vahel saada lõik iga 100–200 ms järel
  • Brauseri heli salvestamine kasutab Web Audio API-d koos teisendusega Float32-st PCM16-ks
  • Vältimaks helisilmuseid, lahenda kaja summutamine