Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Send lyd med input_audio_buffer.append

Lektion 7 af 16 Opdateret 30. juli 2026 Udvikler
På denne side
  1. Stream lyd til serveren
  2. Hændelsesstruktur
  3. Optag lyd i browseren
  4. Optag lyd i Python
  5. Biddestørrelse og frekvens
  6. Ekkoafbrydelse
  7. Vigtige pointer

Stream lyd til serveren

Når sessionen er konfigureret, kan du begynde at streame lyd til serveren. Hændelsen input_audio_buffer.append sender base64-kodede lydbidder.

Hændelsesstruktur

{
  "type": "input_audio_buffer.append",
  "audio": "SGVsbG8gV29ybGQ..."
}

Feltet audio indeholder rå lyddata kodet i base64. Formatet skal matche det, der er konfigureret i session.update (som standard 16-bit little-endian PCM ved 24000 Hz).

Optag lyd i browseren

Browserens Web Audio API giver dig mulighed for at optage fra mikrofonen og sende dataene i realtid:

async function startCapture(ws) {
  const stream = await navigator.mediaDevices.getUserMedia({
    audio: {
      sampleRate: 24000,
      channelCount: 1,
      echoCancellation: true,
      noiseSuppression: true
    }
  });

  const audioContext = new AudioContext({ sampleRate: 24000 });
  const source = audioContext.createMediaStreamSource(stream);
  const processor = audioContext.createScriptProcessor(4096, 1, 1);

  processor.onaudioprocess = (event) => {
    const inputData = event.inputBuffer.getChannelData(0);
    const pcm16 = float32ToPCM16(inputData);
    const base64 = arrayBufferToBase64(pcm16.buffer);

    ws.send(JSON.stringify({
      type: "input_audio_buffer.append",
      audio: base64
    }));
  };

  source.connect(processor);
  processor.connect(audioContext.destination);
}

function float32ToPCM16(float32Array) {
  const pcm16 = new Int16Array(float32Array.length);
  for (let i = 0; i < float32Array.length; i++) {
    const s = Math.max(-1, Math.min(1, float32Array[i]));
    pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7FFF;
  }
  return pcm16;
}

function arrayBufferToBase64(buffer) {
  const bytes = new Uint8Array(buffer);
  let binary = "";
  for (let i = 0; i < bytes.byteLength; i++) {
    binary += String.fromCharCode(bytes[i]);
  }
  return btoa(binary);
}

Optag lyd i Python

Med biblioteket pyaudio kan du optage fra mikrofonen og sende bidderne:

import pyaudio
import base64
import json

RATE = 24000
CHUNK = 4096
FORMAT = pyaudio.paInt16
CHANNELS = 1

p = pyaudio.PyAudio()
stream = p.open(
    format=FORMAT,
    channels=CHANNELS,
    rate=RATE,
    input=True,
    frames_per_buffer=CHUNK
)

async def send_audio(ws):
    while True:
        data = stream.read(CHUNK, exception_on_overflow=False)
        audio_b64 = base64.b64encode(data).decode("utf-8")
        await ws.send(json.dumps({
            "type": "input_audio_buffer.append",
            "audio": audio_b64
        }))

Biddestørrelse og frekvens

Biddestørrelsen påvirker ventetid og ydeevne:

  • Små bidder (1024 samples / ~42 ms): Minimal ventetid, men flere WebSocket-beskeder
  • Mellemstore bidder (4096 samples / ~170 ms): Et godt kompromis
  • Store bidder (8192 samples / ~341 ms): Færre beskeder, men mærkbar ventetid

For en naturlig samtale skal du sende en bid hver 100 til 200 ms. Serverens VAD (Voice Activity Detection) samler dataene i en intern buffer og behandler dem løbende.

Ekkoafbrydelse

Hvis din app afspiller svarlyden gennem højttalere, mens mikrofonen er tændt, har du brug for ekkoafbrydelse. Uden dette vil agenten høre sig selv tale og kan ende i en samtaleløkke med sig selv.

Dine muligheder:

  • Brug Web Audio API’s indstillinger for echoCancellation og noiseSuppression
  • Slå mikrofonen fra, mens agenten taler
  • Brug et headset til at isolere input fra output

Vigtige pointer

  • input_audio_buffer.append sender base64-kodede lydbidder
  • Dataformatet skal matche sessionens konfiguration (som standard 16-bit PCM)
  • Send en bid hver 100 til 200 ms for en god balance mellem ventetid og ydeevne
  • Lydoptagelse i browseren bruger Web Audio API med en konvertering fra Float32 til PCM16
  • Håndtér ekkoafbrydelse for at undgå lydløkker