Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Skicka ljud med input_audio_buffer.append

Lektion 7 av 16 Uppdaterad 30 juli 2026 Utvecklare
På denna sida
  1. Strömma ljud till servern
  2. Händelsestruktur
  3. Spela in ljud i webbläsaren
  4. Spela in ljud i Python
  5. Bitstorlek och frekvens
  6. Ekoutsläckning
  7. Viktiga punkter

Strömma ljud till servern

När sessionen är konfigurerad kan du börja strömma ljud till servern. Händelsen input_audio_buffer.append skickar ljudbitar kodade i base64.

Händelsestruktur

{
  "type": "input_audio_buffer.append",
  "audio": "SGVsbG8gV29ybGQ..."
}

Fältet audio innehåller råa ljuddata kodade i base64. Formatet måste matcha det som konfigurerats i session.update (som standard 16-bitars little-endian PCM vid 24000 Hz).

Spela in ljud i webbläsaren

Webbläsarens Web Audio API låter dig fånga mikrofonen och skicka data i realtid:

async function startCapture(ws) {
  const stream = await navigator.mediaDevices.getUserMedia({
    audio: {
      sampleRate: 24000,
      channelCount: 1,
      echoCancellation: true,
      noiseSuppression: true
    }
  });

  const audioContext = new AudioContext({ sampleRate: 24000 });
  const source = audioContext.createMediaStreamSource(stream);
  const processor = audioContext.createScriptProcessor(4096, 1, 1);

  processor.onaudioprocess = (event) => {
    const inputData = event.inputBuffer.getChannelData(0);
    const pcm16 = float32ToPCM16(inputData);
    const base64 = arrayBufferToBase64(pcm16.buffer);

    ws.send(JSON.stringify({
      type: "input_audio_buffer.append",
      audio: base64
    }));
  };

  source.connect(processor);
  processor.connect(audioContext.destination);
}

function float32ToPCM16(float32Array) {
  const pcm16 = new Int16Array(float32Array.length);
  for (let i = 0; i < float32Array.length; i++) {
    const s = Math.max(-1, Math.min(1, float32Array[i]));
    pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7FFF;
  }
  return pcm16;
}

function arrayBufferToBase64(buffer) {
  const bytes = new Uint8Array(buffer);
  let binary = "";
  for (let i = 0; i < bytes.byteLength; i++) {
    binary += String.fromCharCode(bytes[i]);
  }
  return btoa(binary);
}

Spela in ljud i Python

Med biblioteket pyaudio kan du fånga mikrofonen och skicka ljudbitarna:

import pyaudio
import base64
import json

RATE = 24000
CHUNK = 4096
FORMAT = pyaudio.paInt16
CHANNELS = 1

p = pyaudio.PyAudio()
stream = p.open(
    format=FORMAT,
    channels=CHANNELS,
    rate=RATE,
    input=True,
    frames_per_buffer=CHUNK
)

async def send_audio(ws):
    while True:
        data = stream.read(CHUNK, exception_on_overflow=False)
        audio_b64 = base64.b64encode(data).decode("utf-8")
        await ws.send(json.dumps({
            "type": "input_audio_buffer.append",
            "audio": audio_b64
        }))

Bitstorlek och frekvens

Bitstorleken påverkar latens och prestanda:

  • Små bitar (1024 sampel / ~42 ms): minimal latens, men fler WebSocket-meddelanden
  • Medelstora bitar (4096 sampel / ~170 ms): en bra avvägning
  • Stora bitar (8192 sampel / ~341 ms): färre meddelanden, men märkbar latens

För en naturlig konversation bör du skicka en bit var 100:e till 200:e millisekund. Serverns VAD (Voice Activity Detection) samlar datan i en intern buffert och bearbetar den kontinuerligt.

Ekoutsläckning

Om din applikation spelar upp svars ljudet genom högtalare medan mikrofonen är på, behöver du ekoutsläckning. Utan detta skulle agenten höra sig själv tala och hamna i en konversationsloop med sig själv.

Dina alternativ:

  • Använd Web Audio API:s alternativ echoCancellation och noiseSuppression
  • Stäng av mikrofonen medan agenten talar
  • Använd ett headset för att isolera inmatning från utmatning

Viktiga punkter

  • input_audio_buffer.append skickar ljudbitar kodade i base64
  • Dataformatet måste matcha sessionens konfiguration (som standard 16-bitars PCM)
  • Skicka en bit var 100:e till 200:e millisekund för en bra balans mellan latens och prestanda
  • Ljudinspelning i webbläsaren använder Web Audio API med konvertering från Float32 till PCM16
  • Hantera ekoutsläckning för att undvika ljudloopar