Skicka ljud med input_audio_buffer.append
På denna sida
Strömma ljud till servern
När sessionen är konfigurerad kan du börja strömma ljud till servern. Händelsen input_audio_buffer.append skickar ljudbitar kodade i base64.
Händelsestruktur
{
"type": "input_audio_buffer.append",
"audio": "SGVsbG8gV29ybGQ..."
}
Fältet audio innehåller råa ljuddata kodade i base64. Formatet måste matcha det som konfigurerats i session.update (som standard 16-bitars little-endian PCM vid 24000 Hz).
Spela in ljud i webbläsaren
Webbläsarens Web Audio API låter dig fånga mikrofonen och skicka data i realtid:
async function startCapture(ws) {
const stream = await navigator.mediaDevices.getUserMedia({
audio: {
sampleRate: 24000,
channelCount: 1,
echoCancellation: true,
noiseSuppression: true
}
});
const audioContext = new AudioContext({ sampleRate: 24000 });
const source = audioContext.createMediaStreamSource(stream);
const processor = audioContext.createScriptProcessor(4096, 1, 1);
processor.onaudioprocess = (event) => {
const inputData = event.inputBuffer.getChannelData(0);
const pcm16 = float32ToPCM16(inputData);
const base64 = arrayBufferToBase64(pcm16.buffer);
ws.send(JSON.stringify({
type: "input_audio_buffer.append",
audio: base64
}));
};
source.connect(processor);
processor.connect(audioContext.destination);
}
function float32ToPCM16(float32Array) {
const pcm16 = new Int16Array(float32Array.length);
for (let i = 0; i < float32Array.length; i++) {
const s = Math.max(-1, Math.min(1, float32Array[i]));
pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7FFF;
}
return pcm16;
}
function arrayBufferToBase64(buffer) {
const bytes = new Uint8Array(buffer);
let binary = "";
for (let i = 0; i < bytes.byteLength; i++) {
binary += String.fromCharCode(bytes[i]);
}
return btoa(binary);
}
Spela in ljud i Python
Med biblioteket pyaudio kan du fånga mikrofonen och skicka ljudbitarna:
import pyaudio
import base64
import json
RATE = 24000
CHUNK = 4096
FORMAT = pyaudio.paInt16
CHANNELS = 1
p = pyaudio.PyAudio()
stream = p.open(
format=FORMAT,
channels=CHANNELS,
rate=RATE,
input=True,
frames_per_buffer=CHUNK
)
async def send_audio(ws):
while True:
data = stream.read(CHUNK, exception_on_overflow=False)
audio_b64 = base64.b64encode(data).decode("utf-8")
await ws.send(json.dumps({
"type": "input_audio_buffer.append",
"audio": audio_b64
}))
Bitstorlek och frekvens
Bitstorleken påverkar latens och prestanda:
- Små bitar (1024 sampel / ~42 ms): minimal latens, men fler WebSocket-meddelanden
- Medelstora bitar (4096 sampel / ~170 ms): en bra avvägning
- Stora bitar (8192 sampel / ~341 ms): färre meddelanden, men märkbar latens
För en naturlig konversation bör du skicka en bit var 100:e till 200:e millisekund. Serverns VAD (Voice Activity Detection) samlar datan i en intern buffert och bearbetar den kontinuerligt.
Ekoutsläckning
Om din applikation spelar upp svars ljudet genom högtalare medan mikrofonen är på, behöver du ekoutsläckning. Utan detta skulle agenten höra sig själv tala och hamna i en konversationsloop med sig själv.
Dina alternativ:
- Använd Web Audio API:s alternativ
echoCancellationochnoiseSuppression - Stäng av mikrofonen medan agenten talar
- Använd ett headset för att isolera inmatning från utmatning
Viktiga punkter
input_audio_buffer.appendskickar ljudbitar kodade i base64- Dataformatet måste matcha sessionens konfiguration (som standard 16-bitars PCM)
- Skicka en bit var 100:e till 200:e millisekund för en bra balans mellan latens och prestanda
- Ljudinspelning i webbläsaren använder Web Audio API med konvertering från Float32 till PCM16
- Hantera ekoutsläckning för att undvika ljudloopar