Send lyd med input_audio_buffer.append
På denne side
Stream lyd til serveren
Når sessionen er konfigureret, kan du begynde at streame lyd til serveren. Hændelsen input_audio_buffer.append sender base64-kodede lydbidder.
Hændelsesstruktur
{
"type": "input_audio_buffer.append",
"audio": "SGVsbG8gV29ybGQ..."
}
Feltet audio indeholder rå lyddata kodet i base64. Formatet skal matche det, der er konfigureret i session.update (som standard 16-bit little-endian PCM ved 24000 Hz).
Optag lyd i browseren
Browserens Web Audio API giver dig mulighed for at optage fra mikrofonen og sende dataene i realtid:
async function startCapture(ws) {
const stream = await navigator.mediaDevices.getUserMedia({
audio: {
sampleRate: 24000,
channelCount: 1,
echoCancellation: true,
noiseSuppression: true
}
});
const audioContext = new AudioContext({ sampleRate: 24000 });
const source = audioContext.createMediaStreamSource(stream);
const processor = audioContext.createScriptProcessor(4096, 1, 1);
processor.onaudioprocess = (event) => {
const inputData = event.inputBuffer.getChannelData(0);
const pcm16 = float32ToPCM16(inputData);
const base64 = arrayBufferToBase64(pcm16.buffer);
ws.send(JSON.stringify({
type: "input_audio_buffer.append",
audio: base64
}));
};
source.connect(processor);
processor.connect(audioContext.destination);
}
function float32ToPCM16(float32Array) {
const pcm16 = new Int16Array(float32Array.length);
for (let i = 0; i < float32Array.length; i++) {
const s = Math.max(-1, Math.min(1, float32Array[i]));
pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7FFF;
}
return pcm16;
}
function arrayBufferToBase64(buffer) {
const bytes = new Uint8Array(buffer);
let binary = "";
for (let i = 0; i < bytes.byteLength; i++) {
binary += String.fromCharCode(bytes[i]);
}
return btoa(binary);
}
Optag lyd i Python
Med biblioteket pyaudio kan du optage fra mikrofonen og sende bidderne:
import pyaudio
import base64
import json
RATE = 24000
CHUNK = 4096
FORMAT = pyaudio.paInt16
CHANNELS = 1
p = pyaudio.PyAudio()
stream = p.open(
format=FORMAT,
channels=CHANNELS,
rate=RATE,
input=True,
frames_per_buffer=CHUNK
)
async def send_audio(ws):
while True:
data = stream.read(CHUNK, exception_on_overflow=False)
audio_b64 = base64.b64encode(data).decode("utf-8")
await ws.send(json.dumps({
"type": "input_audio_buffer.append",
"audio": audio_b64
}))
Biddestørrelse og frekvens
Biddestørrelsen påvirker ventetid og ydeevne:
- Små bidder (1024 samples / ~42 ms): Minimal ventetid, men flere WebSocket-beskeder
- Mellemstore bidder (4096 samples / ~170 ms): Et godt kompromis
- Store bidder (8192 samples / ~341 ms): Færre beskeder, men mærkbar ventetid
For en naturlig samtale skal du sende en bid hver 100 til 200 ms. Serverens VAD (Voice Activity Detection) samler dataene i en intern buffer og behandler dem løbende.
Ekkoafbrydelse
Hvis din app afspiller svarlyden gennem højttalere, mens mikrofonen er tændt, har du brug for ekkoafbrydelse. Uden dette vil agenten høre sig selv tale og kan ende i en samtaleløkke med sig selv.
Dine muligheder:
- Brug Web Audio API’s indstillinger for
echoCancellationognoiseSuppression - Slå mikrofonen fra, mens agenten taler
- Brug et headset til at isolere input fra output
Vigtige pointer
input_audio_buffer.appendsender base64-kodede lydbidder- Dataformatet skal matche sessionens konfiguration (som standard 16-bit PCM)
- Send en bid hver 100 til 200 ms for en god balance mellem ventetid og ydeevne
- Lydoptagelse i browseren bruger Web Audio API med en konvertering fra Float32 til PCM16
- Håndtér ekkoafbrydelse for at undgå lydløkker