Saada heli sisends puhvrisse käsuga input_audio_buffer.append
Sellel lehel
Heli voogedastus serverisse
Kui seanss on konfigureeritud, saad alustada heli voogedastust serverisse. Sündmus input_audio_buffer.append saadab base64-kodeeritud helilõike.
Sündmuse struktuur
{
"type": "input_audio_buffer.append",
"audio": "SGVsbG8gV29ybGQ..."
}
Väli audio sisaldab toorest heliandmeid, mis on kodeeritud base64-formaati. Selle formaat peab vastama sellele, mis on määratud session.update käigus (vaikimisi 16-bitine little-endian PCM sagedusega 24 000 Hz).
Heli salvestamine brauseris
Brauseri Web Audio API võimaldab haarata mikrofoni ja saata andmeid reaalajas:
async function startCapture(ws) {
const stream = await navigator.mediaDevices.getUserMedia({
audio: {
sampleRate: 24000,
channelCount: 1,
echoCancellation: true,
noiseSuppression: true
}
});
const audioContext = new AudioContext({ sampleRate: 24000 });
const source = audioContext.createMediaStreamSource(stream);
const processor = audioContext.createScriptProcessor(4096, 1, 1);
processor.onaudioprocess = (event) => {
const inputData = event.inputBuffer.getChannelData(0);
const pcm16 = float32ToPCM16(inputData);
const base64 = arrayBufferToBase64(pcm16.buffer);
ws.send(JSON.stringify({
type: "input_audio_buffer.append",
audio: base64
}));
};
source.connect(processor);
processor.connect(audioContext.destination);
}
function float32ToPCM16(float32Array) {
const pcm16 = new Int16Array(float32Array.length);
for (let i = 0; i < float32Array.length; i++) {
const s = Math.max(-1, Math.min(1, float32Array[i]));
pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7FFF;
}
return pcm16;
}
function arrayBufferToBase64(buffer) {
const bytes = new Uint8Array(buffer);
let binary = "";
for (let i = 0; i < bytes.byteLength; i++) {
binary += String.fromCharCode(bytes[i]);
}
return btoa(binary);
}
Heli salvestamine Pythonis
Teegi pyaudio abil saad haarata mikrofoni ja saata helilõike:
import pyaudio
import base64
import json
RATE = 24000
CHUNK = 4096
FORMAT = pyaudio.paInt16
CHANNELS = 1
p = pyaudio.PyAudio()
stream = p.open(
format=FORMAT,
channels=CHANNELS,
rate=RATE,
input=True,
frames_per_buffer=CHUNK
)
async def send_audio(ws):
while True:
data = stream.read(CHUNK, exception_on_overflow=False)
audio_b64 = base64.b64encode(data).decode("utf-8")
await ws.send(json.dumps({
"type": "input_audio_buffer.append",
"audio": audio_b64
}))
Lõike suurus ja sagedus
Lõike suurus mõjutab latentsust ja jõudlust:
- Väikesed lõigud (1024 proovi / ~42 ms): minimaalne latentsus, kuid rohkem WebSocketi sõnumeid
- Keskmised lõigud (4096 proovi / ~170 ms): hea kompromiss
- Suured lõigud (8192 proovi / ~341 ms): vähem sõnumeid, kuid märgatav latentsus
Loomuliku vestluse tagamiseks saada lõik iga 100–200 ms järel. Serveri VAD (hääleaktiivsuse tuvastus) kogub andmed sisemisse puhvrisse ja töötleb neid pidevalt.
Kaja summutamine
Kui sinu rakendus esitab vastusheli kõlaritest samal ajal, kui mikrofon on sisse lülitatud, on vaja kaja summutamist. Ilma selleta kuuleks agent iseennast rääkimas ja võib sattuda enda kanssa lõputusse vestlusringisse.
Sinu valikud:
- Kasuta Web Audio API suvandeid
echoCancellationjanoiseSuppression - Vaigista mikrofon ajal, kui agent räägib
- Kasuta peakomplekti, et eraldada sisend väljundist
Peamised punktid
input_audio_buffer.appendsaadab base64-kodeeritud helilõike- Andmeformaadid peavad vastama seansi konfiguratsioonile (vaikimisi 16-bitine PCM)
- Hea tasakaalu saavutamiseks latentsuse ja jõudluse vahel saada lõik iga 100–200 ms järel
- Brauseri heli salvestamine kasutab Web Audio API-d koos teisendusega Float32-st PCM16-ks
- Vältimaks helisilmuseid, lahenda kaja summutamine