Odosielanie zvuku pomocou input_audio_buffer.append
Na tejto strane
Streamovanie zvuku na server
Akonáhle je relácia nakonfigurovaná, môžeš začať streamovať zvuk na server. Udalosť input_audio_buffer.append odosiela časti zvuku zakódované v base64.
Štruktúra udalosti
{
"type": "input_audio_buffer.append",
"audio": "SGVsbG8gV29ybGQ..."
}
Pole audio obsahuje surové zvukové dáta zakódované v base64. Jeho formát musí zodpovedať formátu nakonfigurovanému v session.update (predvolene 16-bitové PCM s little-endian usporiadaním pri 24 000 Hz).
Záznam zvuku v prehliadači
Webové zvukové API (Web Audio API) v prehliadači ti umožňuje zachytiť mikrofón a odosielať dáta v reálnom čase:
async function startCapture(ws) {
const stream = await navigator.mediaDevices.getUserMedia({
audio: {
sampleRate: 24000,
channelCount: 1,
echoCancellation: true,
noiseSuppression: true
}
});
const audioContext = new AudioContext({ sampleRate: 24000 });
const source = audioContext.createMediaStreamSource(stream);
const processor = audioContext.createScriptProcessor(4096, 1, 1);
processor.onaudioprocess = (event) => {
const inputData = event.inputBuffer.getChannelData(0);
const pcm16 = float32ToPCM16(inputData);
const base64 = arrayBufferToBase64(pcm16.buffer);
ws.send(JSON.stringify({
type: "input_audio_buffer.append",
audio: base64
}));
};
source.connect(processor);
processor.connect(audioContext.destination);
}
function float32ToPCM16(float32Array) {
const pcm16 = new Int16Array(float32Array.length);
for (let i = 0; i < float32Array.length; i++) {
const s = Math.max(-1, Math.min(1, float32Array[i]));
pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7FFF;
}
return pcm16;
}
function arrayBufferToBase64(buffer) {
const bytes = new Uint8Array(buffer);
let binary = "";
for (let i = 0; i < bytes.byteLength; i++) {
binary += String.fromCharCode(bytes[i]);
}
return btoa(binary);
}
Záznam zvuku v Pythone
Pomocou knižnice pyaudio môžeš zachytiť zvuk z mikrofónu a odosielať ho po častiach:
import pyaudio
import base64
import json
RATE = 24000
CHUNK = 4096
FORMAT = pyaudio.paInt16
CHANNELS = 1
p = pyaudio.PyAudio()
stream = p.open(
format=FORMAT,
channels=CHANNELS,
rate=RATE,
input=True,
frames_per_buffer=CHUNK
)
async def send_audio(ws):
while True:
data = stream.read(CHUNK, exception_on_overflow=False)
audio_b64 = base64.b64encode(data).decode("utf-8")
await ws.send(json.dumps({
"type": "input_audio_buffer.append",
"audio": audio_b64
}))
Veľkosť časti a frekvencia odoslania
Veľkosť časti ovplyvňuje oneskorenie a výkon:
- Malé časti (1 024 vzoriek / ~42 ms): minimálne oneskorenie, ale viac správ WebSocket
- Stredné časti (4 096 vzoriek / ~170 ms): dobrý kompromis
- Veľké časti (8 192 vzoriek / ~341 ms): menej správ, ale citeľné oneskorenie
Pre prirodzenú konverzáciu odosielaj časť každých 100 až 200 ms. Serverový VAD (detekcia hlasovej aktivity) zhromažďuje dáta do interného bufferu a spracováva ich priebežne.
Potlačenie ozveny
Ak tvoja aplikácia prehráva odpoveďový zvuk cez reproduktory, zatiaľ čo je mikrofón aktívny, potrebuješ potlačenie ozveny. Bez neho by agent počul sám seba a mohol by sa dostať do slučky konverzácie so sebou samým.
Máš tieto možnosti:
- Použi možnosti
echoCancellationanoiseSuppressionvo Web Audio API - Stíš mikrofón, keď agent hovorí
- Použi náhlavnú súpravu na izoláciu vstupu od výstupu
Kľúčové poznatky
input_audio_buffer.appendodosiela časti zvuku zakódované v base64- Formát dát musí zodpovedať konfigurácii relácie (predvolene 16-bitové PCM)
- Pre dobrú rovnováhu medzi oneskorením a výkonom odosielaj časť každých 100 až 200 ms
- Záznam zvuku v prehliadači využíva Web Audio API s konverziou z Float32 na PCM16
- Rieš potlačenie ozveny, aby sa predišlo zvukovým slučkám