Lähetä ääntä input_audio_buffer.append-komennolla
Tällä sivulla
Äänen suoratoisto palvelimelle
Kun istunto on määritetty, voit aloittaa äänen suoratoiston palvelimelle. input_audio_buffer.append-tapahtuma lähettää base64-koodattuja äänipaloja.
Tapahtuman rakenne
{
"type": "input_audio_buffer.append",
"audio": "SGVsbG8gV29ybGQ..."
}
audio-kenttä sisältää raakaa äänidataa base64-koodattuna. Sen formaatin on vastattava session.update-komennolla määritettyä asetusta (oletuksena 16-bittinen little-endian PCM taajuudella 24000 Hz).
Äänen kaappaus selaimessa
Selaimen Web Audio API:n avulla voit kaapata mikrofonin äänen ja lähettää datan reaaliajassa:
async function startCapture(ws) {
const stream = await navigator.mediaDevices.getUserMedia({
audio: {
sampleRate: 24000,
channelCount: 1,
echoCancellation: true,
noiseSuppression: true
}
});
const audioContext = new AudioContext({ sampleRate: 24000 });
const source = audioContext.createMediaStreamSource(stream);
const processor = audioContext.createScriptProcessor(4096, 1, 1);
processor.onaudioprocess = (event) => {
const inputData = event.inputBuffer.getChannelData(0);
const pcm16 = float32ToPCM16(inputData);
const base64 = arrayBufferToBase64(pcm16.buffer);
ws.send(JSON.stringify({
type: "input_audio_buffer.append",
audio: base64
}));
};
source.connect(processor);
processor.connect(audioContext.destination);
}
function float32ToPCM16(float32Array) {
const pcm16 = new Int16Array(float32Array.length);
for (let i = 0; i < float32Array.length; i++) {
const s = Math.max(-1, Math.min(1, float32Array[i]));
pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7FFF;
}
return pcm16;
}
function arrayBufferToBase64(buffer) {
const bytes = new Uint8Array(buffer);
let binary = "";
for (let i = 0; i < bytes.byteLength; i++) {
binary += String.fromCharCode(bytes[i]);
}
return btoa(binary);
}
Äänen kaappaus Pythonilla
pyaudio-kirjaston avulla voit kaapata mikrofonin äänen ja lähettää datapalat:
import pyaudio
import base64
import json
RATE = 24000
CHUNK = 4096
FORMAT = pyaudio.paInt16
CHANNELS = 1
p = pyaudio.PyAudio()
stream = p.open(
format=FORMAT,
channels=CHANNELS,
rate=RATE,
input=True,
frames_per_buffer=CHUNK
)
async def send_audio(ws):
while True:
data = stream.read(CHUNK, exception_on_overflow=False)
audio_b64 = base64.b64encode(data).decode("utf-8")
await ws.send(json.dumps({
"type": "input_audio_buffer.append",
"audio": audio_b64
}))
Palan koko ja lähetystiheys
Palan koko vaikuttaa viiveeseen ja suorituskykyyn:
- Pienet palat (1024 näytettä / ~42 ms): minimaalinen viive, mutta enemmän WebSocket-viestejä
- Keskikokoiset palat (4096 näytettä / ~170 ms): hyvä kompromissi
- Suuret palat (8192 näytettä / ~341 ms): vähemmän viestejä, mutta huomattava viive
Luontevaa keskustelua varten lähetä pala 100–200 ms välein. Palvelimen VAD kerää datan sisäiseen puskuriin ja käsittelee sitä jatkuvasti.
Kaiunvaimennus
Jos sovelluksesi toistaa vastausäänen kaiuttimista mikrofonin ollessa päällä, tarvitset kaiunvaimennusta. Ilman sitä agentti kuulisi itsensä puhumisen ja voisi jäädä silmukkaan keskustelemaan itsensä kanssa.
Vaihtoehtosi:
- Käytä Web Audio API:n
echoCancellation- janoiseSuppression-asetuksia - Mykistä mikrofoni agentin puhuessa
- Käytä kuulokkeita eristääksesi syötteen tulosteesta
Keskeiset asiat
input_audio_buffer.appendlähettää base64-koodattuja äänipaloja- Dataformaatin on vastattava istunnon määritystä (oletuksena 16-bittinen PCM)
- Lähetä pala 100–200 ms välein saavuttaaksesi hyvän tasapainon viiveen ja suorituskyvyn välillä
- Selaimen äänenkaappaus käyttää Web Audio API:ta Float32–PCM16-muunnoksella
- Huomioi kaiunvaimennus välttääksesi äänisilmukat