Siųsti garso įrašą naudojant input_audio_buffer.append
Šiame puslapyje
Garso srauto siuntimas į serverį
Kai sesija sukonfigūruota, gali pradėti siųsti garso srautą į serverį. Įvykis input_audio_buffer.append siunčia bazės 64 koduote užkoduotas garso dalis.
Įvykio struktūra
{
"type": "input_audio_buffer.append",
"audio": "SGVsbG8gV29ybGQ..."
}
Laukas audio turi neapdorotus garso duomenis, užkoduotus bazės 64 formatu. Jo formatas turi atitikti tą, kuris nustatytas session.update (pagal nutylėjimą – 16 bitų mažosios galios PCM, 24 000 Hz dažnio).
Garso fiksavimas naršyklėje
Naršyklės „Web Audio API“ leidžia fiksuoti mikrofono signalą ir siųsti duomenis realiuoju laiku:
async function startCapture(ws) {
const stream = await navigator.mediaDevices.getUserMedia({
audio: {
sampleRate: 24000,
channelCount: 1,
echoCancellation: true,
noiseSuppression: true
}
});
const audioContext = new AudioContext({ sampleRate: 24000 });
const source = audioContext.createMediaStreamSource(stream);
const processor = audioContext.createScriptProcessor(4096, 1, 1);
processor.onaudioprocess = (event) => {
const inputData = event.inputBuffer.getChannelData(0);
const pcm16 = float32ToPCM16(inputData);
const base64 = arrayBufferToBase64(pcm16.buffer);
ws.send(JSON.stringify({
type: "input_audio_buffer.append",
audio: base64
}));
};
source.connect(processor);
processor.connect(audioContext.destination);
}
function float32ToPCM16(float32Array) {
const pcm16 = new Int16Array(float32Array.length);
for (let i = 0; i < float32Array.length; i++) {
const s = Math.max(-1, Math.min(1, float32Array[i]));
pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7FFF;
}
return pcm16;
}
function arrayBufferToBase64(buffer) {
const bytes = new Uint8Array(buffer);
let binary = "";
for (let i = 0; i < bytes.byteLength; i++) {
binary += String.fromCharCode(bytes[i]);
}
return btoa(binary);
}
Garso fiksavimas naudojant Python
Naudodamas pyaudio biblioteką, gali fiksuoti mikrofono signalą ir siųsti duomenų dalis:
import pyaudio
import base64
import json
RATE = 24000
CHUNK = 4096
FORMAT = pyaudio.paInt16
CHANNELS = 1
p = pyaudio.PyAudio()
stream = p.open(
format=FORMAT,
channels=CHANNELS,
rate=RATE,
input=True,
frames_per_buffer=CHUNK
)
async def send_audio(ws):
while True:
data = stream.read(CHUNK, exception_on_overflow=False)
audio_b64 = base64.b64encode(data).decode("utf-8")
await ws.send(json.dumps({
"type": "input_audio_buffer.append",
"audio": audio_b64
}))
Dalies dydis ir siuntimo dažnis
Dalies dydis daro įtaką delsai ir našumui:
- Mažos dalys (1024 imtiniai / ~42 ms): minimali delsa, bet daugiau „WebSocket“ žinučių
- Vidutinės dalys (4096 imtiniai / ~170 ms): geras kompromisas
- Didelės dalys (8192 imtiniai / ~341 ms): mažiau žinučių, bet pastebima delsa
Norint natūralaus pokalbio, siųsk dalį kas 100–200 ms. Serverio VAD (balso aptikimas) renka duomenis į vidinį buferį ir juos nuolat apdoroja.
Aido slopinimas
Jei tavo programa groja atsakymo garso įrašą per garsiakalbius tuo metu, kai mikrofonas įjungtas, tau reikia aido slopinimo. Be jo, agentas girdėtų save kalbant ir galėtų įstrigti begaliniame pokalbio cikle pats su savimi.
Tavo pasirinkimai:
- Naudoti „Web Audio API“ parinktis
echoCancellationirnoiseSuppression - Išjungti mikrofoną, kai agentas kalba
- Naudoti ausines, kad atskirtum įvestį nuo išvesties
Svarbiausi punktai
input_audio_buffer.appendsiunčia bazės 64 koduote užkoduotas garso dalis- Duomenų formatas turi atitikti sesijos konfigūraciją (pagal nutylėjimą – 16 bitų PCM)
- Siųsk dalį kas 100–200 ms, kad pasiektum gerą delsos ir našumo pusiausvyrą
- Garso fiksavimas naršyklėje naudoja „Web Audio API“ su konvertavimu iš Float32 į PCM16
- Užtikrink aido slopinimą, kad išvengtum garso ciklų