Fiksē un notīri audio buferi
Šajā lapā
Atjaunināts 2026. gada 3. novembrī, pamatojoties uz xAI Voice API atsauces dokumentāciju:
input_audio_buffer.commitir pieejams tikai tad, jaturn_detection.typeirnull; režīmāserver_vadserveris pats fiksē audio. Avots: Voice API.
Audio bufera pārvaldība
Kad nosūti audio ar input_audio_buffer.append, dati uzkrājas buferī serverī. Šo buferi kontrolē divas operācijas: commit, lai nosūtītu tā saturu kā lietotāja ziņojumu, un clear, lai to iztukšotu bez apstrādes.
input_audio_buffer.commit
Šis notikums fiksē pašreizējo audio bufera saturu kā lietotāja ziņojumu. Tas ir obligāts manuālajā režīmā (nospied-un-runā) un automātisks VAD režīmā:
{
"type": "input_audio_buffer.commit"
}
Kad serveris saņem fiksācijas pieprasījumu, tas:
- Izveido jaunu sarunas elementu ar uzkrāto audio
- Nosūta notikumu
input_audio_buffer.committed, lai to apstiprinātu - Nosūta notikumu
conversation.item.addedar jauno elementu - Sāk audio transkribēšanu (ja tā ir iespējota)
Servera atbilde
{
"type": "input_audio_buffer.committed",
"item_id": "item_audio_001"
}
item_id ļauj vēlāk sarunā atsaukties uz šo ziņojumu.
Kad veikt manuālu fiksāciju
- Nospied-un-runā: lietotājs tur nospiestu pogu runāšanas laikā un atlaiž to, lai nosūtītu ierakstu
- Manuāla segmentācija: tu klientpusē sadali audio plūsmu loģiskos segmentos
- Telefonu integrācija: tu saņem audio gabalus no PBX un fiksē tos katra sarunas posma beigās
// Nospied-un-runā piemērs
talkButton.addEventListener("mousedown", () => {
isRecording = true;
startCapture();
});
talkButton.addEventListener("mouseup", () => {
isRecording = false;
stopCapture();
// Fiksē buferi
ws.send(JSON.stringify({
type: "input_audio_buffer.commit"
}));
// Pieprasi atbildi
ws.send(JSON.stringify({
type: "response.create"
}));
});
input_audio_buffer.clear
Šis notikums iztukšo audio buferi, neizveidojot ziņojumu sarunā:
{
"type": "input_audio_buffer.clear"
}
Serveris to apstiprina ar:
{
"type": "input_audio_buffer.cleared"
}
Kad notīrīt buferi
- Atcelšana: lietotājs runāšanas laikā nospiež pogu “Atcelt”
- Pārtraukums: lietotājs sāk runāt, bet cits notikums pārtrauc sarunas posmu
- Atiestatīšana: pēc kļūdas vai noilguma notīri buferi pirms sāc no jauna
- Fona troksnis: sistēma konstatē, ka buferī ir tikai troksnis, nevis runa
cancelButton.addEventListener("click", () => {
stopCapture();
ws.send(JSON.stringify({
type: "input_audio_buffer.clear"
}));
showMessage("Ierakstīšana atcelta");
});
VAD režīms pret manuālo režīmu
VAD režīmā (server_vad) serveris automātiski veic visu ciklu:
- Tas konstatē runas sākumu (
speech_started) - Tas uzkrāj audio buferī
- Tas konstatē runas beigas (
speech_stopped) - Tas automātiski fiksē buferi
- Tas automātiski sāk ģenerēt atbildi
Manuālajā režīmā (turn_detection.type iestatīts uz null) tu pats veic katru soli, un tas ir vienīgais režīms, kurā ir pieejams input_audio_buffer.commit:
- Tu nosūti audio ar
append - Tu pats lemj, kad lietotājs ir beidzis runāt
- Tu nosūti
commit - Tu nosūti
response.create
Salīdzinājums
| Aspekts | VAD režīms | Manuālais režīms |
|---|---|---|
| Runas noteikšana | Automātiska | Tava ziņā |
| Bufera fiksācija | Automātiska | Manuāla (commit) |
| Atbildes pieprasījums | Automātisks | Manuāls (response.create) |
| Kontrole | Mazāka kontrole | Pilna kontrole |
| Sarežģītība | Vienkāršs | Sarežģītāks |
| Lietošanas gadījumi | Brīva saruna | Nospied-un-runā, IVR |
Galvenās atziņas
input_audio_buffer.commitnosūta audio buferi kā lietotāja ziņojumuinput_audio_buffer.cleariztukšo buferi bez tā apstrādes- VAD režīmā fiksācija notiek automātiski, tiklīdz tiek konstatētas runas beigas
- Manuālajā režīmā (
turn_detection.typeiestatīts uznull) tev ir eksplicīti jānosūtacommitun pēc tamresponse.create;commitir pieejams tikai šajā režīmā - Manuālais režīms ir piemērots saskarnēm ar nospied-un-runā funkciju un IVR tālruņu sistēmām