Fiksuoti ir išvalyti garso buferį
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 3 d. pagal xAI Voice API dokumentaciją:
input_audio_buffer.commitgalima naudoti tik tada, kaiturn_detection.typeyranull; veikiantserver_vadrežimu, serveris pats fiksuoja garso įrašą. Šaltinis: Voice API.
Garso buferio valdymas
Kai siunči garso duomenis naudodamas input_audio_buffer.append, jie kaupiasi serverio buferio atmintyje. Šiam buferiui valdyti skirtos dvi operacijos: commit – pateikti sukauptą turinį kaip naudotojo žinutę, ir clear – išvalyti jį neapdorojant.
input_audio_buffer.commit
Šis įvykis fiksuoja dabartinį garso buferio turinį kaip naudotojo žinutę. Jis privalomas rankiniu režimu (paspausk ir kalbėk), o VAD režimu įvyksta automatiškai:
{
"type": "input_audio_buffer.commit"
}
Gavęs fiksavimo komandą, serveris:
- Sukuria naują pokalbio elementą su sukauptu garso įrašu
- Siunčia
input_audio_buffer.committedįvykį patvirtinimui gauti - Siunčia
conversation.item.addedįvykį su nauju elementu - Pradeda transkribuoti garso įrašą (jei ši funkcija įjungta)
Serverio atsakas
{
"type": "input_audio_buffer.committed",
"item_id": "item_audio_001"
}
item_id leidžia vėliau pokalbio eigoje nurodyti šią žinutę.
Kada fiksuoti rankiniu būdu
- Paspausk ir kalbėk: naudotojas laiko mygtuką kalbėdamas ir paleidžia jį norėdamas išsiųsti
- Rankinis segmentavimas: kliento pusėje garso srautą skirstai į loginius segmentus
- Integracija su telefonija: gauni garso fragmentus iš PBX sistemos ir fiksuoji juos kiekvieno pokalbio etapo pabaigoje
// Paspausk ir kalbėk pavyzdys
talkButton.addEventListener("mousedown", () => {
isRecording = true;
startCapture();
});
talkButton.addEventListener("mouseup", () => {
isRecording = false;
stopCapture();
// Fiksuoti buferį
ws.send(JSON.stringify({
type: "input_audio_buffer.commit"
}));
// Prašyti atsakymo
ws.send(JSON.stringify({
type: "response.create"
}));
});
input_audio_buffer.clear
Šis įvykis išvalo garso buferį nesukuriant žinutės pokalbyje:
{
"type": "input_audio_buffer.clear"
}
Serveris tai patvirtina taip:
{
"type": "input_audio_buffer.cleared"
}
Kada valyti
- Atšaukimas: naudotojas paspaudžia „Atšaukti“ mygtuką kalbėdamas
- Pertraukimas: naudotojas pradeda kalbėti, bet kitas įvykis pertraukia pokalbio etapą
- Resetavimas: įvykus klaidai ar pasibaigus laikui, prieš pradedant iš naujo išvalyk buferį
- Foninis triukšmas: sistema aptinka, kad buferėje yra tik triukšmas, o ne kalba
cancelButton.addEventListener("click", () => {
stopCapture();
ws.send(JSON.stringify({
type: "input_audio_buffer.clear"
}));
showMessage("Recording canceled");
});
VAD režimas prieš rankinį režimą
Veikiant VAD režimu (server_vad), serveris visą ciklą valdo automatiškai:
- Aptinka kalbos pradžią (
speech_started) - Kaupia garso įrašą buferio atmintyje
- Aptinka kalbos pabaigą (
speech_stopped) - Automatiškai fiksuoja buferį
- Automatiškai pradeda generuoti atsakymą
Rankiniu režimu (turn_detection.type nustatytas į null), kiekvieną žingsnį atlieki pats, ir tai vienintelis režimas, kuriame galima naudoti input_audio_buffer.commit:
- Siunči garso duomenis naudodamas
append - Pats nusprendi, kada naudotojas baigė kalbėti
- Siunči
commit - Siunči
response.create
Palyginimas
| Aspektas | VAD režimas | Rankinis režimas |
|---|---|---|
| Kalbos aptikimas | Automatinis | Tavo nuožiūra |
| Buferio fiksavimas | Automatinis | Rankinis (commit) |
| Atsakymo užklausa | Automatinė | Rankinė (response.create) |
| Valdymas | Mažiau kontrolės | Pilna kontrolė |
| Sudėtingumas | Paprasta | Sudėtingiau |
| Naudojimo atvejai | Laisvas pokalbis | Paspausk ir kalbėk, IVR |
Svarbiausi punktai
input_audio_buffer.commitpateikia garso buferį kaip naudotojo žinutęinput_audio_buffer.clearišvalo buferį neapdorojant jo turinio- VAD režimu fiksavimas įvyksta automatiškai, aptikus kalbos pabaigą
- Rankiniu režimu (
turn_detection.typenustatytas įnull), privalai aiškiai siųsticommit, o tadaresponse.create;commitgalima naudoti tik šiame režime - Rankinis režimas tinka „paspausk ir kalbėk“ sąsajoms ir IVR telefonijos sistemoms