VAD: automatinis kalbos aptikimas
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 3 d., remiantis xAI Speech to Speech puslapiu ir Voice API nuoroda: pokalbio perėjimo aptikimas nustatomas naudojant
turn_detection.type("server_vad"arbanull) ir, pasirinktinai,turn_detection.idle_timeout_ms. Šaltiniai: Speech to Speech · Voice API.
Kaip veikia pokalbio perėjimo aptikimas
Garso pokalbio metu sistema turi žinoti, kada vartotojas pradeda kalbėti ir kada nustoja. Tai yra VAD (balso aktyvumo aptikimo) užduotis. xAI Voice Agent API suteikia serverio pusės VAD, vadinamą server_vad: serveris analizuoja garso srautą, aptinka kiekvienos frazės pabaigą ir pats inicijuoja atsakymą.
Du režimai, vienas laukas
Režimą pasirenki session.update objekte esančiame turn_detection lauke:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad" }
}
}
turn_detection.type | Kas nusprendžia, kada baigiasi ėjimas | Ką siunti |
|---|---|---|
"server_vad" | Serveris | input_audio_buffer.append, nieko daugiau |
null | Tu | input_audio_buffer.append, tada input_audio_buffer.commit ir response.create |
server_vad režimu serveris padalija ėjimus, fiksuoja garso įrašą ir pradeda generuoti atsakymą. Pertraukimai taip pat apdorojami automatiškai: xAI rekomenduoja šį režimą natūraliam pokalbiui, kai vartotojas nutraukia agentą jam bekalbant. Dokumentacijoje nėra jokių jautrumo ar tylos trukmės nustatymų: ėjimų skirstymas yra tik serverio reikalas.
VAD įvykiai
Naudojant server_vad, serveris praneša apie kiekvieną perėjimą:
input_audio_buffer.speech_started: VAD aptiko kalbos pradžią;input_audio_buffer.speech_stopped: jis aptiko kalbos pabaigą;input_audio_buffer.committed: garso įrašas užfiksuotas kaip vartotojo žinutė.
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
stopPlayback(); // vartotojas kalba: sustabdyk jau gautą agento garso atkūrimą
break;
case "input_audio_buffer.speech_stopped":
showThinking(); // aptikta kalbos pabaiga: artėja atsakymas
break;
}
});
Serverio pusėje pertraukimas vyksta automatiškai; kliento pusėje jau gautas garso įrašas būtų toliau atkuriamas, jei jo nesustabdytum. speech_started yra tinkamiausias momentas išvalyti atkūrimo eilę.
Paskatink tylų vartotoją: idle_timeout_ms
Vienintelis dokumentuotas VAD nustatymas idle_timeout_ms leidžia agentui pratęsti pokalbį, kai vartotojas netyla po atsakymo:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}
}
Jei pasibaigus atsakymui tiek laiko neaptinkama jokia kalba, serveris išsiunčia input_audio_buffer.timeout_triggered, užfiksuoja tylų vartotojo ėjimą ir sugeneruoja patikrinimo klausimą. Laikmatis iš naujo paleidžiamas po kiekvieno atsakymo, todėl jis suveiks kas idle_timeout_ms, kol vartotojas nieko nesakys. Pagal nutylėjimą jis išjungtas (null). Telefonų centriniuose komutatoriuose patikrinimas po kelių sekundžių neleidžia tylos trukti per ilgai; instrukcijose įrašyk frazę, kurią agentas turėtų naudoti tolesniam pokalbiui.
Rankinis režimas: turn_detection.type nustatytas į null
„Paspausk ir kalbėk“ sąsajai arba bet kada, kai pats nori nuspręsti, kada baigiasi ėjimas, nustatyk tipą į null:
{
"type": "session.update",
"session": {
"turn_detection": { "type": null }
}
}
Tada siunti garso duomenis naudodamas input_audio_buffer.append, o vartotojui atleidus mygtuką, siunti input_audio_buffer.commit, kad užfiksuotum ėjimą, ir response.create, kad paprašytum atsakymo. input_audio_buffer.commit galima naudoti tik rankiniu režimu. input_audio_buffer.clear išmeta išsiųstą, bet dar neužfiksuotą garso įrašą, o response.cancel sustabdo vykstantį atsakymą, nes rankiniu režimu pertraukimai nebėra automatiniai.
Pasirink savo režimą
- Laisvas pokalbis (asistentas, telefono komutatorius, kioskas):
server_vad, suidle_timeout_ms, jei reikia paskatinti tylius vartotojus. - Racija, diktavimas, labai triukšminga aplinka: rankinis režimas, kai ėjimo pabaiga priklauso nuo mygtuko paspaudimo, o foninis triukšmas nieko nebeinicijuoja.
Svarbiausi punktai
turn_detection.typegali būti"server_vad"(serveris skirsto ėjimus ir tvarko pertraukimus) arbanull(rankinis režimas)- xAI dokumentacijoje nėra jautrumo slenksčio ar tylos trukmės nustatymų derinimui
speech_started,speech_stoppedircommittedpraneša apie VAD perėjimusidle_timeout_mspaskatina tylų vartotoją, naudojantinput_audio_buffer.timeout_triggeredįvykį- Rankiniu režimu:
append, tadacommitirresponse.create