VAD: kõne automaatne tuvastamine
Sellel lehel
Uuendatud 3. novembril 2026, tuginedes xAI Speech to Speech lehele ja Voice API referentsile: pöörde tuvastamine määratakse väljaga
turn_detection.type("server_vad"võinull) ja valikuliseltturn_detection.idle_timeout_ms. Allikad: Speech to Speech · Voice API.
Kuidas pöörde tuvastamine toimib
Häälsuhtluses peab süsteem teadma, millal kasutaja rääkima hakkab ja millal ta lõpetab. Selle eest vastutab VAD (hääleaktiivsuse tuvastamine). xAI Voice Agent API pakub serveripoolset VAD-i ehk server_vad: server analüüsib helivoogu, tuvastab iga ütluse lõpu ja käivitab ise vastuse.
Kaks režiimi, üks väli
Valid režiimi session.update objekti sees olevas turn_detection väljas:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad" }
}
}
turn_detection.type | Kes otsustab, millal pööre lõpeb | Mida sa saadad |
|---|---|---|
"server_vad" | Server | input_audio_buffer.append, mitte midagi muud |
null | Sina | input_audio_buffer.append, seejärel input_audio_buffer.commit ja response.create |
Režiimis server_vad jagab server pöörded, kinnitab heli ja käivitab vastuse. Katkestusi käsitletakse samuti automaatselt: xAI soovitab seda režiimi loomulikuks vestlusvooks, kui kasutaja katkestab agenti lause keskel. Dokumentatsioon ei paku siiski tundlikkuse ega vaikuse kestuse seadistamist: pöörete jagamine on serveri asi.
VAD-i sündmused
Režiimis server_vad teatab server igast olekumuutusest:
input_audio_buffer.speech_started: VAD tuvastas kõne alguse;input_audio_buffer.speech_stopped: see tuvastas kõne lõpu;input_audio_buffer.committed: heli kinnitati kasutaja sõnumina.
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
stopPlayback(); // kasutaja räägib: peata juba vastuvõetud agentide heli
break;
case "input_audio_buffer.speech_stopped":
showThinking(); // kõne lõpp tuvastatud: vastus on tulemas
break;
}
});
Serveripoolne katkestamine on automaatne; kliendipoolses osas jätkuks juba vastuvõetud heli esitamist, kui sa seda ei peataks. speech_started on õige hetk oma taasesitusjärjekorra tühjendamiseks.
Vaikiva kasutaja ergutamine: idle_timeout_ms
Ainus dokumenteeritud VAD-i seade, idle_timeout_ms, paneb agenti vestlust jätkama, kui kasutaja jääb pärast vastust vaikseks:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}
}
Kui pärast vastuse lõppu ei tuvastata kõne nii kaua, edastab server sündmuse input_audio_buffer.timeout_triggered, kinnitab vaikiva kasutaja pöörde ja genereerib kontrollküsimuse. Taimer lähtestub pärast iga vastust, nii et see käivitub uuesti iga idle_timeout_ms järel seni, kuni kasutaja midagi ei ütle. Vaikimisi on see välja lülitatud (null). Telefonikeskuses hoiab mõne sekundi järel tehtav kontrollküsimus ära liiga pikad vaikuspausid; kirjuta agentile juhendisse fraas, mida ta sellisel juhul kasutama peaks.
Manuaalne režiim: turn_detection.type väärtusega null
Push-to-talk liidese jaoks või igal juhul, kui soovid ise otsustada, millal pööre lõpeb, määra tüübiks null:
{
"type": "session.update",
"session": {
"turn_detection": { "type": null }
}
}
Seejärel saadad heli käsuga input_audio_buffer.append ja kui kasutaja nupu vabastab, saadad input_audio_buffer.commit pöörde kinnitamiseks ning response.create vastuse taotlemiseks. input_audio_buffer.commit on saadaval ainult manuaalses režiimis. input_audio_buffer.clear kustutab saadetud, kuid veel kinnitamata heli ja response.cancel peatab käimasoleva vastuse, kuna katkestamine pole manuaalses režiimis enam automaatne.
Vali oma režiim
- Vaba vestlus (assistent, telefonikeskus, kioskk):
server_vad, vajadusel koosidle_timeout_ms-ga vaikivate kasutajate ergutamiseks - Raadiojaam, dikteerimine, väga mürarikkad keskkonnad: manuaalne režiim, kus pöörde lõpp järgib nupuvajutust ja taustamüra ei käivita midagi
Peamised punktid
turn_detection.typeon kas"server_vad"(server jagab pöörded ja haldab katkestusi) võinull(manuaalne režiim)- xAI dokumentatsioon ei paku tundlikkuse lävendit ega vaikuse kestust häälestamiseks
speech_started,speech_stoppedjacommittedteavitavad VAD-i olekumuutustestidle_timeout_msergutab vaikivat kasutajat sündmuseinput_audio_buffer.timeout_triggeredkaudu- Manuaalses režiimis:
append, seejärelcommitjaresponse.create