VAD: automātiska runas noteikšana
Šajā lapā
Atjaunināts 2026. gada 3. novembrī, pamatojoties uz xAI Speech to Speech lapu un Voice API atsauces dokumentāciju: sarunu maiņas noteikšana tiek konfigurēta, izmantojot
turn_detection.type("server_vad"vainull) un, pēc izvēles,turn_detection.idle_timeout_ms. Avoti: Speech to Speech · Voice API.
Kā darbojas sarunu maiņas noteikšana
Balss sarunā sistēmai ir jāzina, kad lietotājs sāk runāt un kad viņš apklust. Tieši to nodrošina VAD (balss aktivitātes noteikšana). xAI Voice Agent API piedāvā servera puses VAD – server_vad: serveris analizē audio plūsmu, nosaka katra teikuma beigas un pats ierosina atbildi.
Divi režīmi, viens lauks
Režīmu izvēlies session.update objekta turn_detection laukā:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad" }
}
}
turn_detection.type | Kas nosaka, kad saruna beidzas | Ko tu sūti |
|---|---|---|
"server_vad" | Serveris | input_audio_buffer.append, neko citu |
null | Tu | input_audio_buffer.append, tad input_audio_buffer.commit un response.create |
Režīmā server_vad serveris sadala sarunas, fiksē audio un uzsāk atbildi. Arī pārtraukumi tiek apstrādāti automātiski: xAI iesaka šo režīmu dabiskai sarunu maiņai, kad lietotājs pārtrauc aģentu teikuma vidū. Dokumentācijā gan nav piedāvāti jutīguma vai klusuma ilguma iestatījumi: teikumu sadalīšana ir servera ziņā.
VAD notikumi
Izmantojot server_vad, serveris ziņo par katru pāreju:
input_audio_buffer.speech_started: VAD noteica runas sākumu;input_audio_buffer.speech_stopped: tas noteica runas beigas;input_audio_buffer.committed: audio tika fiksēts kā lietotāja ziņojums.
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
stopPlayback(); // lietotājs runā: apturi jau saņemto aģenta audio
break;
case "input_audio_buffer.speech_stopped":
showThinking(); // noteiktas runas beigas: drīz būs atbilde
break;
}
});
Servera pusē pārtraukums notiek automātiski; klienta pusē audio, ko jau esi saņēmis, turpinātu skanēt, ja to neapturētu. speech_started ir īstais brīdis, lai iztukšotu atskaņošanas rindu.
Uzrunā klusu lietotāju: idle_timeout_ms
Vienīgais dokumentētais VAD iestatījums idle_timeout_ms liek aģentam atsākt sarunu, kad lietotājs pēc atbildes paliek kluss:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}
}
Ja šajā laikā pēc atbildes beigām netiek noteikta runa, serveris ģenerē notikumu input_audio_buffer.timeout_triggered, fiksē klusu lietotāja sarunu un ģenerē pārbaudes jautājumu. Taimeris tiek atiestatīts pēc katras atbildes, tāpēc tas atkārtoti nostrādā ik pēc idle_timeout_ms, kamēr lietotājs klusē. Pēc noklusējuma tas ir izslēgts (null). Telefonu centrālē pārbaudes jautājums pēc dažām sekundēm novērš ieilgušu klusumu; norādījumos ieraksti frāzi, ko aģentam šādā brīdī lietot.
Manuālais režīms: turn_detection.type iestatīts uz null
Push-to-talk saskarnei vai jebkurā gadījumā, kad vēlies pats lemt, kad saruna beidzas, iestati tipu uz null:
{
"type": "session.update",
"session": {
"turn_detection": { "type": null }
}
}
Tad tu sūti audio ar input_audio_buffer.append un, kad lietotājs atlaiž pogu, nosūti input_audio_buffer.commit, lai fiksētu sarunu, un response.create, lai pieprasītu atbildi. input_audio_buffer.commit ir pieejams tikai manuālajā režīmā. input_audio_buffer.clear dzēš nosūtīto, bet vēl nefiksēto audio, bet response.cancel aptur notiekošo atbildi, jo manuālajā režīmā pārtraukumi vairs nav automātiski.
Izvēlies savu režīmu
- Brīva saruna (palīgs, telefoncentrāle, kiosks):
server_vad, aridle_timeout_ms, lai vajadzības gadījumā uzrunātu klusus lietotājus. - Rācija, diktēšana, ļoti trokšņaina vide: manuālais režīms, kur sarunas beigas nosaka pogas nospiešana un fona trokšņi neko neierosina.
Galvenās atziņas
turn_detection.typeir vai nu"server_vad"(serveris sadala sarunas un apstrādā pārtraukumus), vainull(manuālais režīms)- xAI dokumentācijā nav jutīguma sliekšņa vai klusuma ilguma iestatījumu pielāgošanai
speech_started,speech_stoppeduncommittedziņo par VAD pārejāmidle_timeout_msuzrunā klusu lietotāju, izmantojot notikumuinput_audio_buffer.timeout_triggered- Manuālajā režīmā:
append, tadcommitunresponse.create