Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

VAD: automatinis kalbos aptikimas

Paskaita 6 iš 16 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. Kaip veikia pokalbio perėjimo aptikimas
  2. Du režimai, vienas laukas
  3. VAD įvykiai
  4. Paskatink tylų vartotoją: idle_timeout_ms
  5. Rankinis režimas: turn_detection.type nustatytas į null
  6. Pasirink savo režimą
  7. Svarbiausi punktai

Atnaujinta 2026 m. lapkričio 3 d., remiantis xAI Speech to Speech puslapiu ir Voice API nuoroda: pokalbio perėjimo aptikimas nustatomas naudojant turn_detection.type ("server_vad" arba null) ir, pasirinktinai, turn_detection.idle_timeout_ms. Šaltiniai: Speech to Speech · Voice API.

Kaip veikia pokalbio perėjimo aptikimas

Garso pokalbio metu sistema turi žinoti, kada vartotojas pradeda kalbėti ir kada nustoja. Tai yra VAD (balso aktyvumo aptikimo) užduotis. xAI Voice Agent API suteikia serverio pusės VAD, vadinamą server_vad: serveris analizuoja garso srautą, aptinka kiekvienos frazės pabaigą ir pats inicijuoja atsakymą.

Du režimai, vienas laukas

Režimą pasirenki session.update objekte esančiame turn_detection lauke:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad" }
  }
}
turn_detection.typeKas nusprendžia, kada baigiasi ėjimasKą siunti
"server_vad"Serverisinput_audio_buffer.append, nieko daugiau
nullTuinput_audio_buffer.append, tada input_audio_buffer.commit ir response.create

server_vad režimu serveris padalija ėjimus, fiksuoja garso įrašą ir pradeda generuoti atsakymą. Pertraukimai taip pat apdorojami automatiškai: xAI rekomenduoja šį režimą natūraliam pokalbiui, kai vartotojas nutraukia agentą jam bekalbant. Dokumentacijoje nėra jokių jautrumo ar tylos trukmės nustatymų: ėjimų skirstymas yra tik serverio reikalas.

VAD įvykiai

Naudojant server_vad, serveris praneša apie kiekvieną perėjimą:

  • input_audio_buffer.speech_started: VAD aptiko kalbos pradžią;
  • input_audio_buffer.speech_stopped: jis aptiko kalbos pabaigą;
  • input_audio_buffer.committed: garso įrašas užfiksuotas kaip vartotojo žinutė.
ws.on("message", (data) => {
  const event = JSON.parse(data);
  switch (event.type) {
    case "input_audio_buffer.speech_started":
      stopPlayback();       // vartotojas kalba: sustabdyk jau gautą agento garso atkūrimą
      break;
    case "input_audio_buffer.speech_stopped":
      showThinking();       // aptikta kalbos pabaiga: artėja atsakymas
      break;
  }
});

Serverio pusėje pertraukimas vyksta automatiškai; kliento pusėje jau gautas garso įrašas būtų toliau atkuriamas, jei jo nesustabdytum. speech_started yra tinkamiausias momentas išvalyti atkūrimo eilę.

Paskatink tylų vartotoją: idle_timeout_ms

Vienintelis dokumentuotas VAD nustatymas idle_timeout_ms leidžia agentui pratęsti pokalbį, kai vartotojas netyla po atsakymo:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
  }
}

Jei pasibaigus atsakymui tiek laiko neaptinkama jokia kalba, serveris išsiunčia input_audio_buffer.timeout_triggered, užfiksuoja tylų vartotojo ėjimą ir sugeneruoja patikrinimo klausimą. Laikmatis iš naujo paleidžiamas po kiekvieno atsakymo, todėl jis suveiks kas idle_timeout_ms, kol vartotojas nieko nesakys. Pagal nutylėjimą jis išjungtas (null). Telefonų centriniuose komutatoriuose patikrinimas po kelių sekundžių neleidžia tylos trukti per ilgai; instrukcijose įrašyk frazę, kurią agentas turėtų naudoti tolesniam pokalbiui.

Rankinis režimas: turn_detection.type nustatytas į null

„Paspausk ir kalbėk“ sąsajai arba bet kada, kai pats nori nuspręsti, kada baigiasi ėjimas, nustatyk tipą į null:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": null }
  }
}

Tada siunti garso duomenis naudodamas input_audio_buffer.append, o vartotojui atleidus mygtuką, siunti input_audio_buffer.commit, kad užfiksuotum ėjimą, ir response.create, kad paprašytum atsakymo. input_audio_buffer.commit galima naudoti tik rankiniu režimu. input_audio_buffer.clear išmeta išsiųstą, bet dar neužfiksuotą garso įrašą, o response.cancel sustabdo vykstantį atsakymą, nes rankiniu režimu pertraukimai nebėra automatiniai.

Pasirink savo režimą

  • Laisvas pokalbis (asistentas, telefono komutatorius, kioskas): server_vad, su idle_timeout_ms, jei reikia paskatinti tylius vartotojus.
  • Racija, diktavimas, labai triukšminga aplinka: rankinis režimas, kai ėjimo pabaiga priklauso nuo mygtuko paspaudimo, o foninis triukšmas nieko nebeinicijuoja.

Svarbiausi punktai

  • turn_detection.type gali būti "server_vad" (serveris skirsto ėjimus ir tvarko pertraukimus) arba null (rankinis režimas)
  • xAI dokumentacijoje nėra jautrumo slenksčio ar tylos trukmės nustatymų derinimui
  • speech_started, speech_stopped ir committed praneša apie VAD perėjimus
  • idle_timeout_ms paskatina tylų vartotoją, naudojant input_audio_buffer.timeout_triggered įvykį
  • Rankiniu režimu: append, tada commit ir response.create