Lähe põhisisu juurde
Eesti— Vali keel
Menüü

VAD: kõne automaatne tuvastamine

Õppetund 6 / 16 Värskendatud 3. november 2026 Arendajatele
Sellel lehel
  1. Kuidas pöörde tuvastamine toimib
  2. Kaks režiimi, üks väli
  3. VAD-i sündmused
  4. Vaikiva kasutaja ergutamine: idle_timeout_ms
  5. Manuaalne režiim: turn_detection.type väärtusega null
  6. Vali oma režiim
  7. Peamised punktid

Uuendatud 3. novembril 2026, tuginedes xAI Speech to Speech lehele ja Voice API referentsile: pöörde tuvastamine määratakse väljaga turn_detection.type ("server_vad" või null) ja valikuliselt turn_detection.idle_timeout_ms. Allikad: Speech to Speech · Voice API.

Kuidas pöörde tuvastamine toimib

Häälsuhtluses peab süsteem teadma, millal kasutaja rääkima hakkab ja millal ta lõpetab. Selle eest vastutab VAD (hääleaktiivsuse tuvastamine). xAI Voice Agent API pakub serveripoolset VAD-i ehk server_vad: server analüüsib helivoogu, tuvastab iga ütluse lõpu ja käivitab ise vastuse.

Kaks režiimi, üks väli

Valid režiimi session.update objekti sees olevas turn_detection väljas:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad" }
  }
}
turn_detection.typeKes otsustab, millal pööre lõpebMida sa saadad
"server_vad"Serverinput_audio_buffer.append, mitte midagi muud
nullSinainput_audio_buffer.append, seejärel input_audio_buffer.commit ja response.create

Režiimis server_vad jagab server pöörded, kinnitab heli ja käivitab vastuse. Katkestusi käsitletakse samuti automaatselt: xAI soovitab seda režiimi loomulikuks vestlusvooks, kui kasutaja katkestab agenti lause keskel. Dokumentatsioon ei paku siiski tundlikkuse ega vaikuse kestuse seadistamist: pöörete jagamine on serveri asi.

VAD-i sündmused

Režiimis server_vad teatab server igast olekumuutusest:

  • input_audio_buffer.speech_started: VAD tuvastas kõne alguse;
  • input_audio_buffer.speech_stopped: see tuvastas kõne lõpu;
  • input_audio_buffer.committed: heli kinnitati kasutaja sõnumina.
ws.on("message", (data) => {
  const event = JSON.parse(data);
  switch (event.type) {
    case "input_audio_buffer.speech_started":
      stopPlayback();       // kasutaja räägib: peata juba vastuvõetud agentide heli
      break;
    case "input_audio_buffer.speech_stopped":
      showThinking();       // kõne lõpp tuvastatud: vastus on tulemas
      break;
  }
});

Serveripoolne katkestamine on automaatne; kliendipoolses osas jätkuks juba vastuvõetud heli esitamist, kui sa seda ei peataks. speech_started on õige hetk oma taasesitusjärjekorra tühjendamiseks.

Vaikiva kasutaja ergutamine: idle_timeout_ms

Ainus dokumenteeritud VAD-i seade, idle_timeout_ms, paneb agenti vestlust jätkama, kui kasutaja jääb pärast vastust vaikseks:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
  }
}

Kui pärast vastuse lõppu ei tuvastata kõne nii kaua, edastab server sündmuse input_audio_buffer.timeout_triggered, kinnitab vaikiva kasutaja pöörde ja genereerib kontrollküsimuse. Taimer lähtestub pärast iga vastust, nii et see käivitub uuesti iga idle_timeout_ms järel seni, kuni kasutaja midagi ei ütle. Vaikimisi on see välja lülitatud (null). Telefonikeskuses hoiab mõne sekundi järel tehtav kontrollküsimus ära liiga pikad vaikuspausid; kirjuta agentile juhendisse fraas, mida ta sellisel juhul kasutama peaks.

Manuaalne režiim: turn_detection.type väärtusega null

Push-to-talk liidese jaoks või igal juhul, kui soovid ise otsustada, millal pööre lõpeb, määra tüübiks null:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": null }
  }
}

Seejärel saadad heli käsuga input_audio_buffer.append ja kui kasutaja nupu vabastab, saadad input_audio_buffer.commit pöörde kinnitamiseks ning response.create vastuse taotlemiseks. input_audio_buffer.commit on saadaval ainult manuaalses režiimis. input_audio_buffer.clear kustutab saadetud, kuid veel kinnitamata heli ja response.cancel peatab käimasoleva vastuse, kuna katkestamine pole manuaalses režiimis enam automaatne.

Vali oma režiim

  • Vaba vestlus (assistent, telefonikeskus, kioskk): server_vad, vajadusel koos idle_timeout_ms-ga vaikivate kasutajate ergutamiseks
  • Raadiojaam, dikteerimine, väga mürarikkad keskkonnad: manuaalne režiim, kus pöörde lõpp järgib nupuvajutust ja taustamüra ei käivita midagi

Peamised punktid

  • turn_detection.type on kas "server_vad" (server jagab pöörded ja haldab katkestusi) või null (manuaalne režiim)
  • xAI dokumentatsioon ei paku tundlikkuse lävendit ega vaikuse kestust häälestamiseks
  • speech_started, speech_stopped ja committed teavitavad VAD-i olekumuutustest
  • idle_timeout_ms ergutab vaikivat kasutajat sündmuse input_audio_buffer.timeout_triggered kaudu
  • Manuaalses režiimis: append, seejärel commit ja response.create