Salt la conținutul principal
Română— Alege o limbă
Meniu

VAD: detectarea automată a vorbirii

Lecția 6 din 16 Actualizată 3 noiembrie 2026 Dezvoltator
Pe această pagină
  1. Cum funcționează detectarea schimbului de replici
  2. Două moduri, un singur câmp
  3. Evenimente VAD
  4. Stimularea unui utilizator tăcut: idle_timeout_ms
  5. Mod manual: turn_detection.type setat la null
  6. Alegeți modul dumneavoastră
  7. Puncte cheie

Actualizat la 3 noiembrie 2026, pe baza paginii Speech to Speech xAI și a referinței Voice API: detectarea schimbului de replici se configurează prin turn_detection.type ("server_vad" sau null) și, opțional, turn_detection.idle_timeout_ms. Surse: Speech to Speech · Voice API.

Cum funcționează detectarea schimbului de replici

Într-o conversație vocală, sistemul trebuie să știe când utilizatorul începe să vorbească și când se oprește. Aceasta este sarcina VAD (detectarea activității vocale). API-ul Voice Agent de la xAI oferă VAD lato de server, server_vad: serverul analizează fluxul audio, identifică sfârșitul fiecărei intervenții și declanșează singur răspunsul.

Două moduri, un singur câmp

Alegeți modul în obiectul turn_detection din session.update:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad" }
  }
}
turn_detection.typeCine decide când se încheie replicaCe trimiteți dumneavoastră
"server_vad"Serverulinput_audio_buffer.append, nimic altceva
nullDumneavoastrăinput_audio_buffer.append, apoi input_audio_buffer.commit și response.create

În modul server_vad, serverul segmentează replicile, validează audio-ul și inițiază răspunsul. Întreruperile sunt gestionate automat: xAI recomandă acest mod pentru un schimb natural de replici, atunci când utilizatorul întrerupe agentul la mijlocul unei propoziții. Documentația nu oferă însă nicio setare de sensibilitate sau durată a tăcerii: segmentarea replicilor revine exclusiv serverului.

Evenimente VAD

Cu server_vad, serverul raportează fiecare tranziție:

  • input_audio_buffer.speech_started: VAD a detectat începutul vorbirii;
  • input_audio_buffer.speech_stopped: a detectat sfârșitul acesteia;
  • input_audio_buffer.committed: audio-ul a fost validat ca mesaj al utilizatorului.
ws.on("message", (data) => {
  const event = JSON.parse(data);
  switch (event.type) {
    case "input_audio_buffer.speech_started":
      stopPlayback();       // utilizatorul vorbește: opriți audio-ul agentului deja recepționat
      break;
    case "input_audio_buffer.speech_stopped":
      showThinking();       // sfârșitul vorbirii detectat: răspunsul urmează să sosească
      break;
  }
});

Pe partea de server, întreruperea este automată; pe partea de client, audio-ul deja recepționat ar continua să ruleze dacă nu l-ați opri. speech_started este momentul potrivit pentru a goli coada de redare.

Stimularea unui utilizator tăcut: idle_timeout_ms

Singura setare documentată legată de VAD, idle_timeout_ms, determină agentul să reia conversația atunci când utilizatorul tace după un răspuns:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
  }
}

Dacă nu se detectează nicio vorbire pentru o perioadă atât de lungă după încheierea unui răspuns, serverul emite input_audio_buffer.timeout_triggered, validează o replică tăcută a utilizatorului și generează o verificare. Temporizatorul se resetează după fiecare răspuns, astfel încât se declanșează din nou la fiecare idle_timeout_ms atâta timp cât utilizatorul nu spune nimic. Este dezactivat în mod implicit (null). Pe o centrală telefonică, o verificare după câteva secunde împiedică prelungirea tăcerilor; includeți în instrucțiuni fraza de follow-up pe care agentul trebuie să o utilizeze.

Mod manual: turn_detection.type setat la null

Pentru o interfață de tip „apăsați pentru a vorbi“ (push-to-talk) sau ori de câte ori doriți să decideți singur când se încheie o replică, setați tipul la null:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": null }
  }
}

Trimiteți apoi audio cu input_audio_buffer.append și, când utilizatorul eliberează butonul, trimiteți input_audio_buffer.commit pentru a valida replica și response.create pentru a solicita răspunsul. input_audio_buffer.commit este disponibil doar în modul manual. input_audio_buffer.clear elimină audio-ul trimis dar nu yet validat, iar response.cancel oprește un răspuns în curs de desfășurare, deoarece întreruperea nu mai este automată în modul manual.

Alegeți modul dumneavoastră

  • Conversație fluidă (asistent, centrală telefonică, chioșc): server_vad, cu idle_timeout_ms pentru a stimula utilizatorii tăcuți, dacă este necesar
  • Stație radio, dictare, medii foarte zgomotoase: mod manual, unde sfârșitul replicii urmează apăsarea butonului, iar zgomotul de fond nu mai declanșează nimic

Puncte cheie

  • turn_detection.type este fie "server_vad" (serverul segmentează replicile și gestionează întreruperile), fie null (mod manual)
  • Documentația xAI nu oferă niciun prag de sensibilitate sau durată a tăcerii de ajustat
  • speech_started, speech_stopped și committed raportează tranzițiile VAD
  • idle_timeout_ms stimulează un utilizator tăcut, prin evenimentul input_audio_buffer.timeout_triggered
  • În mod manual: append, apoi commit și response.create