VAD: detectarea automată a vorbirii
Pe această pagină
Actualizat la 3 noiembrie 2026, pe baza paginii Speech to Speech xAI și a referinței Voice API: detectarea schimbului de replici se configurează prin
turn_detection.type("server_vad"saunull) și, opțional,turn_detection.idle_timeout_ms. Surse: Speech to Speech · Voice API.
Cum funcționează detectarea schimbului de replici
Într-o conversație vocală, sistemul trebuie să știe când utilizatorul începe să vorbească și când se oprește. Aceasta este sarcina VAD (detectarea activității vocale). API-ul Voice Agent de la xAI oferă VAD lato de server, server_vad: serverul analizează fluxul audio, identifică sfârșitul fiecărei intervenții și declanșează singur răspunsul.
Două moduri, un singur câmp
Alegeți modul în obiectul turn_detection din session.update:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad" }
}
}
turn_detection.type | Cine decide când se încheie replica | Ce trimiteți dumneavoastră |
|---|---|---|
"server_vad" | Serverul | input_audio_buffer.append, nimic altceva |
null | Dumneavoastră | input_audio_buffer.append, apoi input_audio_buffer.commit și response.create |
În modul server_vad, serverul segmentează replicile, validează audio-ul și inițiază răspunsul. Întreruperile sunt gestionate automat: xAI recomandă acest mod pentru un schimb natural de replici, atunci când utilizatorul întrerupe agentul la mijlocul unei propoziții. Documentația nu oferă însă nicio setare de sensibilitate sau durată a tăcerii: segmentarea replicilor revine exclusiv serverului.
Evenimente VAD
Cu server_vad, serverul raportează fiecare tranziție:
input_audio_buffer.speech_started: VAD a detectat începutul vorbirii;input_audio_buffer.speech_stopped: a detectat sfârșitul acesteia;input_audio_buffer.committed: audio-ul a fost validat ca mesaj al utilizatorului.
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
stopPlayback(); // utilizatorul vorbește: opriți audio-ul agentului deja recepționat
break;
case "input_audio_buffer.speech_stopped":
showThinking(); // sfârșitul vorbirii detectat: răspunsul urmează să sosească
break;
}
});
Pe partea de server, întreruperea este automată; pe partea de client, audio-ul deja recepționat ar continua să ruleze dacă nu l-ați opri. speech_started este momentul potrivit pentru a goli coada de redare.
Stimularea unui utilizator tăcut: idle_timeout_ms
Singura setare documentată legată de VAD, idle_timeout_ms, determină agentul să reia conversația atunci când utilizatorul tace după un răspuns:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}
}
Dacă nu se detectează nicio vorbire pentru o perioadă atât de lungă după încheierea unui răspuns, serverul emite input_audio_buffer.timeout_triggered, validează o replică tăcută a utilizatorului și generează o verificare. Temporizatorul se resetează după fiecare răspuns, astfel încât se declanșează din nou la fiecare idle_timeout_ms atâta timp cât utilizatorul nu spune nimic. Este dezactivat în mod implicit (null). Pe o centrală telefonică, o verificare după câteva secunde împiedică prelungirea tăcerilor; includeți în instrucțiuni fraza de follow-up pe care agentul trebuie să o utilizeze.
Mod manual: turn_detection.type setat la null
Pentru o interfață de tip „apăsați pentru a vorbi“ (push-to-talk) sau ori de câte ori doriți să decideți singur când se încheie o replică, setați tipul la null:
{
"type": "session.update",
"session": {
"turn_detection": { "type": null }
}
}
Trimiteți apoi audio cu input_audio_buffer.append și, când utilizatorul eliberează butonul, trimiteți input_audio_buffer.commit pentru a valida replica și response.create pentru a solicita răspunsul. input_audio_buffer.commit este disponibil doar în modul manual. input_audio_buffer.clear elimină audio-ul trimis dar nu yet validat, iar response.cancel oprește un răspuns în curs de desfășurare, deoarece întreruperea nu mai este automată în modul manual.
Alegeți modul dumneavoastră
- Conversație fluidă (asistent, centrală telefonică, chioșc):
server_vad, cuidle_timeout_mspentru a stimula utilizatorii tăcuți, dacă este necesar - Stație radio, dictare, medii foarte zgomotoase: mod manual, unde sfârșitul replicii urmează apăsarea butonului, iar zgomotul de fond nu mai declanșează nimic
Puncte cheie
turn_detection.typeeste fie"server_vad"(serverul segmentează replicile și gestionează întreruperile), fienull(mod manual)- Documentația xAI nu oferă niciun prag de sensibilitate sau durată a tăcerii de ajustat
speech_started,speech_stoppedșicommittedraportează tranzițiile VADidle_timeout_msstimulează un utilizator tăcut, prin evenimentulinput_audio_buffer.timeout_triggered- În mod manual:
append, apoicommitșiresponse.create