VAD: automatsko otkrivanje govora
Na ovoj stranici
Ažurirano 3. studenoga 2026., na temelju stranice xAI Speech to Speech i referencije Voice API-ja: otkrivanje smjene govornika postavlja se putem
turn_detection.type("server_vad"ilinull) te, opcionalno,turn_detection.idle_timeout_ms. Izvori: Speech to Speech · Voice API.
Kako funkcionira otkrivanje smjene govornika
U glasovnom razgovoru sustav mora znati kada korisnik počne govoriti i kada prestane. To je zadaća VAD-a (otkrivanje glasovne aktivnosti). xAI Voice Agent API nudi VAD na strani poslužitelja, server_vad: poslužitelj analizira audio tok, detektira kraj svake izjave i sam pokreće odgovor.
Dva načina, jedno polje
Način rada biraš u objektu turn_detection unutar session.update:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad" }
}
}
turn_detection.type | Tko odlučuje kada smjena završava | Što šalješ |
|---|---|---|
"server_vad" | Poslužitelj | input_audio_buffer.append, ništa više |
null | Ti | input_audio_buffer.append, zatim input_audio_buffer.commit i response.create |
U načinu server_vad poslužitelj dijeli smjene, potvrđuje audio i pokreće odgovor. Prekidi se također obrađuju automatski: xAI preporučuje ovaj način za prirodnu izmjenu govornika, kada korisnik prekine agenta usred rečenice. Dokumentacija ipak ne nudi postavke osjetljivosti ni trajanja tišine: razdvajanje smjena isključiva je briga poslužitelja.
VAD događaji
Kod server_vad poslužitelj izvještava o svakom prijelazu:
input_audio_buffer.speech_started: VAD je detektirao početak govora;input_audio_buffer.speech_stopped: detektirao je kraj;input_audio_buffer.committed: audio je potvrđen kao korisnička poruka.
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
stopPlayback(); // korisnik govori: zaustavi već primljeni audio agenta
break;
case "input_audio_buffer.speech_stopped":
showThinking(); // detektiran kraj govora: odgovor stiže
break;
}
});
Na strani poslužitelja prekid je automatski; na strani klijenta audio koji si već primio nastavio bi se reproducirati da ga nisi zaustavio. speech_started pravi je trenutak za pražnjenje reda za reprodukciju.
Potakni korisnika koji šuti: idle_timeout_ms
Jedina dokumentirana postavka vezana uz VAD, idle_timeout_ms, navodi agenta da ponovno pokrene razgovor kada korisnik utihne nakon odgovora:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}
}
Ako se u tom razdoblju nakon završetka odgovora ne detektira govor, poslužitelj emitira input_audio_buffer.timeout_triggered, potvrđuje tihu korisničku smjenu i generira provjeru. Tajmer se resetira nakon svakog odgovora, pa se okida svakih idle_timeout_ms sve dok korisnik ništa ne kaže. Zadano je isključeno (null). Na telefonskoj centrali provjera nakon nekoliko sekundi sprječava preduga šutnja; u upute upiši frazu koju agent treba koristiti za praćenje.
Ručni način: turn_detection.type postavljen na null
Za sučelje tipa „pritisni za govor“ ili kad god sam želiš odlučiti kada smjena završava, postavi tip na null:
{
"type": "session.update",
"session": {
"turn_detection": { "type": null }
}
}
Zatim šalješ audio s input_audio_buffer.append, a kada korisnik otpusti gumb, šalješ input_audio_buffer.commit kako bi potvrdio smjenu i response.create kako bi zatražio odgovor. input_audio_buffer.commit dostupan je samo u ručnom načinu. input_audio_buffer.clear odbacuje audio koji je poslan, ali još nije potvrđen, a response.cancel zaustavlja odgovor u tijeku jer prekid u ručnom načinu više nije automatski.
Odaberi svoj način
- Razgovor slobodnog toka (asistent, telefonska centrala, kiosk):
server_vad, sidle_timeout_msza poticanje korisnika koji šute ako je potrebno - Uređaji tipa „walkie-talkie“, diktiranje, vrlo bučna okruženja: ručni način, gdje kraj smjene slijedi pritisak gumba, a pozadinska buka više ništa ne okida
Ključne točke
turn_detection.typeje ili"server_vad"(poslužitelj dijeli smjene i obrađuje prekide) ilinull(ručni način)- xAI dokumentacija ne nudi prag osjetljivosti ni trajanje tišine za podešavanje
speech_started,speech_stoppedicommittedizvještavaju o VAD prijelazimaidle_timeout_mspotiče korisnika koji šuti, uz događajinput_audio_buffer.timeout_triggered- U ručnom načinu:
append, zatimcommitiresponse.create