Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

VAD: automatsko otkrivanje govora

Lekcija 6 od 16 Ažurirano 3. studenoga 2026. Programer
Na ovoj stranici
  1. Kako funkcionira otkrivanje smjene govornika
  2. Dva načina, jedno polje
  3. VAD događaji
  4. Potakni korisnika koji šuti: idle_timeout_ms
  5. Ručni način: turn_detection.type postavljen na null
  6. Odaberi svoj način
  7. Ključne točke

Ažurirano 3. studenoga 2026., na temelju stranice xAI Speech to Speech i referencije Voice API-ja: otkrivanje smjene govornika postavlja se putem turn_detection.type ("server_vad" ili null) te, opcionalno, turn_detection.idle_timeout_ms. Izvori: Speech to Speech · Voice API.

Kako funkcionira otkrivanje smjene govornika

U glasovnom razgovoru sustav mora znati kada korisnik počne govoriti i kada prestane. To je zadaća VAD-a (otkrivanje glasovne aktivnosti). xAI Voice Agent API nudi VAD na strani poslužitelja, server_vad: poslužitelj analizira audio tok, detektira kraj svake izjave i sam pokreće odgovor.

Dva načina, jedno polje

Način rada biraš u objektu turn_detection unutar session.update:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad" }
  }
}
turn_detection.typeTko odlučuje kada smjena završavaŠto šalješ
"server_vad"Poslužiteljinput_audio_buffer.append, ništa više
nullTiinput_audio_buffer.append, zatim input_audio_buffer.commit i response.create

U načinu server_vad poslužitelj dijeli smjene, potvrđuje audio i pokreće odgovor. Prekidi se također obrađuju automatski: xAI preporučuje ovaj način za prirodnu izmjenu govornika, kada korisnik prekine agenta usred rečenice. Dokumentacija ipak ne nudi postavke osjetljivosti ni trajanja tišine: razdvajanje smjena isključiva je briga poslužitelja.

VAD događaji

Kod server_vad poslužitelj izvještava o svakom prijelazu:

  • input_audio_buffer.speech_started: VAD je detektirao početak govora;
  • input_audio_buffer.speech_stopped: detektirao je kraj;
  • input_audio_buffer.committed: audio je potvrđen kao korisnička poruka.
ws.on("message", (data) => {
  const event = JSON.parse(data);
  switch (event.type) {
    case "input_audio_buffer.speech_started":
      stopPlayback();       // korisnik govori: zaustavi već primljeni audio agenta
      break;
    case "input_audio_buffer.speech_stopped":
      showThinking();       // detektiran kraj govora: odgovor stiže
      break;
  }
});

Na strani poslužitelja prekid je automatski; na strani klijenta audio koji si već primio nastavio bi se reproducirati da ga nisi zaustavio. speech_started pravi je trenutak za pražnjenje reda za reprodukciju.

Potakni korisnika koji šuti: idle_timeout_ms

Jedina dokumentirana postavka vezana uz VAD, idle_timeout_ms, navodi agenta da ponovno pokrene razgovor kada korisnik utihne nakon odgovora:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
  }
}

Ako se u tom razdoblju nakon završetka odgovora ne detektira govor, poslužitelj emitira input_audio_buffer.timeout_triggered, potvrđuje tihu korisničku smjenu i generira provjeru. Tajmer se resetira nakon svakog odgovora, pa se okida svakih idle_timeout_ms sve dok korisnik ništa ne kaže. Zadano je isključeno (null). Na telefonskoj centrali provjera nakon nekoliko sekundi sprječava preduga šutnja; u upute upiši frazu koju agent treba koristiti za praćenje.

Ručni način: turn_detection.type postavljen na null

Za sučelje tipa „pritisni za govor“ ili kad god sam želiš odlučiti kada smjena završava, postavi tip na null:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": null }
  }
}

Zatim šalješ audio s input_audio_buffer.append, a kada korisnik otpusti gumb, šalješ input_audio_buffer.commit kako bi potvrdio smjenu i response.create kako bi zatražio odgovor. input_audio_buffer.commit dostupan je samo u ručnom načinu. input_audio_buffer.clear odbacuje audio koji je poslan, ali još nije potvrđen, a response.cancel zaustavlja odgovor u tijeku jer prekid u ručnom načinu više nije automatski.

Odaberi svoj način

  • Razgovor slobodnog toka (asistent, telefonska centrala, kiosk): server_vad, s idle_timeout_ms za poticanje korisnika koji šute ako je potrebno
  • Uređaji tipa „walkie-talkie“, diktiranje, vrlo bučna okruženja: ručni način, gdje kraj smjene slijedi pritisak gumba, a pozadinska buka više ništa ne okida

Ključne točke

  • turn_detection.type je ili "server_vad" (poslužitelj dijeli smjene i obrađuje prekide) ili null (ručni način)
  • xAI dokumentacija ne nudi prag osjetljivosti ni trajanje tišine za podešavanje
  • speech_started, speech_stopped i committed izvještavaju o VAD prijelazima
  • idle_timeout_ms potiče korisnika koji šuti, uz događaj input_audio_buffer.timeout_triggered
  • U ručnom načinu: append, zatim commit i response.create