Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

VAD: automatikus beszédészlelés

6. lecke 16 közül Frissítve 2026. november 3. Fejlesztő
Ezen az oldalon
  1. Hogyan működik a fordulódetekció
  2. Két mód, egy mező
  3. VAD események
  4. Néma felhasználó ösztönzése: idle_timeout_ms
  5. Kézi mód: a turn_detection.type értéke null
  6. Válaszd ki a módodat
  7. Főbb megállapítások

Frissítve: 2026. november 3., az xAI Speech to Speech oldala és a Voice API referenciája alapján: a fordulódetekciót a turn_detection.type ("server_vad" vagy null) és opcionálisan a turn_detection.idle_timeout_ms paraméterrel állítod be. Források: Speech to Speech · Voice API.

Hogyan működik a fordulódetekció

Egy hangalapú beszélgetés során a rendszernek tudnia kell, mikor kezd el beszélni a felhasználó, és mikor fejezi be. Ezt a feladatot látja el a VAD (voice activity detection, azaz hangaktivitás-észlelés). Az xAI Voice Agent API szerveroldali VAD-ot biztosít (server_vad): a szerver elemzi a hangfolyamot, felismeri minden egyes megnyilvánulás végét, és maga indítja el a választ.

Két mód, egy mező

A módot a session.update üzenet turn_detection objektumában választod ki:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad" }
  }
}
turn_detection.typeKi dönti el, mikor ér véget a forduló?Mit küldesz?
"server_vad"A szerverinput_audio_buffer.append, semmi mást
nullTeinput_audio_buffer.append, majd input_audio_buffer.commit és response.create

server_vad módban a szerver osztja fel a fordulókat, véglegesíti (commit) az audiót, és elindítja a választ. A megszakításokat is automatikusan kezeli: az xAI ezt a módot javasolja a természetes váltásokhoz, amikor a felhasználó mondat közben vág bele az ügynök szavába. A dokumentáció ugyanakkor nem kínál beállítási lehetőséget az érzékenységre vagy a csend időtartamára: a fordulók szétválasztása kizárólag a szerver dolga.

VAD események

server_vad használata esetén a szerver minden állapotváltást jelent:

  • input_audio_buffer.speech_started: a VAD észlelte a beszéd kezdetét;
  • input_audio_buffer.speech_stopped: észlelte a beszéd végét;
  • input_audio_buffer.committed: az audió véglegesítve lett felhasználói üzenetként.
ws.on("message", (data) => {
  const event = JSON.parse(data);
  switch (event.type) {
    case "input_audio_buffer.speech_started":
      stopPlayback();       // a felhasználó beszél: állítsd le a már fogadott ügynök-hangot
      break;
    case "input_audio_buffer.speech_stopped":
      showThinking();       // beszédvége észlelve: jön a válasz
      break;
  }
});

Szerveroldalon a megszakítás automatikus; kliensoldalon azonban a már fogadott audió tovább szólana, ha nem állítanád le. A speech_started esemény a megfelelő pillanat a lejátszási sor ürítésére.

Néma felhasználó ösztönzése: idle_timeout_ms

A VAD-hoz kapcsolódó egyetlen dokumentált beállítás, az idle_timeout_ms, arra készteti az ügynököt, hogy újra felvegye a beszélgetés fonalát, ha a felhasználó elhallgat egy válasz után:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
  }
}

Ha ennyi ideig nem észlel beszédet egy válasz befejezése után, a szerver kibocsát egy input_audio_buffer.timeout_triggered eseményt, véglegesít egy csendes felhasználói fordulót, és generál egy ellenőrző kérdést (check-in). Az időzítő minden válasz után alaphelyzetbe áll, így addig ismétlődik minden idle_timeout_ms után, amíg a felhasználó hallgat. Alapértelmezetten ki van kapcsolva (null). Egy telefonos kapcsolótáblánál néhány másodperc utáni ellenőrzés megakadályozza a elhúzódó csendeket; az utasításaidba írd bele azt a követő mondatot, amelyet az ügynöknek használnia kell.

Kézi mód: a turn_detection.type értéke null

Push-to-talk (nyomd-a-beszéléshez) felületekhez, vagy amikor magad szeretnéd eldönteni, mikor ér vége egy forduló, állítsd a típust null-ra:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": null }
  }
}

Ezután az input_audio_buffer.append parancsokkal küldöd az audiót, és amikor a felhasználó felengedi a gombot, elküldöd az input_audio_buffer.commit parancsot a forduló véglegesítésére, majd a response.create parancsot a válasz kérésére. Az input_audio_buffer.commit csak kézi módban elérhető. Az input_audio_buffer.clear elveti a már elküldött, de még nem véglegesített audiót, a response.cancel pedig leállítja a folyamatban lévő választ, mivel kézi módban a megszakítás már nem automatikus.

Válaszd ki a módodat

  • Kötetlen beszélgetés (asszisztens, telefonos kapcsolótábla, kioszk): server_vad, szükség esetén idle_timeout_ms-sel a csendben lévő felhasználók ösztönzésére.
  • Adó-vevő, diktálás, nagyon zajos környezet: kézi mód, ahol a forduló végét a gomb nyomása határozza meg, és a háttérzaj nem vált ki semmit.

Főbb megállapítások

  • A turn_detection.type értéke vagy "server_vad" (a szerver osztja fel a fordulókat és kezeli a megszakításokat), vagy null (kézi mód).
  • Az xAI dokumentációja nem kínál állítható érzékenységi küszöböt vagy csendidő-tartamot.
  • A speech_started, speech_stopped és committed események jelzik a VAD állapotváltásait.
  • Az idle_timeout_ms ösztönzi a csendben lévő felhasználót az input_audio_buffer.timeout_triggered eseményen keresztül.
  • Kézi módban: append, majd commit és response.create.