VAD: automatikus beszédészlelés
Ezen az oldalon
Frissítve: 2026. november 3., az xAI Speech to Speech oldala és a Voice API referenciája alapján: a fordulódetekciót a
turn_detection.type("server_vad"vagynull) és opcionálisan aturn_detection.idle_timeout_msparaméterrel állítod be. Források: Speech to Speech · Voice API.
Hogyan működik a fordulódetekció
Egy hangalapú beszélgetés során a rendszernek tudnia kell, mikor kezd el beszélni a felhasználó, és mikor fejezi be. Ezt a feladatot látja el a VAD (voice activity detection, azaz hangaktivitás-észlelés). Az xAI Voice Agent API szerveroldali VAD-ot biztosít (server_vad): a szerver elemzi a hangfolyamot, felismeri minden egyes megnyilvánulás végét, és maga indítja el a választ.
Két mód, egy mező
A módot a session.update üzenet turn_detection objektumában választod ki:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad" }
}
}
turn_detection.type | Ki dönti el, mikor ér véget a forduló? | Mit küldesz? |
|---|---|---|
"server_vad" | A szerver | input_audio_buffer.append, semmi mást |
null | Te | input_audio_buffer.append, majd input_audio_buffer.commit és response.create |
server_vad módban a szerver osztja fel a fordulókat, véglegesíti (commit) az audiót, és elindítja a választ. A megszakításokat is automatikusan kezeli: az xAI ezt a módot javasolja a természetes váltásokhoz, amikor a felhasználó mondat közben vág bele az ügynök szavába. A dokumentáció ugyanakkor nem kínál beállítási lehetőséget az érzékenységre vagy a csend időtartamára: a fordulók szétválasztása kizárólag a szerver dolga.
VAD események
server_vad használata esetén a szerver minden állapotváltást jelent:
input_audio_buffer.speech_started: a VAD észlelte a beszéd kezdetét;input_audio_buffer.speech_stopped: észlelte a beszéd végét;input_audio_buffer.committed: az audió véglegesítve lett felhasználói üzenetként.
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
stopPlayback(); // a felhasználó beszél: állítsd le a már fogadott ügynök-hangot
break;
case "input_audio_buffer.speech_stopped":
showThinking(); // beszédvége észlelve: jön a válasz
break;
}
});
Szerveroldalon a megszakítás automatikus; kliensoldalon azonban a már fogadott audió tovább szólana, ha nem állítanád le. A speech_started esemény a megfelelő pillanat a lejátszási sor ürítésére.
Néma felhasználó ösztönzése: idle_timeout_ms
A VAD-hoz kapcsolódó egyetlen dokumentált beállítás, az idle_timeout_ms, arra készteti az ügynököt, hogy újra felvegye a beszélgetés fonalát, ha a felhasználó elhallgat egy válasz után:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}
}
Ha ennyi ideig nem észlel beszédet egy válasz befejezése után, a szerver kibocsát egy input_audio_buffer.timeout_triggered eseményt, véglegesít egy csendes felhasználói fordulót, és generál egy ellenőrző kérdést (check-in). Az időzítő minden válasz után alaphelyzetbe áll, így addig ismétlődik minden idle_timeout_ms után, amíg a felhasználó hallgat. Alapértelmezetten ki van kapcsolva (null). Egy telefonos kapcsolótáblánál néhány másodperc utáni ellenőrzés megakadályozza a elhúzódó csendeket; az utasításaidba írd bele azt a követő mondatot, amelyet az ügynöknek használnia kell.
Kézi mód: a turn_detection.type értéke null
Push-to-talk (nyomd-a-beszéléshez) felületekhez, vagy amikor magad szeretnéd eldönteni, mikor ér vége egy forduló, állítsd a típust null-ra:
{
"type": "session.update",
"session": {
"turn_detection": { "type": null }
}
}
Ezután az input_audio_buffer.append parancsokkal küldöd az audiót, és amikor a felhasználó felengedi a gombot, elküldöd az input_audio_buffer.commit parancsot a forduló véglegesítésére, majd a response.create parancsot a válasz kérésére. Az input_audio_buffer.commit csak kézi módban elérhető. Az input_audio_buffer.clear elveti a már elküldött, de még nem véglegesített audiót, a response.cancel pedig leállítja a folyamatban lévő választ, mivel kézi módban a megszakítás már nem automatikus.
Válaszd ki a módodat
- Kötetlen beszélgetés (asszisztens, telefonos kapcsolótábla, kioszk):
server_vad, szükség eseténidle_timeout_ms-sel a csendben lévő felhasználók ösztönzésére. - Adó-vevő, diktálás, nagyon zajos környezet: kézi mód, ahol a forduló végét a gomb nyomása határozza meg, és a háttérzaj nem vált ki semmit.
Főbb megállapítások
- A
turn_detection.typeértéke vagy"server_vad"(a szerver osztja fel a fordulókat és kezeli a megszakításokat), vagynull(kézi mód). - Az xAI dokumentációja nem kínál állítható érzékenységi küszöböt vagy csendidő-tartamot.
- A
speech_started,speech_stoppedéscommittedesemények jelzik a VAD állapotváltásait. - Az
idle_timeout_msösztönzi a csendben lévő felhasználót azinput_audio_buffer.timeout_triggeredeseményen keresztül. - Kézi módban:
append, majdcommitésresponse.create.