VAD: automatická detekcia reči
Na tejto strane
Aktualizované 3. novembra 2026 na základe stránky xAI Speech to Speech a referencie Voice API: detekcia zmeny hovoriaceho sa nastavuje pomocou
turn_detection.type("server_vad"alebonull) a voliteľne ajturn_detection.idle_timeout_ms. Zdroje: Speech to Speech · Voice API.
Ako funguje detekcia zmeny hovoriaceho
Pri hlasovej konverzácii musí systém vedieť, kedy používateľ začne hovoriť a kedy prestane. To je úlohou VAD (detekcia hlasovej aktivity). Voice Agent API od xAI poskytuje serverovú verziu VAD, server_vad: server analyzuje zvukový tok, rozpozná koniec každej výpovede a sám spustí odpoveď.
Dva režimy, jedno pole
Režim vyberáš v objekte turn_detection správy session.update:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad" }
}
}
turn_detection.type | Kto rozhoduje o konci hovoru | Čo odosielaš |
|---|---|---|
"server_vad" | Server | input_audio_buffer.append, nič iné |
null | Ty | input_audio_buffer.append, potom input_audio_buffer.commit a response.create |
V režime server_vad server rozdeľuje hovory, potvrdzuje (commit) audio a spúšťa odpoveď. Prerušenia sú tiež riešené automaticky: xAI odporúča tento režim pre prirodzené striedanie v dialógu, keď používateľ preruší agenta uprostred vety. Dokumentácia však neponúka žiadne nastavenie citlivosti ani dĺžky ticha: rozdeľovanie hovoru je plne v réžii servera.
Události VAD
Pri použití server_vad server hlási každý prechod:
input_audio_buffer.speech_started: VAD detekoval začiatok reči;input_audio_buffer.speech_stopped: detekoval jej koniec;input_audio_buffer.committed: audio bolo potvrdené ako správa používateľa.
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
stopPlayback(); // používateľ hovorí: zastav už prijaté audio agenta
break;
case "input_audio_buffer.speech_stopped":
showThinking(); // detekovaný koniec reči: prichádza odpoveď
break;
}
});
Na strane servera je prerušenie automatické; na strane klienta by sa už prijaté audio prehrávalo ďalej, ak by si ho nezastavil. Udalosť speech_started je tým správnym momentom na vyprázdnenie fronty prehrávania.
Výzva pre mlčiaceho používateľa: idle_timeout_ms
Jediným zdokumentovaným nastavením týkajúcim sa VAD je idle_timeout_ms, ktoré donúti agenta znovu prevziať iniciatívu, keď používateľ po odpovedi agenta mlčí:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}
}
Ak sa počas tejto doby po skončení odpovede nezistí žiadna reč, server vyšle udalosť input_audio_buffer.timeout_triggered, potvrdí tichý ťah používateľa a vygeneruje kontrolnú otázku (check-in). Časovač sa po každej odpovedi resetuje, takže sa spustí znova každých idle_timeout_ms, pokiaľ používateľ nič nepovie. Predvolene je vypnutý (null). Na telefónnej ústredni udrží kontrolná otázka po niekoľkých sekundách ticho od natiahnutia; do inštrukcií agenta zapíš frázu, ktorú má v takom prípade použiť.
Manuálny režim: turn_detection.type nastavený na null
Pre rozhranie typu „stlač a hovoriť“ (push-to-talk) alebo kedykoľvek chceš sám rozhodnúť, kedy hovorenie končí, nastav typ na null:
{
"type": "session.update",
"session": {
"turn_detection": { "type": null }
}
}
Následne odosielaš audio pomocou input_audio_buffer.append a keď používateľ uvoľní tlačidlo, odošleš input_audio_buffer.commit na potvrdenie hovoru a response.create na vyžiadanie odpovede. Príkaz input_audio_buffer.commit je dostupný len v manuálnom režime. input_audio_buffer.clear zahodí audio, ktoré bolo odoslané, ale ešte nebolo potvrdené, a response.cancel zastaví prebiehajúcu odpoveď, keďže prerušenie už v manuálnom režime nie je automatické.
Výber režimu
- Plynulá konverzácia (asistent, telefónna ústredňa, kiosk):
server_vad, prípadne sidle_timeout_msna výzvu mlčiacim používateľom - Vysielačka, diktovanie, veľmi hlučné prostredie: manuálny režim, kde koniec hovoru nasleduje stlačenie tlačidla a okolitý hluk nič nespúšťa
Kľúčové poznatky
turn_detection.typeje buď"server_vad"(server rozdeľuje hovory a rieši prerušenia), alebonull(manuálny režim)- Dokumentácia xAI neponúka žiadny prah citlivosti ani dĺžku ticha na ladenie
- Události
speech_started,speech_stoppedacommittedhlásia prechody VAD idle_timeout_msvyzve mlčiaceho používateľa pomocou udalostiinput_audio_buffer.timeout_triggered- V manuálnom režime: najprv
append, potomcommitaresponse.create