VAD: automatická detekce řeči
Na této stránce
Aktualizováno 3. listopadu 2026 na základě stránky xAI Speech to Speech a reference k Voice API: detekce předání slova se nastavuje pomocí
turn_detection.type("server_vad"nebonull) a volitelněturn_detection.idle_timeout_ms. Zdroje: Speech to Speech · Voice API.
Jak funguje detekce předání slova
V hlasové konverzaci musí systém vědět, kdy uživatel začne mluvit a kdy přestane. To je úkolem VAD (detekce hlasové aktivity). Voice Agent API od xAI nabízí serverovou stranu VAD, server_vad: server analyzuje zvukový proud, rozpozná konec každé výpovědi a sám spustí odpověď.
Dva režimy, jedno pole
Režim vybíráš v objektu turn_detection u zprávy session.update:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad" }
}
}
turn_detection.type | Kdo rozhoduje o konci předání slova | Co odesíláš |
|---|---|---|
"server_vad" | Server | input_audio_buffer.append, nic dalšího |
null | Ty | input_audio_buffer.append, poté input_audio_buffer.commit a response.create |
V režimu server_vad server rozděluje předání slova, potvrzuje audio a spouští odpověď. Přerušení jsou také zpracována automaticky: xAI doporučuje tento režim pro přirozené střídání v řeči, když uživatel agenta přeruší uprostřed věty. Dokumentace však nenabízí žádné nastavení citlivosti ani délky ticha: rozdělování předání slova je plně v režii serveru.
Události VAD
Při použití server_vad server hlásí každý přechod:
input_audio_buffer.speech_started: VAD detekoval začátek řeči;input_audio_buffer.speech_stopped: detekoval její konec;input_audio_buffer.committed: audio bylo potvrzeno jako zpráva uživatele.
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
stopPlayback(); // uživatel mluví: zastav již přijaté audio agenta
break;
case "input_audio_buffer.speech_stopped":
showThinking(); // detekován konec řeči: přichází odpověď
break;
}
});
Na straně serveru je přerušení automatické; na straně klienta by se již přijaté audio přehrávalo dál, pokud bys ho nezastavil. Událost speech_started je tím správným okamžikem pro vyprázdnění fronty přehrávání.
Výzva mlčícímu uživateli: idle_timeout_ms
Jediným zdokumentovaným nastavením souvisejícím s VAD je idle_timeout_ms. To donutí agenta převzít znovu iniciativu v konverzaci, když uživatel po odpovědi agenta ztichne:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}
}
Pokud není po skončení odpovědi po tuto dobu detekována žádná řeč, server vyšle událost input_audio_buffer.timeout_triggered, potvrdí tiché předání slova od uživatele a vygeneruje kontrolní dotaz. Časovač se po každé odpovědi resetuje, takže se spouští znovu každých idle_timeout_ms, dokud uživatel nic neřekne. Ve výchozím nastavení je vypnutý (null). U telefonní ústředny udrží kontrolní dotaz po několika vteřinách ticho na uzdě; do instrukcí agenta si napiš frázi, kterou má v takovém případě použít.
Manuální režim: turn_detection.type nastaveno na null
Pro rozhraní typu „stiskni a mluv“ (push-to-talk) nebo kdykoli chceš sám rozhodovat o konci předání slova, nastav typ na null:
{
"type": "session.update",
"session": {
"turn_detection": { "type": null }
}
}
Poté odesíláš audio pomocí input_audio_buffer.append a když uživatel pustí tlačítko, odešleš input_audio_buffer.commit pro potvrzení předání slova a response.create pro vyžádání odpovědi. input_audio_buffer.commit je dostupné pouze v manuálním režimu. input_audio_buffer.clear zahodí audio, které bylo odesláno, ale ještě ne potvrzeno, a response.cancel zastaví probíhající odpověď, protože přerušení již není v manuálním režimu automatické.
Výběr režimu
- Plynulá konverzace (asistent, telefonní ústředna, kiosek):
server_vad, případně sidle_timeout_mspro výzvu mlčícím uživatelům. - Vysílačka, diktování, velmi hlučná prostředí: manuální režim, kde konec předání slova následuje stisk tlačítka a šum v pozadí nic nespouští.
Klíčové poznatky
turn_detection.typeje buď"server_vad"(server rozděluje předání slova a řeší přerušení), nebonull(manuální režim)- Dokumentace xAI nenabízí žádný práh citlivosti ani délku ticha k ladění
- Události
speech_started,speech_stoppedacommittedhlásí přechody VAD idle_timeout_msvyzve mlčícího uživatele prostřednictvím událostiinput_audio_buffer.timeout_triggered- V manuálním režimu: nejprve
append, potécommitaresponse.create