VAD: automatyczne wykrywanie mowy
Na tej stronie
Zaktualizowano 3 listopada 2026 r. na podstawie strony xAI Speech to Speech oraz dokumentacji Voice API: wykrywanie zmiany mówcy konfiguruje się za pomocą
turn_detection.type("server_vad"lubnull) oraz opcjonalnieturn_detection.idle_timeout_ms. Źródła: Speech to Speech · Voice API.
Jak działa wykrywanie zmiany mówcy
W rozmowie głosowej system musi wiedzieć, kiedy użytkownik zaczyna mówić, a kiedy kończy. To zadanie dla VAD (wykrywania aktywności głosowej). Voice Agent API od xAI udostępnia VAD po stronie serwera, server_vad: serwer analizuje strumień audio, wykrywa koniec każdej wypowiedzi i sam inicjuje odpowiedź.
Dwa tryby, jedno pole
Tryb wybierasz w obiekcie turn_detection wewnątrz session.update:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad" }
}
}
turn_detection.type | Kto decyduje o końcu tury | Co wysyłasz |
|---|---|---|
"server_vad" | Serwer | input_audio_buffer.append, nic więcej |
null | Ty | input_audio_buffer.append, a następnie input_audio_buffer.commit i response.create |
W trybie server_vad serwer dzieli tury, zatwierdza audio i uruchamia odpowiedź. Przerwania są również obsługiwane automatycznie: xAI rekomenduje ten tryb dla naturalnej wymiany zdań, gdy użytkownik przerywa agentowi w połowie zdania. Dokumentacja nie oferuje jednak żadnych ustawień czułości ani czasu trwania ciszy: podział tur leży wyłącznie po stronie serwera.
Zdarzenia VAD
Przy użyciu server_vad serwer zgłasza każde przejście:
input_audio_buffer.speech_started: VAD wykryło początek mowy;input_audio_buffer.speech_stopped: wykryto koniec;input_audio_buffer.committed: audio zostało zatwierdzone jako wiadomość użytkownika.
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
stopPlayback(); // użytkownik mówi: wstrzymaj odtwarzanie audio agenta, które już otrzymano
break;
case "input_audio_buffer.speech_stopped":
showThinking(); // wykryto koniec mowy: nadchodzi odpowiedź
break;
}
});
Po stronie serwera przerwanie jest automatyczne; po stronie klienta audio, które już otrzymałeś, byłoby nadal odtwarzane, gdybyś go nie wstrzymał. speech_started to właściwy moment, aby wyczyścić kolejkę odtwarzania.
Zachęć milczącego użytkownika: idle_timeout_ms
Jedynym udokumentowanym ustawieniem związanym z VAD jest idle_timeout_ms. Sprawia ono, że agent podejmuje rozmowę na nowo, gdy użytkownik milczy po odpowiedzi:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}
}
Jeśli przez tak długi czas po zakończeniu odpowiedzi nie zostanie wykryta mowa, serwer emituje zdarzenie input_audio_buffer.timeout_triggered, zatwierdza turę milczącego użytkownika i generuje sprawdzenie statusu. Timer resetuje się po każdej odpowiedzi, więc zdarzenie to będzie wyzwalane co idle_timeout_ms, dopóki użytkownik nic nie powie. Domyślnie jest wyłączone (null). W przypadku centrali telefonicznej sprawdzenie statusu po kilku sekundach zapobiega przeciąganiu się ciszy; frazę, której agent ma użyć w takim przypadku, zapisz w swoich instrukcjach.
Tryb ręczny: turn_detection.type ustawione na null
W przypadku interfejsu typu „naciśnij i mów“ lub gdy chcesz samodzielnie decydować o końcu tury, ustaw typ na null:
{
"type": "session.update",
"session": {
"turn_detection": { "type": null }
}
}
Następnie wysyłasz audio za pomocą input_audio_buffer.append, a gdy użytkownik zwolni przycisk, wysyłasz input_audio_buffer.commit, aby zatwierdzić turę, oraz response.create, aby zażądać odpowiedzi. input_audio_buffer.commit jest dostępne tylko w trybie ręcznym. input_audio_buffer.clear odrzuca audio, które zostało wysłane, ale jeszcze nie zatwierdzone, a response.cancel przerywa trwającą odpowiedź, ponieważ w trybie ręcznym przerwanie nie jest już automatyczne.
Wybierz swój tryb
- Swobodna rozmowa (asystent, centrala telefoniczna, kiosk):
server_vad, z opcjonalnymidle_timeout_msdo zachęcania milczących użytkowników - Krótkofalówka, dyktowanie, bardzo hałaśliwe środowiska: tryb ręczny, gdzie koniec tury zależy od przycisku, a szum tła niczego nie wyzwala
Kluczowe wnioski
turn_detection.typeprzyjmuje wartość"server_vad"(serwer dzieli tury i obsługuje przerwania) lubnull(tryb ręczny)- Dokumentacja xAI nie udostępnia progu czułości ani czasu trwania ciszy do dostosowania
- Zdarzenia
speech_started,speech_stoppedicommittedraportują przejścia VAD idle_timeout_mszachęca milczącego użytkownika, generując zdarzenieinput_audio_buffer.timeout_triggered- W trybie ręcznym:
append, następniecommitiresponse.create