Przejdź do głównej treści
Polski— Wybierz język
Menu

VAD: automatyczne wykrywanie mowy

Lekcja 6 z 16 Zaktualizowano 3 listopada 2026 Programista
Na tej stronie
  1. Jak działa wykrywanie zmiany mówcy
  2. Dwa tryby, jedno pole
  3. Zdarzenia VAD
  4. Zachęć milczącego użytkownika: idle_timeout_ms
  5. Tryb ręczny: turn_detection.type ustawione na null
  6. Wybierz swój tryb
  7. Kluczowe wnioski

Zaktualizowano 3 listopada 2026 r. na podstawie strony xAI Speech to Speech oraz dokumentacji Voice API: wykrywanie zmiany mówcy konfiguruje się za pomocą turn_detection.type ("server_vad" lub null) oraz opcjonalnie turn_detection.idle_timeout_ms. Źródła: Speech to Speech · Voice API.

Jak działa wykrywanie zmiany mówcy

W rozmowie głosowej system musi wiedzieć, kiedy użytkownik zaczyna mówić, a kiedy kończy. To zadanie dla VAD (wykrywania aktywności głosowej). Voice Agent API od xAI udostępnia VAD po stronie serwera, server_vad: serwer analizuje strumień audio, wykrywa koniec każdej wypowiedzi i sam inicjuje odpowiedź.

Dwa tryby, jedno pole

Tryb wybierasz w obiekcie turn_detection wewnątrz session.update:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad" }
  }
}
turn_detection.typeKto decyduje o końcu turyCo wysyłasz
"server_vad"Serwerinput_audio_buffer.append, nic więcej
nullTyinput_audio_buffer.append, a następnie input_audio_buffer.commit i response.create

W trybie server_vad serwer dzieli tury, zatwierdza audio i uruchamia odpowiedź. Przerwania są również obsługiwane automatycznie: xAI rekomenduje ten tryb dla naturalnej wymiany zdań, gdy użytkownik przerywa agentowi w połowie zdania. Dokumentacja nie oferuje jednak żadnych ustawień czułości ani czasu trwania ciszy: podział tur leży wyłącznie po stronie serwera.

Zdarzenia VAD

Przy użyciu server_vad serwer zgłasza każde przejście:

  • input_audio_buffer.speech_started: VAD wykryło początek mowy;
  • input_audio_buffer.speech_stopped: wykryto koniec;
  • input_audio_buffer.committed: audio zostało zatwierdzone jako wiadomość użytkownika.
ws.on("message", (data) => {
  const event = JSON.parse(data);
  switch (event.type) {
    case "input_audio_buffer.speech_started":
      stopPlayback();       // użytkownik mówi: wstrzymaj odtwarzanie audio agenta, które już otrzymano
      break;
    case "input_audio_buffer.speech_stopped":
      showThinking();       // wykryto koniec mowy: nadchodzi odpowiedź
      break;
  }
});

Po stronie serwera przerwanie jest automatyczne; po stronie klienta audio, które już otrzymałeś, byłoby nadal odtwarzane, gdybyś go nie wstrzymał. speech_started to właściwy moment, aby wyczyścić kolejkę odtwarzania.

Zachęć milczącego użytkownika: idle_timeout_ms

Jedynym udokumentowanym ustawieniem związanym z VAD jest idle_timeout_ms. Sprawia ono, że agent podejmuje rozmowę na nowo, gdy użytkownik milczy po odpowiedzi:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
  }
}

Jeśli przez tak długi czas po zakończeniu odpowiedzi nie zostanie wykryta mowa, serwer emituje zdarzenie input_audio_buffer.timeout_triggered, zatwierdza turę milczącego użytkownika i generuje sprawdzenie statusu. Timer resetuje się po każdej odpowiedzi, więc zdarzenie to będzie wyzwalane co idle_timeout_ms, dopóki użytkownik nic nie powie. Domyślnie jest wyłączone (null). W przypadku centrali telefonicznej sprawdzenie statusu po kilku sekundach zapobiega przeciąganiu się ciszy; frazę, której agent ma użyć w takim przypadku, zapisz w swoich instrukcjach.

Tryb ręczny: turn_detection.type ustawione na null

W przypadku interfejsu typu „naciśnij i mów“ lub gdy chcesz samodzielnie decydować o końcu tury, ustaw typ na null:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": null }
  }
}

Następnie wysyłasz audio za pomocą input_audio_buffer.append, a gdy użytkownik zwolni przycisk, wysyłasz input_audio_buffer.commit, aby zatwierdzić turę, oraz response.create, aby zażądać odpowiedzi. input_audio_buffer.commit jest dostępne tylko w trybie ręcznym. input_audio_buffer.clear odrzuca audio, które zostało wysłane, ale jeszcze nie zatwierdzone, a response.cancel przerywa trwającą odpowiedź, ponieważ w trybie ręcznym przerwanie nie jest już automatyczne.

Wybierz swój tryb

  • Swobodna rozmowa (asystent, centrala telefoniczna, kiosk): server_vad, z opcjonalnym idle_timeout_ms do zachęcania milczących użytkowników
  • Krótkofalówka, dyktowanie, bardzo hałaśliwe środowiska: tryb ręczny, gdzie koniec tury zależy od przycisku, a szum tła niczego nie wyzwala

Kluczowe wnioski

  • turn_detection.type przyjmuje wartość "server_vad" (serwer dzieli tury i obsługuje przerwania) lub null (tryb ręczny)
  • Dokumentacja xAI nie udostępnia progu czułości ani czasu trwania ciszy do dostosowania
  • Zdarzenia speech_started, speech_stopped i committed raportują przejścia VAD
  • idle_timeout_ms zachęca milczącego użytkownika, generując zdarzenie input_audio_buffer.timeout_triggered
  • W trybie ręcznym: append, następnie commit i response.create