Премини към основното съдържание
Български— Изберете език
Меню

VAD: автоматично откриване на реч

Урок 6 от 16 Обновен 3 ноември 2026 г. Програмист
На тази страница
  1. Как работи откриването на реплики
  2. Два режима, едно поле
  3. Събития на VAD
  4. Подканване на мълчалив потребител: idle_timeout_ms
  5. Ръчен режим: turn_detection.type зададен на null
  6. Изберете своя режим
  7. Ключови изводи

Обновено на 3 ноември 2026 г., въз основа на страницата Speech to Speech на xAI и справочника за Voice API: откриването на реплики се настройва чрез turn_detection.type ("server_vad" или null) и по желание чрез turn_detection.idle_timeout_ms. Източници: Speech to Speech · Voice API.

Как работи откриването на реплики

При гласов разговор системата трябва да знае кога потребителят започва да говори и кога спира. Това е задачата на VAD (откриване на гласова активност). Voice Agent API на xAI предоставя сървърно VAD, означено като server_vad: сървърът анализира аудио потока, открива края на всяко изказване и сам инициира отговора.

Два режима, едно поле

Избирате режима в обекта turn_detection на събитието session.update:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad" }
  }
}
turn_detection.typeКой решава кога приключва репликатаКакво изпращате
"server_vad"Сървърътinput_audio_buffer.append, нищо друго
nullВиеinput_audio_buffer.append, след това input_audio_buffer.commit и response.create

В режим server_vad сървърът разделя репликите, потвърждава аудиото и стартира отговора. Прекъсванията също се обработват автоматично: xAI препоръчва този режим за естествена смяна на репликите, когато потребителят прекъсне агента по средата на изречението. Документацията обаче не предлага настройки за чувствителност или продължителност на тишината: разделянето на реплики е изцяло отговорност на сървъра.

Събития на VAD

При използване на server_vad сървърът докладва всеки преход:

  • input_audio_buffer.speech_started: VAD е открило началото на речта;
  • input_audio_buffer.speech_stopped: открило е края ѝ;
  • input_audio_buffer.committed: аудиото е потвърдено като съобщение от потребителя.
ws.on("message", (data) => {
  const event = JSON.parse(data);
  switch (event.type) {
    case "input_audio_buffer.speech_started":
      stopPlayback();       // потребителят говори: спрете възпроизвеждането на вече полученото аудио от агента
      break;
    case "input_audio_buffer.speech_stopped":
      showThinking();       // открит е край на речта: идва отговорът
      break;
  }
});

От страна на сървъра прекъсването е автоматично; от страна на клиента аудиото, което вече сте получили, би продължило да се възпроизвежда, ако не го спрете. speech_started е правилният момент да изпразните опашката си за възпроизвеждане.

Подканване на мълчалив потребител: idle_timeout_ms

Единствената документирана настройка около VAD, idle_timeout_ms, кара агента да поднови разговора, когато потребителят замълчи след отговор:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
  }
}

Ако не бъде открита реч за толкова време след края на отговора, сървърът излъчва събитието input_audio_buffer.timeout_triggered, потвърждава тиха реплика от потребителя и генерира проверка за връзка. Таймерът се нулира след всеки отговор, така че се задейства отново на всеки idle_timeout_ms, докато потребителят не проговори. По подразбиране е изключен (null). При телефонна централа проверката за връзка след няколко секунди предотвратява влаченето на тишината; запишете фразата за последващи действия, която агентът трябва да използва, във вашите инструкции.

Ръчен режим: turn_detection.type зададен на null

За интерфейс тип «натисни и говори» или когато искате сами да решите кога приключва дадена реплика, задайте типа на null:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": null }
  }
}

След това изпращате аудио чрез input_audio_buffer.append и когато потребителят пусне бутона, изпращате input_audio_buffer.commit, за да потвърдите репликата, и response.create, за да поискате отговор. input_audio_buffer.commit е достъпно само в ръчен режим. input_audio_buffer.clear отхвърля изпратено, но все още непотвърдено аудио, а response.cancel спира отговор в процес на изпълнение, тъй като при ръчен режим прекъсването вече не е автоматично.

Изберете своя режим

  • Свободен разговор (асистент, телефонна централа, киоск): server_vad, с idle_timeout_ms за подканване на мълчаливи потребители, ако е необходимо.
  • Уоки-токи, диктовка, много шумни среди: ръчен режим, при който краят на репликата следва натискането на бутона, а фоновият шум не задейства нищо.

Ключови изводи

  • turn_detection.type е или "server_vad" (сървърът разделя репликите и обработва прекъсванията), или null (ръчен режим)
  • Документацията на xAI не предлага праг на чувствителност или продължителност на тишината за настройка
  • speech_started, speech_stopped и committed докладват преходите на VAD
  • idle_timeout_ms подканва мълчалив потребител чрез събитието input_audio_buffer.timeout_triggered
  • В ръчен режим: append, след това commit и response.create