VAD: автоматично откриване на реч
На тази страница
Обновено на 3 ноември 2026 г., въз основа на страницата Speech to Speech на xAI и справочника за Voice API: откриването на реплики се настройва чрез
turn_detection.type("server_vad"илиnull) и по желание чрезturn_detection.idle_timeout_ms. Източници: Speech to Speech · Voice API.
Как работи откриването на реплики
При гласов разговор системата трябва да знае кога потребителят започва да говори и кога спира. Това е задачата на VAD (откриване на гласова активност). Voice Agent API на xAI предоставя сървърно VAD, означено като server_vad: сървърът анализира аудио потока, открива края на всяко изказване и сам инициира отговора.
Два режима, едно поле
Избирате режима в обекта turn_detection на събитието session.update:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad" }
}
}
turn_detection.type | Кой решава кога приключва репликата | Какво изпращате |
|---|---|---|
"server_vad" | Сървърът | input_audio_buffer.append, нищо друго |
null | Вие | input_audio_buffer.append, след това input_audio_buffer.commit и response.create |
В режим server_vad сървърът разделя репликите, потвърждава аудиото и стартира отговора. Прекъсванията също се обработват автоматично: xAI препоръчва този режим за естествена смяна на репликите, когато потребителят прекъсне агента по средата на изречението. Документацията обаче не предлага настройки за чувствителност или продължителност на тишината: разделянето на реплики е изцяло отговорност на сървъра.
Събития на VAD
При използване на server_vad сървърът докладва всеки преход:
input_audio_buffer.speech_started: VAD е открило началото на речта;input_audio_buffer.speech_stopped: открило е края ѝ;input_audio_buffer.committed: аудиото е потвърдено като съобщение от потребителя.
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
stopPlayback(); // потребителят говори: спрете възпроизвеждането на вече полученото аудио от агента
break;
case "input_audio_buffer.speech_stopped":
showThinking(); // открит е край на речта: идва отговорът
break;
}
});
От страна на сървъра прекъсването е автоматично; от страна на клиента аудиото, което вече сте получили, би продължило да се възпроизвежда, ако не го спрете. speech_started е правилният момент да изпразните опашката си за възпроизвеждане.
Подканване на мълчалив потребител: idle_timeout_ms
Единствената документирана настройка около VAD, idle_timeout_ms, кара агента да поднови разговора, когато потребителят замълчи след отговор:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}
}
Ако не бъде открита реч за толкова време след края на отговора, сървърът излъчва събитието input_audio_buffer.timeout_triggered, потвърждава тиха реплика от потребителя и генерира проверка за връзка. Таймерът се нулира след всеки отговор, така че се задейства отново на всеки idle_timeout_ms, докато потребителят не проговори. По подразбиране е изключен (null). При телефонна централа проверката за връзка след няколко секунди предотвратява влаченето на тишината; запишете фразата за последващи действия, която агентът трябва да използва, във вашите инструкции.
Ръчен режим: turn_detection.type зададен на null
За интерфейс тип «натисни и говори» или когато искате сами да решите кога приключва дадена реплика, задайте типа на null:
{
"type": "session.update",
"session": {
"turn_detection": { "type": null }
}
}
След това изпращате аудио чрез input_audio_buffer.append и когато потребителят пусне бутона, изпращате input_audio_buffer.commit, за да потвърдите репликата, и response.create, за да поискате отговор. input_audio_buffer.commit е достъпно само в ръчен режим. input_audio_buffer.clear отхвърля изпратено, но все още непотвърдено аудио, а response.cancel спира отговор в процес на изпълнение, тъй като при ръчен режим прекъсването вече не е автоматично.
Изберете своя режим
- Свободен разговор (асистент, телефонна централа, киоск):
server_vad, сidle_timeout_msза подканване на мълчаливи потребители, ако е необходимо. - Уоки-токи, диктовка, много шумни среди: ръчен режим, при който краят на репликата следва натискането на бутона, а фоновият шум не задейства нищо.
Ключови изводи
turn_detection.typeе или"server_vad"(сървърът разделя репликите и обработва прекъсванията), илиnull(ръчен режим)- Документацията на xAI не предлага праг на чувствителност или продължителност на тишината за настройка
speech_started,speech_stoppedиcommittedдокладват преходите на VADidle_timeout_msподканва мълчалив потребител чрез събитиетоinput_audio_buffer.timeout_triggered- В ръчен режим:
append, след товаcommitиresponse.create