VAD: automatisk taldetektering
På denna sida
Uppdaterat den 3 november 2026, baserat på xAI:s sida Speech to Speech och referensen för Voice API: turdetektering ställs in med
turn_detection.type("server_vad"ellernull) och, valfritt,turn_detection.idle_timeout_ms. Källor: Speech to Speech · Voice API.
Hur turdetektering fungerar
I ett röstbaserat samtal måste systemet veta när användaren börjar prata och när hen slutar. Det är VAD:s (Voice Activity Detection) uppgift. xAI Voice Agent API tillhandahåller serversidig VAD, server_vad: servern analyserar ljudströmmen, identifierar slutet på varje yttrande och utlöser svaret automatiskt.
Två lägen, ett fält
Du väljer läge i objektet turn_detection inom session.update:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad" }
}
}
turn_detection.type | Vem avgör när turen slutar | Vad du skickar |
|---|---|---|
"server_vad" | Servern | input_audio_buffer.append, inget annat |
null | Du | input_audio_buffer.append, sedan input_audio_buffer.commit och response.create |
I läget server_vad delar servern upp turerna, commit:ar ljudet och startar svaret. Avbrott hanteras också automatiskt: xAI rekommenderar detta läge för naturligt turtagande, särskilt när användaren avbryter agenten mitt i en mening. Dokumentationen erbjuder dock inga inställningar för känslighet eller tystnadsduration: att dela upp turerna är serverns ansvar.
VAD-händelser
Med server_vad rapporterar servern varje övergång:
input_audio_buffer.speech_started: VAD har detekterat start av tal;input_audio_buffer.speech_stopped: den har detekterat slutet;input_audio_buffer.committed: ljudet har commit:ats som användarens meddelande.
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
stopPlayback(); // användaren pratar: stoppa agentljudet som redan mottagits
break;
case "input_audio_buffer.speech_stopped":
showThinking(); // slut på tal detekterat: svaret är på väg
break;
}
});
På serversidan är avbrott automatiska; på klientsidan skulle ljud du redan mottagit fortsätta spelas om du inte stoppade det. speech_started är rätt tillfälle att tömma din uppspelningskö.
Uppmana en tyst användare: idle_timeout_ms
Den enda dokumenterade inställningen kring VAD, idle_timeout_ms, får agenten att ta upp konversationen igen när användaren blir tyst efter ett svar:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}
}
Om inget tal detekteras under denna tid efter att ett svar har avslutats, emitterar servern input_audio_buffer.timeout_triggered, commit:ar en tyst användartur och genererar en incheckning. Timern återställs efter varje svar, så den utlöses igen var idle_timeout_ms så länge användaren säger ingenting. Den är avstängd som standard (null). På en telefonväxel håller en incheckning efter några sekunder tystnader från att dra ut på tiden; skriv in uppföljningsfrasen som agenten ska använda i dina instruktioner.
Manuellt läge: turn_detection.type satt till null
För ett push-to-talk-gränssnitt, eller närhelst du själv vill bestämma när en tur slutar, ställ in typen till null:
{
"type": "session.update",
"session": {
"turn_detection": { "type": null }
}
}
Du skickar sedan ljud med input_audio_buffer.append och, när användaren släpper knappen, skickar du input_audio_buffer.commit för att commit:a turen samt response.create för att begära svaret. input_audio_buffer.commit är endast tillgängligt i manuellt läge. input_audio_buffer.clear kasserar ljud som skickats men ännu inte commit:ats, och response.cancel stoppar ett pågående svar, eftersom avbrott inte längre är automatiska i manuellt läge.
Välj ditt läge
- Flytande konversation (assistent, telefonväxel, kiosk):
server_vad, medidle_timeout_msför att uppmuntra tysta användare vid behov - Walkie-talkie, diktering, mycket brusiga miljöer: manuellt läge, där slutet på turen följer knappen och bakgrundsljud inte längre utlöser något
Viktiga punkter
turn_detection.typeär antingen"server_vad"(servern delar upp turerna och hanterar avbrott) ellernull(manuellt läge)- xAI:s dokumentation erbjuder inga tröskelvärden för känslighet eller tystnadsduration att justera
speech_started,speech_stoppedochcommittedrapporterar VAD-övergångaridle_timeout_msuppmanar en tyst användare via händelseninput_audio_buffer.timeout_triggered- I manuellt läge:
append, sedancommitochresponse.create