Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

VAD: automatisk taldetektering

Lektion 6 av 16 Uppdaterad 3 november 2026 Utvecklare
På denna sida
  1. Hur turdetektering fungerar
  2. Två lägen, ett fält
  3. VAD-händelser
  4. Uppmana en tyst användare: idle_timeout_ms
  5. Manuellt läge: turn_detection.type satt till null
  6. Välj ditt läge
  7. Viktiga punkter

Uppdaterat den 3 november 2026, baserat på xAI:s sida Speech to Speech och referensen för Voice API: turdetektering ställs in med turn_detection.type ("server_vad" eller null) och, valfritt, turn_detection.idle_timeout_ms. Källor: Speech to Speech · Voice API.

Hur turdetektering fungerar

I ett röstbaserat samtal måste systemet veta när användaren börjar prata och när hen slutar. Det är VAD:s (Voice Activity Detection) uppgift. xAI Voice Agent API tillhandahåller serversidig VAD, server_vad: servern analyserar ljudströmmen, identifierar slutet på varje yttrande och utlöser svaret automatiskt.

Två lägen, ett fält

Du väljer läge i objektet turn_detection inom session.update:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad" }
  }
}
turn_detection.typeVem avgör när turen slutarVad du skickar
"server_vad"Serverninput_audio_buffer.append, inget annat
nullDuinput_audio_buffer.append, sedan input_audio_buffer.commit och response.create

I läget server_vad delar servern upp turerna, commit:ar ljudet och startar svaret. Avbrott hanteras också automatiskt: xAI rekommenderar detta läge för naturligt turtagande, särskilt när användaren avbryter agenten mitt i en mening. Dokumentationen erbjuder dock inga inställningar för känslighet eller tystnadsduration: att dela upp turerna är serverns ansvar.

VAD-händelser

Med server_vad rapporterar servern varje övergång:

  • input_audio_buffer.speech_started: VAD har detekterat start av tal;
  • input_audio_buffer.speech_stopped: den har detekterat slutet;
  • input_audio_buffer.committed: ljudet har commit:ats som användarens meddelande.
ws.on("message", (data) => {
  const event = JSON.parse(data);
  switch (event.type) {
    case "input_audio_buffer.speech_started":
      stopPlayback();       // användaren pratar: stoppa agentljudet som redan mottagits
      break;
    case "input_audio_buffer.speech_stopped":
      showThinking();       // slut på tal detekterat: svaret är på väg
      break;
  }
});

På serversidan är avbrott automatiska; på klientsidan skulle ljud du redan mottagit fortsätta spelas om du inte stoppade det. speech_started är rätt tillfälle att tömma din uppspelningskö.

Uppmana en tyst användare: idle_timeout_ms

Den enda dokumenterade inställningen kring VAD, idle_timeout_ms, får agenten att ta upp konversationen igen när användaren blir tyst efter ett svar:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
  }
}

Om inget tal detekteras under denna tid efter att ett svar har avslutats, emitterar servern input_audio_buffer.timeout_triggered, commit:ar en tyst användartur och genererar en incheckning. Timern återställs efter varje svar, så den utlöses igen var idle_timeout_ms så länge användaren säger ingenting. Den är avstängd som standard (null). På en telefonväxel håller en incheckning efter några sekunder tystnader från att dra ut på tiden; skriv in uppföljningsfrasen som agenten ska använda i dina instruktioner.

Manuellt läge: turn_detection.type satt till null

För ett push-to-talk-gränssnitt, eller närhelst du själv vill bestämma när en tur slutar, ställ in typen till null:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": null }
  }
}

Du skickar sedan ljud med input_audio_buffer.append och, när användaren släpper knappen, skickar du input_audio_buffer.commit för att commit:a turen samt response.create för att begära svaret. input_audio_buffer.commit är endast tillgängligt i manuellt läge. input_audio_buffer.clear kasserar ljud som skickats men ännu inte commit:ats, och response.cancel stoppar ett pågående svar, eftersom avbrott inte längre är automatiska i manuellt läge.

Välj ditt läge

  • Flytande konversation (assistent, telefonväxel, kiosk): server_vad, med idle_timeout_ms för att uppmuntra tysta användare vid behov
  • Walkie-talkie, diktering, mycket brusiga miljöer: manuellt läge, där slutet på turen följer knappen och bakgrundsljud inte längre utlöser något

Viktiga punkter

  • turn_detection.type är antingen "server_vad" (servern delar upp turerna och hanterar avbrott) eller null (manuellt läge)
  • xAI:s dokumentation erbjuder inga tröskelvärden för känslighet eller tystnadsduration att justera
  • speech_started, speech_stopped och committed rapporterar VAD-övergångar
  • idle_timeout_ms uppmanar en tyst användare via händelsen input_audio_buffer.timeout_triggered
  • I manuellt läge: append, sedan commit och response.create