Spring til hovedindhold
Dansk— Vælg et sprog
Menu

VAD: automatisk taleregistrering

Lektion 6 af 16 Opdateret 3. november 2026 Udvikler
På denne side
  1. Sådan fungerer tur-detektering
  2. To tilstande, ét felt
  3. VAD-begivenheder
  4. Opfordring til en tavs bruger: idle_timeout_ms
  5. Manuel tilstand: turn_detection.type sat til null
  6. Vælg din tilstand
  7. Vigtige pointer

Opdateret 3. november 2026 baseret på xAI-siden Speech to Speech og Voice API-referencen: tur-detektering indstilles med turn_detection.type ("server_vad" eller null) og valgfrit turn_detection.idle_timeout_ms. Kilder: Speech to Speech · Voice API.

Sådan fungerer tur-detektering

I en talesamtale skal systemet vide, hvornår brugeren begynder at tale, og hvornår de stopper. Det er VAD’s (Voice Activity Detection) opgave. xAI Voice Agent API tilbyder server-side VAD, server_vad: serveren analyserer lydstrømmen, opdager slutningen på hver ytring og udløser selv svaret.

To tilstande, ét felt

Du vælger tilstanden i turn_detection-objektet i session.update:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad" }
  }
}
turn_detection.typeHvem afgør, hvornår turen slutterHvad du sender
"server_vad"Servereninput_audio_buffer.append, intet andet
nullDuinput_audio_buffer.append, derefter input_audio_buffer.commit og response.create

I server_vad-tilstand opdeler serveren turene, commit’er lyden og starter svaret. Afbrydelser håndteres også automatisk: xAI anbefaler denne tilstand til naturlig tur-tagning, hvor brugeren afbryder agenten midt i en sætning. Dokumentationen tilbyder dog ingen indstillinger for følsomhed eller stilhedsvarighed; opdelingen af ture er serverens ansvar.

VAD-begivenheder

Med server_vad rapporterer serveren hver overgang:

  • input_audio_buffer.speech_started: VAD har registreret start på tale;
  • input_audio_buffer.speech_stopped: den har registreret slutningen;
  • input_audio_buffer.committed: lyden blev commit’et som brugerens besked.
ws.on("message", (data) => {
  const event = JSON.parse(data);
  switch (event.type) {
    case "input_audio_buffer.speech_started":
      stopPlayback();       // brugeren taler: stop den agent-lyd, du allerede har modtaget
      break;
    case "input_audio_buffer.speech_stopped":
      showThinking();       // slutning på tale registreret: svaret er på vej
      break;
  }
});

På serversiden er afbrydelse automatisk; på klientsiden ville lyd, du allerede har modtaget, fortsætte med at spille, hvis du ikke stoppede den. speech_started er det rigtige tidspunkt at tømme din afspilningskø.

Opfordring til en tavs bruger: idle_timeout_ms

Den eneste dokumenterede indstilling omkring VAD, idle_timeout_ms, får agenten til at genoptage samtalen, når brugeren tier stille efter et svar:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
  }
}

Hvis der ikke registreres tale i så lang tid efter et svar er afsluttet, udsender serveren input_audio_buffer.timeout_triggered, commit’er en tavst brugertur og genererer et opfølgende tjek. Timeren nulstilles efter hvert svar, så den udløses igen hver idle_timeout_ms, så længe brugeren ikke siger noget. Den er slået fra som standard (null). På en telefonomstilling vil et tjek efter få sekunder forhindre, at stilheder trækker ud; skriv den opfølgende sætning, som agenten skal bruge, ind i dine instrukser.

Manuel tilstand: turn_detection.type sat til null

Til en push-to-talk-grænseflade, eller når du selv vil bestemme, hvornår en tur slutter, skal du sætte typen til null:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": null }
  }
}

Du sender derefter lyd med input_audio_buffer.append, og når brugeren slipper knappen, sender du input_audio_buffer.commit for at commit’e turen og response.create for at anmode om svaret. input_audio_buffer.commit er kun tilgængelig i manuel tilstand. input_audio_buffer.clear kasserer lyd, der er sendt, men endnu ikke commit’et, og response.cancel stopper et svar undervejs, da afbrydelse ikke længere er automatisk i manuel tilstand.

Vælg din tilstand

  • Flydende samtale (assistent, telefonomstilling, kiosk): server_vad, med idle_timeout_ms til at opfordre tavse brugere om nødvendigt
  • Walkie-talkie, diktering, meget støjende omgivelser: manuel tilstand, hvor slutningen på turen følger knappen, og baggrundsstøj ikke længere udløser noget

Vigtige pointer

  • turn_detection.type er enten "server_vad" (serveren opdeler ture og håndterer afbrydelser) eller null (manuel tilstand)
  • xAI-dokumentationen tilbyder ingen følsomhedstærskel eller stilhedsvarighed at justere
  • speech_started, speech_stopped og committed rapporterer VAD-overgange
  • idle_timeout_ms opfordrer en tavs bruger via begivenheden input_audio_buffer.timeout_triggered
  • I manuel tilstand: append, derefter commit og response.create