Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

VAD: automatische spraakdetectie

Les 6 van 16 Bijgewerkt op 3 november 2026 Ontwikkelaar
Op deze pagina
  1. Hoe turn-detectie werkt
  2. Twee modi, één veld
  3. VAD-events
  4. Een stille gebruiker aansporen: idle_timeout_ms
  5. Handmatige modus: turn_detection.type ingesteld op null
  6. Kies uw modus
  7. Belangrijkste punten

Bijgewerkt op 3 november 2026, gebaseerd op de xAI-pagina Speech to Speech en de Voice API-referentie: turn-detectie wordt ingesteld met turn_detection.type ("server_vad" of null) en optioneel turn_detection.idle_timeout_ms. Bronnen: Speech to Speech · Voice API.

Hoe turn-detectie werkt

In een spraakgesprek moet het systeem weten wanneer de gebruiker begint te spreken en wanneer deze stopt. Dat is de taak van VAD (voice activity detection). De xAI Voice Agent API biedt server-side VAD, server_vad: de server analyseert de audiostream, detecteert het einde van elke uiting en triggerd zelf de respons.

Twee modi, één veld

U kiest de modus in het turn_detection-object van session.update:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad" }
  }
}
turn_detection.typeWie bepaalt wanneer de turn eindigtWat u verzendt
"server_vad"De serverinput_audio_buffer.append, niets anders
nullUinput_audio_buffer.append, vervolgens input_audio_buffer.commit en response.create

In de server_vad-modus splitst de server de turns, commit de audio en start de respons. Onderbrekingen worden ook automatisch afgehandeld: xAI raadt deze modus aan voor natuurlijk beurtwisselen, wanneer de gebruiker de agent halverwege een zin onderbreekt. De documentatie biedt echter geen instellingen voor gevoeligheid of stilte-duur: het splitsen van turns is zaak van de server.

VAD-events

Met server_vad rapporteert de server elke overgang:

  • input_audio_buffer.speech_started: VAD detecteerde het begin van spraak;
  • input_audio_buffer.speech_stopped: het detecteerde het einde;
  • input_audio_buffer.committed: de audio werd gecommit als bericht van de gebruiker.
ws.on("message", (data) => {
  const event = JSON.parse(data);
  switch (event.type) {
    case "input_audio_buffer.speech_started":
      stopPlayback();       // de gebruiker spreekt: stop de reeds ontvangen agent-audio
      break;
    case "input_audio_buffer.speech_stopped":
      showThinking();       // einde van spraak gedetecteerd: de respons komt eraan
      break;
  }
});

Aan serverzijde is onderbreking automatisch; aan clientzijde zou audio die u al hebt ontvangen blijven afspelen als u deze niet stopt. speech_started is het juiste moment om uw afspeelwachtrij te legen.

Een stille gebruiker aansporen: idle_timeout_ms

De enige gedocumenteerde instelling rondom VAD, idle_timeout_ms, zorgt ervoor dat de agent het gesprek oppakt wanneer de gebruiker na een respons stil blijft:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
  }
}

Als er gedurende die tijd geen spraak wordt gedetecteerd nadat een respons is geëindigd, zendt de server input_audio_buffer.timeout_triggered uit, commit een stille gebruiker-turn en genereert een check-in. De timer wordt na elke respons gereset, zodat deze opnieuw afgaat om de idle_timeout_ms zolang de gebruiker niets zegt. Standaard staat dit uit (null). Bij een telefonische centrale houdt een check-in na een paar seconden lange stiltes tegen; schrijf de follow-upzin die de agent moet gebruiken in uw instructies.

Handmatige modus: turn_detection.type ingesteld op null

Voor een push-to-talk-interface, of wanneer u zelf wilt bepalen wanneer een turn eindigt, stelt u het type in op null:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": null }
  }
}

U verzendt vervolgens audio met input_audio_buffer.append en wanneer de gebruiker de knop loslaat, verzendt u input_audio_buffer.commit om de turn te committen en response.create om de respons aan te vragen. input_audio_buffer.commit is alleen beschikbaar in de handmatige modus. input_audio_buffer.clear verwerpt audio die is verzonden maar nog niet gecommit, en response.cancel stopt een lopende respons, aangezien onderbreking in de handmatige modus niet langer automatisch verloopt.

Kies uw modus

  • Vrij vloeiend gesprek (assistent, telefonische centrale, kiosk): server_vad, met idle_timeout_ms om stille gebruikers indien nodig aan te spreken
  • Walkietalkie, dicteren, zeer lawaaierige omgevingen: handmatige modus, waarbij het einde van de turn de knop volgt en achtergrondgeluid niets meer triggert

Belangrijkste punten

  • turn_detection.type is entweder "server_vad" (de server splitst turns en handelt onderbrekingen af) of null (handmatige modus)
  • De xAI-documentatie biedt geen gevoeligheidsdrempel of stilte-duur om af te stemmen
  • speech_started, speech_stopped en committed rapporteren VAD-overgangen
  • idle_timeout_ms spoort een stille gebruiker aan, met het event input_audio_buffer.timeout_triggered
  • In handmatige modus: append, vervolgens commit en response.create