VAD: automatische spraakdetectie
Op deze pagina
Bijgewerkt op 3 november 2026, gebaseerd op de xAI-pagina Speech to Speech en de Voice API-referentie: turn-detectie wordt ingesteld met
turn_detection.type("server_vad"ofnull) en optioneelturn_detection.idle_timeout_ms. Bronnen: Speech to Speech · Voice API.
Hoe turn-detectie werkt
In een spraakgesprek moet het systeem weten wanneer de gebruiker begint te spreken en wanneer deze stopt. Dat is de taak van VAD (voice activity detection). De xAI Voice Agent API biedt server-side VAD, server_vad: de server analyseert de audiostream, detecteert het einde van elke uiting en triggerd zelf de respons.
Twee modi, één veld
U kiest de modus in het turn_detection-object van session.update:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad" }
}
}
turn_detection.type | Wie bepaalt wanneer de turn eindigt | Wat u verzendt |
|---|---|---|
"server_vad" | De server | input_audio_buffer.append, niets anders |
null | U | input_audio_buffer.append, vervolgens input_audio_buffer.commit en response.create |
In de server_vad-modus splitst de server de turns, commit de audio en start de respons. Onderbrekingen worden ook automatisch afgehandeld: xAI raadt deze modus aan voor natuurlijk beurtwisselen, wanneer de gebruiker de agent halverwege een zin onderbreekt. De documentatie biedt echter geen instellingen voor gevoeligheid of stilte-duur: het splitsen van turns is zaak van de server.
VAD-events
Met server_vad rapporteert de server elke overgang:
input_audio_buffer.speech_started: VAD detecteerde het begin van spraak;input_audio_buffer.speech_stopped: het detecteerde het einde;input_audio_buffer.committed: de audio werd gecommit als bericht van de gebruiker.
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
stopPlayback(); // de gebruiker spreekt: stop de reeds ontvangen agent-audio
break;
case "input_audio_buffer.speech_stopped":
showThinking(); // einde van spraak gedetecteerd: de respons komt eraan
break;
}
});
Aan serverzijde is onderbreking automatisch; aan clientzijde zou audio die u al hebt ontvangen blijven afspelen als u deze niet stopt. speech_started is het juiste moment om uw afspeelwachtrij te legen.
Een stille gebruiker aansporen: idle_timeout_ms
De enige gedocumenteerde instelling rondom VAD, idle_timeout_ms, zorgt ervoor dat de agent het gesprek oppakt wanneer de gebruiker na een respons stil blijft:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}
}
Als er gedurende die tijd geen spraak wordt gedetecteerd nadat een respons is geëindigd, zendt de server input_audio_buffer.timeout_triggered uit, commit een stille gebruiker-turn en genereert een check-in. De timer wordt na elke respons gereset, zodat deze opnieuw afgaat om de idle_timeout_ms zolang de gebruiker niets zegt. Standaard staat dit uit (null). Bij een telefonische centrale houdt een check-in na een paar seconden lange stiltes tegen; schrijf de follow-upzin die de agent moet gebruiken in uw instructies.
Handmatige modus: turn_detection.type ingesteld op null
Voor een push-to-talk-interface, of wanneer u zelf wilt bepalen wanneer een turn eindigt, stelt u het type in op null:
{
"type": "session.update",
"session": {
"turn_detection": { "type": null }
}
}
U verzendt vervolgens audio met input_audio_buffer.append en wanneer de gebruiker de knop loslaat, verzendt u input_audio_buffer.commit om de turn te committen en response.create om de respons aan te vragen. input_audio_buffer.commit is alleen beschikbaar in de handmatige modus. input_audio_buffer.clear verwerpt audio die is verzonden maar nog niet gecommit, en response.cancel stopt een lopende respons, aangezien onderbreking in de handmatige modus niet langer automatisch verloopt.
Kies uw modus
- Vrij vloeiend gesprek (assistent, telefonische centrale, kiosk):
server_vad, metidle_timeout_msom stille gebruikers indien nodig aan te spreken - Walkietalkie, dicteren, zeer lawaaierige omgevingen: handmatige modus, waarbij het einde van de turn de knop volgt en achtergrondgeluid niets meer triggert
Belangrijkste punten
turn_detection.typeis entweder"server_vad"(de server splitst turns en handelt onderbrekingen af) ofnull(handmatige modus)- De xAI-documentatie biedt geen gevoeligheidsdrempel of stilte-duur om af te stemmen
speech_started,speech_stoppedencommittedrapporteren VAD-overgangenidle_timeout_msspoort een stille gebruiker aan, met het eventinput_audio_buffer.timeout_triggered- In handmatige modus:
append, vervolgenscommitenresponse.create