VAD: automatisk taleregistrering
På denne side
Opdateret 3. november 2026 baseret på xAI-siden Speech to Speech og Voice API-referencen: tur-detektering indstilles med
turn_detection.type("server_vad"ellernull) og valgfritturn_detection.idle_timeout_ms. Kilder: Speech to Speech · Voice API.
Sådan fungerer tur-detektering
I en talesamtale skal systemet vide, hvornår brugeren begynder at tale, og hvornår de stopper. Det er VAD’s (Voice Activity Detection) opgave. xAI Voice Agent API tilbyder server-side VAD, server_vad: serveren analyserer lydstrømmen, opdager slutningen på hver ytring og udløser selv svaret.
To tilstande, ét felt
Du vælger tilstanden i turn_detection-objektet i session.update:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad" }
}
}
turn_detection.type | Hvem afgør, hvornår turen slutter | Hvad du sender |
|---|---|---|
"server_vad" | Serveren | input_audio_buffer.append, intet andet |
null | Du | input_audio_buffer.append, derefter input_audio_buffer.commit og response.create |
I server_vad-tilstand opdeler serveren turene, commit’er lyden og starter svaret. Afbrydelser håndteres også automatisk: xAI anbefaler denne tilstand til naturlig tur-tagning, hvor brugeren afbryder agenten midt i en sætning. Dokumentationen tilbyder dog ingen indstillinger for følsomhed eller stilhedsvarighed; opdelingen af ture er serverens ansvar.
VAD-begivenheder
Med server_vad rapporterer serveren hver overgang:
input_audio_buffer.speech_started: VAD har registreret start på tale;input_audio_buffer.speech_stopped: den har registreret slutningen;input_audio_buffer.committed: lyden blev commit’et som brugerens besked.
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
stopPlayback(); // brugeren taler: stop den agent-lyd, du allerede har modtaget
break;
case "input_audio_buffer.speech_stopped":
showThinking(); // slutning på tale registreret: svaret er på vej
break;
}
});
På serversiden er afbrydelse automatisk; på klientsiden ville lyd, du allerede har modtaget, fortsætte med at spille, hvis du ikke stoppede den. speech_started er det rigtige tidspunkt at tømme din afspilningskø.
Opfordring til en tavs bruger: idle_timeout_ms
Den eneste dokumenterede indstilling omkring VAD, idle_timeout_ms, får agenten til at genoptage samtalen, når brugeren tier stille efter et svar:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}
}
Hvis der ikke registreres tale i så lang tid efter et svar er afsluttet, udsender serveren input_audio_buffer.timeout_triggered, commit’er en tavst brugertur og genererer et opfølgende tjek. Timeren nulstilles efter hvert svar, så den udløses igen hver idle_timeout_ms, så længe brugeren ikke siger noget. Den er slået fra som standard (null). På en telefonomstilling vil et tjek efter få sekunder forhindre, at stilheder trækker ud; skriv den opfølgende sætning, som agenten skal bruge, ind i dine instrukser.
Manuel tilstand: turn_detection.type sat til null
Til en push-to-talk-grænseflade, eller når du selv vil bestemme, hvornår en tur slutter, skal du sætte typen til null:
{
"type": "session.update",
"session": {
"turn_detection": { "type": null }
}
}
Du sender derefter lyd med input_audio_buffer.append, og når brugeren slipper knappen, sender du input_audio_buffer.commit for at commit’e turen og response.create for at anmode om svaret. input_audio_buffer.commit er kun tilgængelig i manuel tilstand. input_audio_buffer.clear kasserer lyd, der er sendt, men endnu ikke commit’et, og response.cancel stopper et svar undervejs, da afbrydelse ikke længere er automatisk i manuel tilstand.
Vælg din tilstand
- Flydende samtale (assistent, telefonomstilling, kiosk):
server_vad, medidle_timeout_mstil at opfordre tavse brugere om nødvendigt - Walkie-talkie, diktering, meget støjende omgivelser: manuel tilstand, hvor slutningen på turen følger knappen, og baggrundsstøj ikke længere udløser noget
Vigtige pointer
turn_detection.typeer enten"server_vad"(serveren opdeler ture og håndterer afbrydelser) ellernull(manuel tilstand)- xAI-dokumentationen tilbyder ingen følsomhedstærskel eller stilhedsvarighed at justere
speech_started,speech_stoppedogcommittedrapporterer VAD-overgangeidle_timeout_msopfordrer en tavs bruger via begivenhedeninput_audio_buffer.timeout_triggered- I manuel tilstand:
append, dereftercommitogresponse.create