VAD: automatische Spracherkennung
Auf dieser Seite
Aktualisiert am 3. November 2026, basierend auf der xAI-Seite Speech to Speech und der Voice-API-Referenz: Die Erkennung von Sprechwechseln wird mit
turn_detection.type("server_vad"odernull) und optional mitturn_detection.idle_timeout_mskonfiguriert. Quellen: Speech to Speech · Voice API.
Funktionsweise der Sprechwechsel-Erkennung
In einem Sprachgespräch muss das System wissen, wann der Nutzer spricht und wann er aufhört. Dafür ist die VAD (Voice Activity Detection) zuständig. Die xAI Voice Agent API bietet serverseitige VAD, server_vad: Der Server analysiert den Audio-Stream, erkennt das Ende jedes Äußerungsabschnitts und löst die Antwort selbst aus.
Zwei Modi, ein Feld
Sie wählen den Modus im Objekt turn_detection von session.update:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad" }
}
}
turn_detection.type | Wer entscheidet, wann der Wechsel endet | Was Sie senden |
|---|---|---|
"server_vad" | Der Server | input_audio_buffer.append, nichts anderes |
null | Sie | input_audio_buffer.append, dann input_audio_buffer.commit und response.create |
Im Modus server_vad teilt der Server die Sprechwechsel auf, bestätigt den Audio-Datensatz und startet die Antwort. Unterbrechungen werden ebenfalls automatisch verarbeitet: xAI empfiehlt diesen Modus für ein natürliches Gesprächswechselverhalten, wenn der Nutzer den Agenten mitten im Satz unterbricht. Die Dokumentation bietet jedoch keine Einstellung für die Empfindlichkeit oder die Stille-Dauer an: Die Aufteilung der Sprechwechsel liegt in der Verantwortung des Servers.
VAD-Ereignisse
Mit server_vad meldet der Server jeden Übergang:
input_audio_buffer.speech_started: Die VAD hat den Beginn der Sprache erkannt;input_audio_buffer.speech_stopped: Sie hat das Ende der Sprache erkannt;input_audio_buffer.committed: Der Audio-Datensatz wurde als Nachricht des Nutzers bestätigt.
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
stopPlayback(); // Der Nutzer spricht: Stoppen Sie die bereits empfangene Agenten-Audio-Wiedergabe
break;
case "input_audio_buffer.speech_stopped":
showThinking(); // Ende der Sprache erkannt: Die Antwort ist unterwegs
break;
}
});
Auf Serverseite ist die Unterbrechung automatisch; auf Clientseite würde bereits empfangener Audio-Inhalt weiter abgespielt, wenn Sie ihn nicht stoppen würden. speech_started ist der richtige Zeitpunkt, um Ihre Wiedergabe-Warteschlange zu leeren.
Einen stillen Nutzer ansprechen: idle_timeout_ms
Die einzige dokumentierte Einstellung rund um die VAD, idle_timeout_ms, sorgt dafür, dass der Agent das Gespräch wieder aufnimmt, wenn der Nutzer nach einer Antwort schweigt:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}
}
Wenn nach dem Ende einer Antwort keine Sprache für diese Zeitspanne erkannt wird, sendet der Server das Ereignis input_audio_buffer.timeout_triggered, bestätigt einen Sprechwechsel des stillen Nutzers und generiert eine Rückfrage. Der Timer wird nach jeder Antwort zurückgesetzt, sodass er so lange alle idle_timeout_ms erneut auslöst, wie der Nutzer nichts sagt. Standardmäßig ist sie deaktiviert (null). In einem Telefon-Schalter sorgt eine Rückfrage nach wenigen Sekunden dafür, dass Stillephasen nicht unnötig lange andauern; schreiben Sie die Nachfolgephrase, die der Agent verwenden soll, in Ihre Anweisungen.
Manueller Modus: turn_detection.type auf null gesetzt
Für eine Push-to-Talk-Oberfläche oder wann immer Sie selbst entscheiden möchten, wann ein Sprechwechsel endet, setzen Sie den Typ auf null:
{
"type": "session.update",
"session": {
"turn_detection": { "type": null }
}
}
Sie senden Audio mit input_audio_buffer.append und senden bei Loslassen der Taste input_audio_buffer.commit, um den Sprechwechsel zu bestätigen, sowie response.create, um die Antwort anzufordern. input_audio_buffer.commit steht nur im manuellen Modus zur Verfügung. input_audio_buffer.clear verwirft Audio, das gesendet, aber noch nicht bestätigt wurde, und response.cancel stoppt eine laufende Antwort, da Unterbrechungen im manuellen Modus nicht mehr automatisch erfolgen.
Modus wählen
- Fließendes Gespräch (Assistent, Telefon-Schalter, Kiosk):
server_vad, mitidle_timeout_ms, um stille Nutzer ggf. anzusprechen - Walkie-Talkie, Diktiergerät, sehr laute Umgebungen: manueller Modus, bei dem das Ende des Sprechwechsels der Taste folgt und Hintergrundgeräusche nichts auslösen
Kernaussagen
turn_detection.typeist entweder"server_vad"(der Server teilt Sprechwechsel auf und verarbeitet Unterbrechungen) odernull(manueller Modus)- Die xAI-Dokumentation bietet keinen Schwellenwert für die Empfindlichkeit oder eine Stille-Dauer zur Anpassung
speech_started,speech_stoppedundcommittedmelden VAD-Übergängeidle_timeout_msfordert einen stillen Nutzer auf, ausgelöst durch das Ereignisinput_audio_buffer.timeout_triggered- Im manuellen Modus:
append, danncommitundresponse.create