Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

VAD: automatische Spracherkennung

Lektion 6 von 16 Aktualisiert am 3. November 2026 Entwickler
Auf dieser Seite
  1. Funktionsweise der Sprechwechsel-Erkennung
  2. Zwei Modi, ein Feld
  3. VAD-Ereignisse
  4. Einen stillen Nutzer ansprechen: idle_timeout_ms
  5. Manueller Modus: turn_detection.type auf null gesetzt
  6. Modus wählen
  7. Kernaussagen

Aktualisiert am 3. November 2026, basierend auf der xAI-Seite Speech to Speech und der Voice-API-Referenz: Die Erkennung von Sprechwechseln wird mit turn_detection.type ("server_vad" oder null) und optional mit turn_detection.idle_timeout_ms konfiguriert. Quellen: Speech to Speech · Voice API.

Funktionsweise der Sprechwechsel-Erkennung

In einem Sprachgespräch muss das System wissen, wann der Nutzer spricht und wann er aufhört. Dafür ist die VAD (Voice Activity Detection) zuständig. Die xAI Voice Agent API bietet serverseitige VAD, server_vad: Der Server analysiert den Audio-Stream, erkennt das Ende jedes Äußerungsabschnitts und löst die Antwort selbst aus.

Zwei Modi, ein Feld

Sie wählen den Modus im Objekt turn_detection von session.update:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad" }
  }
}
turn_detection.typeWer entscheidet, wann der Wechsel endetWas Sie senden
"server_vad"Der Serverinput_audio_buffer.append, nichts anderes
nullSieinput_audio_buffer.append, dann input_audio_buffer.commit und response.create

Im Modus server_vad teilt der Server die Sprechwechsel auf, bestätigt den Audio-Datensatz und startet die Antwort. Unterbrechungen werden ebenfalls automatisch verarbeitet: xAI empfiehlt diesen Modus für ein natürliches Gesprächswechselverhalten, wenn der Nutzer den Agenten mitten im Satz unterbricht. Die Dokumentation bietet jedoch keine Einstellung für die Empfindlichkeit oder die Stille-Dauer an: Die Aufteilung der Sprechwechsel liegt in der Verantwortung des Servers.

VAD-Ereignisse

Mit server_vad meldet der Server jeden Übergang:

  • input_audio_buffer.speech_started: Die VAD hat den Beginn der Sprache erkannt;
  • input_audio_buffer.speech_stopped: Sie hat das Ende der Sprache erkannt;
  • input_audio_buffer.committed: Der Audio-Datensatz wurde als Nachricht des Nutzers bestätigt.
ws.on("message", (data) => {
  const event = JSON.parse(data);
  switch (event.type) {
    case "input_audio_buffer.speech_started":
      stopPlayback();       // Der Nutzer spricht: Stoppen Sie die bereits empfangene Agenten-Audio-Wiedergabe
      break;
    case "input_audio_buffer.speech_stopped":
      showThinking();       // Ende der Sprache erkannt: Die Antwort ist unterwegs
      break;
  }
});

Auf Serverseite ist die Unterbrechung automatisch; auf Clientseite würde bereits empfangener Audio-Inhalt weiter abgespielt, wenn Sie ihn nicht stoppen würden. speech_started ist der richtige Zeitpunkt, um Ihre Wiedergabe-Warteschlange zu leeren.

Einen stillen Nutzer ansprechen: idle_timeout_ms

Die einzige dokumentierte Einstellung rund um die VAD, idle_timeout_ms, sorgt dafür, dass der Agent das Gespräch wieder aufnimmt, wenn der Nutzer nach einer Antwort schweigt:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
  }
}

Wenn nach dem Ende einer Antwort keine Sprache für diese Zeitspanne erkannt wird, sendet der Server das Ereignis input_audio_buffer.timeout_triggered, bestätigt einen Sprechwechsel des stillen Nutzers und generiert eine Rückfrage. Der Timer wird nach jeder Antwort zurückgesetzt, sodass er so lange alle idle_timeout_ms erneut auslöst, wie der Nutzer nichts sagt. Standardmäßig ist sie deaktiviert (null). In einem Telefon-Schalter sorgt eine Rückfrage nach wenigen Sekunden dafür, dass Stillephasen nicht unnötig lange andauern; schreiben Sie die Nachfolgephrase, die der Agent verwenden soll, in Ihre Anweisungen.

Manueller Modus: turn_detection.type auf null gesetzt

Für eine Push-to-Talk-Oberfläche oder wann immer Sie selbst entscheiden möchten, wann ein Sprechwechsel endet, setzen Sie den Typ auf null:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": null }
  }
}

Sie senden Audio mit input_audio_buffer.append und senden bei Loslassen der Taste input_audio_buffer.commit, um den Sprechwechsel zu bestätigen, sowie response.create, um die Antwort anzufordern. input_audio_buffer.commit steht nur im manuellen Modus zur Verfügung. input_audio_buffer.clear verwirft Audio, das gesendet, aber noch nicht bestätigt wurde, und response.cancel stoppt eine laufende Antwort, da Unterbrechungen im manuellen Modus nicht mehr automatisch erfolgen.

Modus wählen

  • Fließendes Gespräch (Assistent, Telefon-Schalter, Kiosk): server_vad, mit idle_timeout_ms, um stille Nutzer ggf. anzusprechen
  • Walkie-Talkie, Diktiergerät, sehr laute Umgebungen: manueller Modus, bei dem das Ende des Sprechwechsels der Taste folgt und Hintergrundgeräusche nichts auslösen

Kernaussagen

  • turn_detection.type ist entweder "server_vad" (der Server teilt Sprechwechsel auf und verarbeitet Unterbrechungen) oder null (manueller Modus)
  • Die xAI-Dokumentation bietet keinen Schwellenwert für die Empfindlichkeit oder eine Stille-Dauer zur Anpassung
  • speech_started, speech_stopped und committed melden VAD-Übergänge
  • idle_timeout_ms fordert einen stillen Nutzer auf, ausgelöst durch das Ereignis input_audio_buffer.timeout_triggered
  • Im manuellen Modus: append, dann commit und response.create