Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

VAD: αυτόματη ανίχνευση ομιλίας

Μάθημα 6 / 16 Ενημερώθηκε 3 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Πώς λειτουργεί η ανίχνευση αλλαγής ομιλητή
  2. Δύο λειτουργίες, ένα πεδίο
  3. Συμβάντα VAD
  4. Προτροπή σιωπηλού χρήστη: idle_timeout_ms
  5. Χειροκίνητη λειτουργία: turn_detection.type ορισμένο σε null
  6. Επιλέξτε τη λειτουργία σας
  7. Βασικά σημεία

Ενημερώθηκε στις 3 Νοεμβρίου 2026, με βάση τη σελίδα Speech to Speech της xAI και την αναφορά του Voice API: η ανίχνευση αλλαγής ομιλητή ρυθμίζεται μέσω του turn_detection.type ("server_vad" ή null) και, προαιρετικά, του turn_detection.idle_timeout_ms. Πηγές: Speech to Speech · Voice API.

Πώς λειτουργεί η ανίχνευση αλλαγής ομιλητή

Σε μια φωνητική συνομιλία, το σύστημα πρέπει να γνωρίζει πότε αρχίζει να μιλάει ο χρήστης και πότε σταματά. Αυτός είναι ο ρόλος του VAD (ανίχνευση φωνητικής δραστηριότητας). Το Voice Agent API της xAI παρέχει VAD στην πλευρά του διακομιστή, server_vad: ο διακομιστής αναλύει τη ροή ήχου, εντοπίζει το τέλος κάθε εκφώνησης και ενεργοποιεί την απόκριση από μόνος του.

Δύο λειτουργίες, ένα πεδίο

Επιλέγετε τη λειτουργία στο αντικείμενο turn_detection του session.update:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad" }
  }
}
turn_detection.typeΠοιος αποφασίζει πότε τελειώνει η σειρά ομιλίαςΤι στέλνετε εσείς
"server_vad"Ο διακομιστήςinput_audio_buffer.append, τίποτα άλλο
nullΕσείςinput_audio_buffer.append, κατόπιν input_audio_buffer.commit και response.create

Στη λειτουργία server_vad, ο διακομιστής διαχωρίζει τις σειρές ομιλίας, δεσμεύει τον ήχο και ξεκινά την απόκριση. Οι διακοπές διαχειρίζονται επίσης αυτόματα: η xAI συνιστά αυτή τη λειτουργία για φυσική εναλλαγή ομιλητών, όταν ο χρήστης διακόπτει τον πράκτορα στη μέση της πρότασης. Η τεκμηρίωση δεν προσφέρει ωστόσο κάποια ρύθμιση ευαισθησίας ή διάρκειας σιωπής: ο διαχωρισμός των σειρών ομιλίας είναι αποκλειστική αρμοδιότητα του διακομιστή.

Συμβάντα VAD

Με το server_vad, ο διακομιστής αναφέρει κάθε μετάβαση:

  • input_audio_buffer.speech_started: το VAD εντόπισε την έναρξη της ομιλίας·
  • input_audio_buffer.speech_stopped: εντόπισε το τέλος της·
  • input_audio_buffer.committed: ο ήχος δεσμεύτηκε ως μήνυμα του χρήστη.
ws.on("message", (data) => {
  const event = JSON.parse(data);
  switch (event.type) {
    case "input_audio_buffer.speech_started":
      stopPlayback();       // ο χρήστης μιλάει: διακόψτε τον ήχο του πράκτορα που έχει ήδη ληφθεί
      break;
    case "input_audio_buffer.speech_stopped":
      showThinking();       // εντοπίστηκε τέλος ομιλίας: η απόκριση έρχεται
      break;
  }
});

Στην πλευρά του διακομιστή, η διακοπή είναι αυτόματη· στην πλευρά του πελάτη, ο ήχος που έχετε ήδη λάβει θα συνέχιζε να αναπαράγεται αν δεν τον σταματούσατε. Το speech_started είναι η κατάλληλη στιγμή για νααδειάσετε (αδειάσετε) την ουρά αναπαραγωγής σας.

Προτροπή σιωπηλού χρήστη: idle_timeout_ms

Η μόνη τεκμηριωμένη ρύθμιση γύρω από το VAD, το idle_timeout_ms, κάνει τον πράκτορα να επαναλαμβάνει τη συνομιλία όταν ο χρήστης σιωπά μετά από μια απόκριση:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
  }
}

Αν δεν εντοπιστεί ομιλία για τόσο μεγάλο διάστημα μετά το τέλος μιας απόκρισης, ο διακομιστής εκπέμπει το input_audio_buffer.timeout_triggered, δεσμεύει μια σιωπηλή σειρά ομιλίας του χρήστη και δημιουργεί έναν έλεγχο επικοινωνίας (check-in). Το χρονομετρητή επαναφέρεται μετά από κάθε απόκριση, ώστε να ενεργοποιείται ξανά κάθε idle_timeout_ms όσο ο χρήστης δεν λέει τίποτα. Είναι απενεργοποιημένο από προεπιλογή (null). Σε έναν τηλεφωνικό πίνακα, ένας έλεγχος επικοινωνίας μετά από λίγα δευτερόλεπτα αποτρέπει τις παρατεταμένες σιωπές· καταγράψτε στις οδηγίες σας τη φράση παρακολούθησης που πρέπει να χρησιμοποιήσει ο πράκτορας.

Χειροκίνητη λειτουργία: turn_detection.type ορισμένο σε null

Για διεπαφή push-to-talk, ή όποτε θέλετε να αποφασίζετε εσείς πότε τελειώνει μια σειρά ομιλίας, ορίστε τον τύπο σε null:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": null }
  }
}

Στη συνέχεια, στέλνετε ήχο με το input_audio_buffer.append και, όταν ο χρήστης αφήνει το κουμπί, στέλνετε το input_audio_buffer.commit για να δεσμεύσετε τη σειρά ομιλίας και το response.create για να ζητήσετε την απόκριση. Το input_audio_buffer.commit διατίθεται μόνο στη χειροκίνητη λειτουργία. Το input_audio_buffer.clear απορρίπτει τον ήχο που στάλθηκε αλλά δεν έχει δεσμευτεί ακόμη, και το response.cancel σταματά μια απόκριση σε εξέλιξη, καθώς η διακοπή δεν είναι πλέον αυτόματη στη χειροκίνητη λειτουργία.

Επιλέξτε τη λειτουργία σας

  • Ρέουσα συνομιλία (βοηθός, τηλεφωνικός πίνακας, περίπτερο): server_vad, με idle_timeout_ms για την προτροπή σιωπηλών χρηστών εάν χρειάζεται
  • Ασύρματος, υπαγόρευση, πολύ θορυβώδη περιβάλλοντα: χειροκίνητη λειτουργία, όπου το τέλος της σειράς ομιλίας ακολουθεί το κουμπί και ο θόρυβος υποβάθρου δεν ενεργοποιεί τίποτα

Βασικά σημεία

  • Το turn_detection.type είναι είτε "server_vad" (ο διακομιστής διαχωρίζει τις σειρές ομιλίας και διαχειρίζεται τις διακοπές) είτε null (χειροκίνητη λειτουργία)
  • Η τεκμηρίωση της xAI δεν προσφέρει κατώφλι ευαισθησίας ή διάρκεια σιωπής προς ρύθμιση
  • Τα speech_started, speech_stopped και committed αναφέρουν τις μεταβάσεις του VAD
  • Το idle_timeout_ms προτρέπει έναν σιωπηλό χρήστη, μέσω του συμβάντος input_audio_buffer.timeout_triggered
  • Στη χειροκίνητη λειτουργία: append, κατόπιν commit και response.create