VAD: αυτόματη ανίχνευση ομιλίας
Σε αυτήν τη σελίδα
Ενημερώθηκε στις 3 Νοεμβρίου 2026, με βάση τη σελίδα Speech to Speech της xAI και την αναφορά του Voice API: η ανίχνευση αλλαγής ομιλητή ρυθμίζεται μέσω του
turn_detection.type("server_vad"ήnull) και, προαιρετικά, τουturn_detection.idle_timeout_ms. Πηγές: Speech to Speech · Voice API.
Πώς λειτουργεί η ανίχνευση αλλαγής ομιλητή
Σε μια φωνητική συνομιλία, το σύστημα πρέπει να γνωρίζει πότε αρχίζει να μιλάει ο χρήστης και πότε σταματά. Αυτός είναι ο ρόλος του VAD (ανίχνευση φωνητικής δραστηριότητας). Το Voice Agent API της xAI παρέχει VAD στην πλευρά του διακομιστή, server_vad: ο διακομιστής αναλύει τη ροή ήχου, εντοπίζει το τέλος κάθε εκφώνησης και ενεργοποιεί την απόκριση από μόνος του.
Δύο λειτουργίες, ένα πεδίο
Επιλέγετε τη λειτουργία στο αντικείμενο turn_detection του session.update:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad" }
}
}
turn_detection.type | Ποιος αποφασίζει πότε τελειώνει η σειρά ομιλίας | Τι στέλνετε εσείς |
|---|---|---|
"server_vad" | Ο διακομιστής | input_audio_buffer.append, τίποτα άλλο |
null | Εσείς | input_audio_buffer.append, κατόπιν input_audio_buffer.commit και response.create |
Στη λειτουργία server_vad, ο διακομιστής διαχωρίζει τις σειρές ομιλίας, δεσμεύει τον ήχο και ξεκινά την απόκριση. Οι διακοπές διαχειρίζονται επίσης αυτόματα: η xAI συνιστά αυτή τη λειτουργία για φυσική εναλλαγή ομιλητών, όταν ο χρήστης διακόπτει τον πράκτορα στη μέση της πρότασης. Η τεκμηρίωση δεν προσφέρει ωστόσο κάποια ρύθμιση ευαισθησίας ή διάρκειας σιωπής: ο διαχωρισμός των σειρών ομιλίας είναι αποκλειστική αρμοδιότητα του διακομιστή.
Συμβάντα VAD
Με το server_vad, ο διακομιστής αναφέρει κάθε μετάβαση:
input_audio_buffer.speech_started: το VAD εντόπισε την έναρξη της ομιλίας·input_audio_buffer.speech_stopped: εντόπισε το τέλος της·input_audio_buffer.committed: ο ήχος δεσμεύτηκε ως μήνυμα του χρήστη.
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
stopPlayback(); // ο χρήστης μιλάει: διακόψτε τον ήχο του πράκτορα που έχει ήδη ληφθεί
break;
case "input_audio_buffer.speech_stopped":
showThinking(); // εντοπίστηκε τέλος ομιλίας: η απόκριση έρχεται
break;
}
});
Στην πλευρά του διακομιστή, η διακοπή είναι αυτόματη· στην πλευρά του πελάτη, ο ήχος που έχετε ήδη λάβει θα συνέχιζε να αναπαράγεται αν δεν τον σταματούσατε. Το speech_started είναι η κατάλληλη στιγμή για νααδειάσετε (αδειάσετε) την ουρά αναπαραγωγής σας.
Προτροπή σιωπηλού χρήστη: idle_timeout_ms
Η μόνη τεκμηριωμένη ρύθμιση γύρω από το VAD, το idle_timeout_ms, κάνει τον πράκτορα να επαναλαμβάνει τη συνομιλία όταν ο χρήστης σιωπά μετά από μια απόκριση:
{
"type": "session.update",
"session": {
"turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}
}
Αν δεν εντοπιστεί ομιλία για τόσο μεγάλο διάστημα μετά το τέλος μιας απόκρισης, ο διακομιστής εκπέμπει το input_audio_buffer.timeout_triggered, δεσμεύει μια σιωπηλή σειρά ομιλίας του χρήστη και δημιουργεί έναν έλεγχο επικοινωνίας (check-in). Το χρονομετρητή επαναφέρεται μετά από κάθε απόκριση, ώστε να ενεργοποιείται ξανά κάθε idle_timeout_ms όσο ο χρήστης δεν λέει τίποτα. Είναι απενεργοποιημένο από προεπιλογή (null). Σε έναν τηλεφωνικό πίνακα, ένας έλεγχος επικοινωνίας μετά από λίγα δευτερόλεπτα αποτρέπει τις παρατεταμένες σιωπές· καταγράψτε στις οδηγίες σας τη φράση παρακολούθησης που πρέπει να χρησιμοποιήσει ο πράκτορας.
Χειροκίνητη λειτουργία: turn_detection.type ορισμένο σε null
Για διεπαφή push-to-talk, ή όποτε θέλετε να αποφασίζετε εσείς πότε τελειώνει μια σειρά ομιλίας, ορίστε τον τύπο σε null:
{
"type": "session.update",
"session": {
"turn_detection": { "type": null }
}
}
Στη συνέχεια, στέλνετε ήχο με το input_audio_buffer.append και, όταν ο χρήστης αφήνει το κουμπί, στέλνετε το input_audio_buffer.commit για να δεσμεύσετε τη σειρά ομιλίας και το response.create για να ζητήσετε την απόκριση. Το input_audio_buffer.commit διατίθεται μόνο στη χειροκίνητη λειτουργία. Το input_audio_buffer.clear απορρίπτει τον ήχο που στάλθηκε αλλά δεν έχει δεσμευτεί ακόμη, και το response.cancel σταματά μια απόκριση σε εξέλιξη, καθώς η διακοπή δεν είναι πλέον αυτόματη στη χειροκίνητη λειτουργία.
Επιλέξτε τη λειτουργία σας
- Ρέουσα συνομιλία (βοηθός, τηλεφωνικός πίνακας, περίπτερο):
server_vad, μεidle_timeout_msγια την προτροπή σιωπηλών χρηστών εάν χρειάζεται - Ασύρματος, υπαγόρευση, πολύ θορυβώδη περιβάλλοντα: χειροκίνητη λειτουργία, όπου το τέλος της σειράς ομιλίας ακολουθεί το κουμπί και ο θόρυβος υποβάθρου δεν ενεργοποιεί τίποτα
Βασικά σημεία
- Το
turn_detection.typeείναι είτε"server_vad"(ο διακομιστής διαχωρίζει τις σειρές ομιλίας και διαχειρίζεται τις διακοπές) είτεnull(χειροκίνητη λειτουργία) - Η τεκμηρίωση της xAI δεν προσφέρει κατώφλι ευαισθησίας ή διάρκεια σιωπής προς ρύθμιση
- Τα
speech_started,speech_stoppedκαιcommittedαναφέρουν τις μεταβάσεις του VAD - Το
idle_timeout_msπροτρέπει έναν σιωπηλό χρήστη, μέσω του συμβάντοςinput_audio_buffer.timeout_triggered - Στη χειροκίνητη λειτουργία:
append, κατόπινcommitκαιresponse.create