Διαμόρφωση μιας συνεδρίας φωνής
Σε αυτήν τη σελίδα
Ενημερώθηκε στις 3 Νοεμβρίου 2026, με βάση τη σελίδα Speech to Speech της xAI και τον οδηγό δημιουργίας φωνητικών prompts. Πηγές: Speech to Speech · Prompting Guide.
Το μήνυμα που καθορίζει τα πάντα: session.update
Μόλις ανοίξει η σύνδεση WebSocket, δεν συμβαίνει τίποτα ακόμη. Το μήνυμα session.update είναι αυτό που προσδίδει χαρακτήρα στον πράκτορα: τη φωνή που χρησιμοποιεί, τις οδηγίες που ακολουθεί, τον τρόπο ανίχνευσης εναλλαγής ομιλητή και τα εργαλεία που μπορεί να καλέσει. Θεωρήστε το ως τη «ληξιαρχική πράξη» της συνεδρίας. Όλα τα υπόλοιπα στη συνομιλία πηγάζουν από αυτό.
{
"type": "session.update",
"session": {
"instructions": "You are a professional voice assistant for an e-commerce company. Keep your answers short and help customers with their orders.",
"voice": "Ara",
"turn_detection": {
"type": "server_vad"
},
"audio": {
"input": { "format": { "type": "audio/pcm", "rate": 24000 } },
"output": { "format": { "type": "audio/pcm", "rate": 24000 } }
},
"tools": [
{ "type": "web_search" }
]
}
}
Ο διακομιστής το επιβεβαιώνει με ένα συμβάν session.updated. Δεν χρειάζεται να στείλετε αυτό το μήνυμα μόνο μία φορά. Μπορείτε να το στείλετε ξανά κατά τη διάρκεια της συνομιλίας για να αλλάξετε μια ρύθμιση εν κινήσει, για παράδειγμα για να αλλάξετε φωνές όταν η κλήση μεταφέρεται από τις πωλήσεις στην τεχνική υποστήριξη, χωρίς να διακοπεί ποτέ η σύνδεση.
Γράψτε οδηγίες για το αυτί, όχι για το μάτι
Το πεδίο instructions παίζει τον ρόλο του συστημικού prompt. Χρησιμοποιήστε το για να ορίσετε την προσωπικότητα του πράκτορα (επίσημη, ανεπίσημη, τεχνική), τα θέματα που μπορεί να καλύψει, τους περιορισμούς στις απαντήσεις του (μήκος, μορφή, γλώσσα) και το επιχειρηματικό πλαίσιο που χρειάζεται: το όνομα της εταιρείας σας, το εύρος προϊόντων και τις εσωτερικές διαδικασίες.
Το πρόβλημα είναι ότι αυτό που κάνει ένα καλό γραπτό prompt, συχνά δημιουργεί έναν κακό φωνητικό πράκτορα. Αφεμένος μόνος του, ένα μοντέλο γράφει απαντήσεις δέκα γραμμών. Όταν διαβάζονται δυνατά, γίνονται κουραστικές και ο χρήστης χάνει το ενδιαφέρον του πριν τελειώσουν. Ζητήστε λοιπόν ρητά σύντομες και άμεσες απαντήσεις. Εάν η εφαρμογή σας λειτουργεί σε μία μόνο γλώσσα, καθορίστε ποια είναι, διαφορετικά ο πράκτορας μπορεί να αλλάξει γλώσσα για να ταιριάξει με την προφορά του καλούντος. Πείτε του επίσης τι να κάνει όταν δεν καταλαβαίνει: μια οδηγία όπως «κάνε μια διευκρινιστική ερώτηση αντί να μαντέψεις» αποτρέπει την ενεργοποίηση μιας άσκοπης αναζήτησης λόγω ενός λανθασμένα ακουσθέντος αριθμού παραγγελίας. Ο οδηγός φωνητικών prompts της xAI προτείνει ακόμη μια δομή πέντε μερών (ρόλος και προσωπικότητα, στόχος, ροή συνομιλίας, περιορισμοί και κλιμάκωση, ύφος φωνής) και συνιστά μία ή δύο σύντομες προτάσεις ανά στροφή ομιλίας, εκτός εάν ο καλών ζητήσει περισσότερες λεπτομέρειες.
Ανίχνευση εναλλαγής ομιλητή (Turn detection)
Το μπλοκ turn_detection αποφασίζει ποιος μιλάει και πότε, και η τεκμηρίωση της xAI παρέχει μόνο δύο ρυθμίσεις για αυτό. Η πρώτη είναι το type. Στη λειτουργία "server_vad", ο διακομιστής ανιχνεύει μόνος του το τέλος κάθε εκφώνησης, δεσμεύει τον ήχο, ξεκινά την απάντηση και διαχειρίζεται τις διακοπές: το μόνο που κάνετε εσείς είναι να στέλνετε ήχο με το input_audio_buffer.append. Η δεύτερη ρύθμιση, το idle_timeout_ms, είναι προαιρετική. Εάν ο χρήστης παραμείνει σιωπηλός για τόσα χιλιοστά του δευτερολέπτου μετά από μια απάντηση, ο διακομιστής τον προτρέπει να μιλήσει, και το επαναλαμβάνει μετά από κάθε νέα παύση ίδιου μήκους.
{
"turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}
Δεν υπάρχει κατώφλι ευαισθησίας ή διάρκεια σιωπής προς ρύθμιση. Οι παράμετροι threshold, silence_duration_ms και prefix_padding_ms που θα δείτε σε παραδείγματα γραμμένα για το OpenAI Realtime API δεν εμφανίζονται στην τεκμηρίωση της xAI.
Εάν η αυτόματη συμπεριφορά δεν σας ταιριάζει, ορίστε τον τύπο σε null και αναλάβετε τον έλεγχο. Τότε εναπόκειται σε εσάς να αποθηκεύσετε τον ήχο σε buffer με το input_audio_buffer.append, να δεσμεύσετε ρητά τη στροφή ομιλίας με το input_audio_buffer.commit και να ενεργοποιήσετε τη δημιουργία απάντησης με το response.create. Η χειροκίνητη λειτουργία είναι η σωστή επιλογή για διεπαφές τύπου «πάτησε-για-να-μιλήσεις» (push-to-talk) ή όποτε θέλετε ακριβή έλεγχο του πότε μιλάει ο πράκτορας.
Επιλέξτε τη σωστή μορφή ήχου
Το μπλοκ audio ορίζει ανεξάρτητα τις μορφές εισόδου και εξόδου:
{
"audio": {
"input": { "format": { "type": "audio/pcm", "rate": 24000 } },
"output": { "format": { "type": "audio/pcm", "rate": 24000 } }
}
}
Γίνονται δεκτοί τέσσερις τύποι. Εάν δεν καθορίσετε κάποιον, λαμβάνετε PCM στα 24.000 Hz:
| Τύπος | Κωδικοποίηση | Ρυθμοί δειγματοληψίας |
|---|---|---|
audio/pcm | PCM Linear16, little-endian | 8000, 16000, 22050, 24000, 32000, 44100, 48000 Hz |
audio/pcmu | G.711 mu-law (τηλεφωνία Βόρειας Αμερικής) | Μόνο 8000 Hz |
audio/pcma | G.711 A-law (ευρωπαϊκή τηλεφωνία) | Μόνο 8000 Hz |
audio/opus | Opus, ένα πακέτο ανά μήνυμα | 24000 Hz |
Το κανάλι διανομής σας καθορίζει την επιλογή. Μια web εφαρμογή σε πρόγραμμα περιήγησης λειτουργεί άριστα με PCM στα 24.000 Hz, μια καλή ισορροπία μεταξύ αντιληπτής ποιότητας και εύρους ζώνης. Μια ενσωμάτωση με τηλέφωνο SIP δεν έχει επιλογή: το δίκτυο μεταφέρει G.711 στα 8.000 Hz και η επιβολή μιας μορφής υψηλότερης ποιότητας προσθέτει απλώς μια άσκοπη μετατροπή.
Δώστε εργαλεία στον πράκτορα
Ο πίνακας tools παραθέτει τι μπορεί να καλέσει ο πράκτορας κατά τη διάρκεια της συνομιλίας και μπορείτε να αναμείξετε διαφορετικά είδη στην ίδια συνεδρία:
{
"tools": [
{ "type": "web_search" },
{ "type": "x_search", "allowed_x_handles": ["gaborit_music"] },
{
"type": "function",
"name": "get_order_status",
"parameters": {
"type": "object",
"properties": {
"order_id": { "type": "string" }
},
"required": ["order_id"]
}
}
]
}
Εσείς παρέχετε την εργαλειοθήκη· ο πράκτορας επιλέγει το εργαλείο. Καθώς εξελίσσεται η συνομιλία, αποφασίζει ότι μια ερώτηση για τα νέα απαιτεί αναζήτηση στον ιστό, ενώ ένας αριθμός παραγγελίας απαιτεί το get_order_status. Επομένως, η δουλειά σας αφορά λιγότερο τον συντονισμό των κλήσεων και περισσότερο την καθαρή περιγραφή κάθε εργαλείου, ώστε ο πράκτορας να κάνει τη σωστή επιλογή.
Βασικά σημεία
- Το μήνυμα
session.updateδιαμορφώνει τη φωνή, τις οδηγίες, το VAD και τα εργαλεία - Το VAD πλευράς διακομιστή (
server_vad) ανιχνεύει τις στροφές ομιλίας και διαχειρίζεται τις διακοπές· τοidle_timeout_msείναι η μόνη ρύθμιση - Η χειροκίνητη λειτουργία (
turn_detection.typeορισμένο σεnull) σας προσφέρει ακριβή έλεγχο, για παράδειγμα με push-to-talk - Οι μορφές ήχου PCM, G.711 και Opus καλύπτουν περιπτώσεις χρήσης τόσο για web όσο και για τηλεφωνία
- Μπορείτε να αλλάξετε τη διαμόρφωση κατά τη διάρκεια της συνεδρίας χωρίς να διακοπεί η σύνδεση