Γεγονότα διακομιστή προς πελάτη
Σε αυτήν τη σελίδα
Τα μηνύματα που λαμβάνετε
Ο διακομιστής στέλνει πολλά γεγονότα για να σας ενημερώνει σχετικά με την κατάσταση της συνομιλίας, να παραδίδει τον ήχο απόκρισης και να αναφέρει σφάλματα. Η κατανόηση αυτών των γεγονότων είναι απαραίτητη για τη δημιουργία μιας εφαρμογής που ανταποκρίνεται γρήγορα και λειτουργεί αξιόπιστα.
Γεγονότα συνεδρίας και συνομιλίας
Αυτά τα γεγονότα φτάνουν κατά την έναρξη της σύνδεσης και μετά από κάθε αλλαγή διαμόρφωσης:
session.created: η συνεδρία άνοιξε· το γεγονός περιέχει τη διαμόρφωση της συνεδρίαςsession.updated: η διαμόρφωση ενημερώθηκε με επιτυχίαconversation.created: το κανάλι συνομιλίας έχει ρυθμιστεί
Γεγονότα buffer ήχου
Αυτά τα γεγονότα σας ενημερώνουν για τη φωνητική δραστηριότητα που εντοπίζει το VAD:
input_audio_buffer.speech_started: το VAD εντοπίζει ότι ο χρήστης άρχισε να μιλάinput_audio_buffer.speech_stopped: το VAD εντοπίζει το τέλος της ομιλίαςinput_audio_buffer.committed: το buffer ήχου καταχωρήθηκε ως μήνυμα
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
// Ο χρήστης μιλά: εμφάνιση οπτικής ένδειξης
showSpeakingIndicator(true);
break;
case "input_audio_buffer.speech_stopped":
// Ο χρήστης τελείωσε: απόκρυψη της ένδειξης
showSpeakingIndicator(false);
break;
case "input_audio_buffer.committed":
// Το ηχητικό μήνυμα υποβάλλεται σε επεξεργασία
showProcessingIndicator(true);
break;
}
});
Γεγονότα ήχου απόκρισης
Ο ήχος απόκρισης μεταδίδεται ροής μέσω δύο γεγονότων.
response.output_audio.delta
Κάθε delta περιέχει ένα τμήμα ήχου κωδικοποιημένο σε base64. Συλλέξτε τα και αναπαράγετέ τα με τη σωστή σειρά:
{
"type": "response.output_audio.delta",
"delta": "SGVsbG8gV29ybGQ...",
"item_id": "item_resp_001",
"output_index": 0,
"content_index": 0
}
case "response.output_audio.delta":
const audioChunk = base64ToArrayBuffer(event.delta);
audioPlayer.enqueue(audioChunk);
break;
response.output_audio.done
Σηματοδοτεί ότι έχει σταλεί όλος ο ήχος απόκρισης:
{
"type": "response.output_audio.done",
"item_id": "item_resp_001"
}
Γεγονότα απομαγνητοφώνησης
Το API μπορεί να απομαγνητοφωνήσει τόσο τον ήχο του χρήστη όσο και τον ήχο απόκρισης:
conversation.item.input_audio_transcription.completed: μια απομαγνητοφώνηση αυτού που είπε ο χρήστηςresponse.output_audio_transcript.delta: μια απομαγνητοφώνηση ροής της απόκρισης του πράκτορα
case "conversation.item.input_audio_transcription.completed":
console.log("User said:", event.transcript);
displayUserMessage(event.transcript);
break;
case "response.output_audio_transcript.delta":
appendAgentTranscript(event.delta);
break;
Γεγονότα κειμένου
Εάν ο πράκτορας παράγει κείμενο (επιπλέον ή αντί του ήχου), λαμβάνετε:
response.text.delta: ένα τμήμα κειμένου σε ροή
{
"type": "response.text.delta",
"delta": "Your order has been"
}
Γεγονότα κλήσης συνάρτησης
Όταν ο πράκτορας αποφασίζει να καλέσει μια συνάρτηση, εκπέμπονται δύο γεγονότα:
response.function_call_arguments.delta: τα ορίσματα της συνάρτησης, σε ροήresponse.function_call_arguments.done: η πλήρης κλήση συνάρτησης με όλα τα ορίσματά της
Το Μάθημα 13, σχετικά με την κλήση φωνητικών συναρτήσεων, καλύπτει αναλυτικά αυτά τα γεγονότα.
response.done
Αυτό το γεγονός σηματοδοτεί την πλήρη ολοκλήρωση μιας απόκρισης. Περιέχει μια σύνοψη της απόκρισης, συμπεριλαμβανομένων στατιστικών χρήσης:
{
"type": "response.done",
"response": {
"id": "resp_001",
"status": "completed",
"output": [...]
}
}
Το γεγονός σφάλματος
Αυτό το γεγονός αναφέρει σφάλματα. Σύμφωνα με την αναφορά του xAI, τα περισσότερα σφάλματα είναι ανακτήσιμα και η σύνδεση WebSocket παραμένει ανοιχτή:
{
"type": "error",
"error": {
"type": "invalid_request_error",
"message": "Invalid audio format specified"
}
}
Η εφαρμογή σας θα πρέπει να καταγράφει αυτά τα σφάλματα και, ανάλογα με τη σοβαρότητά τους, να εμφανίζει ένα μήνυμα στον χρήστη ή να προσπαθεί να διορθώσει αυτόματα το πρόβλημα.
Βασικά σημεία
- Ο διακομιστής στέλνει γεγονότα για κάθε βήμα: ανίχνευση φωνής, ήχο, απομαγνητοφώνηση, κείμενο και σφάλματα
- Ο ήχος απόκρισης φτάνει ως τμήματα base64 μέσω του
response.output_audio.delta - Οι απομαγνητοφωνήσεις είναι διαθέσιμες τόσο για την είσοδο του χρήστη όσο και για την έξοδο του πράκτορα
- Το
response.doneσηματοδοτεί το τέλος μιας πλήρους απόκρισης - Τα περισσότερα σφάλματα που αναφέρονται μέσω του γεγονότος
errorείναι ανακτήσιμα: η σύνδεση παραμένει ανοιχτή