Γεγονότα πελάτη-προς-διακομιστή
Σε αυτήν τη σελίδα
Τα μηνύματα που στέλνετε
Το API Voice Agent λειτουργεί μέσω της ανταλλαγής γεγονότων JSON πάνω από WebSocket. Σε αυτό το μάθημα, θα εξετάσετε κάθε γεγονός που η εφαρμογή σας μπορεί να στείλει στον διακομιστή. Κάθε ένα έχει συγκεκριμένο ρόλο στον κύκλο της συνομιλίας.
| Γεγονός | Περιγραφή | Πότε να το χρησιμοποιήσετε |
|---|---|---|
| session.update | Διαμόρφωση της συνεδρίας | Κατά την εκκίνηση και για αλλαγή διαμόρφωσης |
| input_audio_buffer.append | Αποστολή τμήματος ήχου base64 | Συνεχώς κατά την εγγραφή |
| input_audio_buffer.commit | Επιβεβαίωση του buffer ήχου | Σε λειτουργία push-to-talk |
| input_audio_buffer.clear | Άδειασμα του buffer χωρίς επεξεργασία | Για ακύρωση μιας εγγραφής |
| conversation.item.create | Προσθήκη μηνύματος ή αποτελέσματος συνάρτησης | Ιστορικό, πλαίσιο, αποτελέσματα συναρτήσεων |
| conversation.item.delete | Διαγραφή στοιχείου κατά ID | Εκκαθάριση του ιστορικού συνομιλίας |
| response.create | Αίτημα για απάντηση | Σε χειροκίνητη λειτουργία (αυτόματο με VAD) |
| response.cancel | Ακύρωση απάντησης σε εξέλιξη | Όταν ο χρήστης διακόπτει |
conversation.item.create
Αυτό το γεγονός σάς επιτρέπει να εισάγετε μηνύματα στη συνομιλία χωρίς να περάσετε από τη ροή ήχου. Καλύπτει τρεις κύριες περιπτώσεις.
Προσθήκη μηνύματος κειμένου χρήστη
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{
"type": "input_text",
"text": "What's the status of my order 12345?"
}
]
}
}
Έγχυση ιστορικού συνομιλίας
Πριν ξεκινήσει η φωνητική συνομιλία, μπορείτε να προ-συμπληρώσετε το ιστορικό με προηγούμενες ανταλλαγές για να δώσετε πλαίσιο στον πράκτορα:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "assistant",
"content": [
{
"type": "text",
"text": "Hello, I'm your assistant. How can I help you?"
}
]
}
}
Επιστροφή αποτελέσματος συνάρτησης
Αφού εκτελεστεί μια κλήση συνάρτησης, στέλνετε πίσω το αποτέλεσμα με αυτό το γεγονός (δείτε το μάθημα 13 σχετικά με την κλήση συναρτήσεων):
{
"type": "conversation.item.create",
"item": {
"type": "function_call_output",
"call_id": "call_abc123",
"output": "{\"status\": \"shipped\", \"tracking\": \"FR123456789\"}"
}
}
conversation.item.delete
Διαγράφει ένα στοιχείο συνομιλίας μέσω του ID του:
{
"type": "conversation.item.delete",
"item_id": "item_audio_001"
}
Αυτό είναι χρήσιμο για την αφαίρεση ενός λανθασμένου μηνύματος ή για να αποφευχθεί η υπερβολική αύξηση του μεγέθους του ιστορικού συνομιλίας.
response.create και response.cancel
Το response.create ζητά ρητά από τον διακομιστή να δημιουργήσει μια απάντηση. Σε λειτουργία VAD, ο διακομιστής το κάνει αυτό μόνος του μόλις εντοπίσει το τέλος της ομιλίας:
{
"type": "response.create"
}
Το response.cancel σταματά μια απάντηση που βρίσκεται σε διαδικασία δημιουργίας. Είναι χρήσιμο όταν ο χρήστης μιλάει πάνω από τον πράκτορα:
{
"type": "response.cancel"
}
Βασικά σημεία
- Υπάρχουν οκτώ τύποι γεγονότων που μπορούν να σταλούν από τον πελάτη στον διακομιστή
- Το
session.updateδιαμορφώνει τη συνεδρία και μπορεί να σταλεί πολλές φορές - Το
conversation.item.createσάς επιτρέπει να προσθέτετε κείμενο, ιστορικό ή αποτελέσματα συναρτήσεων - Το
response.createαπαιτείται σε χειροκίνητη λειτουργία και είναι αυτόματο σε λειτουργία VAD - Το
response.cancelσάς επιτρέπει να διακόπτετε τον πράκτορα όταν ο χρήστης αρχίζει να μιλάει ξανά