Kliens-szerver események
Ezen az oldalon
Az általad küldött üzenetek
A Voice Agent API WebSocket kapcsolaton keresztül zajló JSON-események cseréjével működik. Ebben a leckében végigvesszük az összes eseményt, amelyet az alkalmazásod küldhet a szervernek. Mindegyiknek meghatározott szerepe van a beszélgetési ciklusban.
| Esemény | Leírás | Mikor használd |
|---|---|---|
| session.update | A munkamenet konfigurálása | Indításkor és a konfiguráció módosításakor |
| input_audio_buffer.append | Base64-es hangrész küldése | Folyamatosan a felvétel alatt |
| input_audio_buffer.commit | A hangpuffer véglegesítése | Nyomd-a-beszéléshez (push-to-talk) módban |
| input_audio_buffer.clear | A puffer ürítése feldolgozás nélkül | Felvétel megszakításához |
| conversation.item.create | Üzenet vagy függvényeredmény hozzáadása | Előzmények, kontextus, függvényeredmények |
| conversation.item.delete | Elem törlése azonosító alapján | A beszélgetés tisztításához |
| response.create | Válasz kérése | Kézi módban (VAD esetén automatikus) |
| response.cancel | Folyamatban lévő válasz megszakítása | Amikor a felhasználó megszakítja a folyamatot |
conversation.item.create
Ezzel az eseménnyel üzeneteket illeszthetsz be a beszélgetésbe anélkül, hogy a hangfolyamon keresztül mennének. Három fő esetet fed le.
Felhasználói szöveges üzenet hozzáadása
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{
"type": "input_text",
"text": "What's the status of my order 12345?"
}
]
}
}
Beszélgetési előzmények beszúrása
Mielőtt a hangalapú beszélgetés elindul, előre feltöltheted az előzményeket korábbi váltásokkal, hogy kontextust adj az ügynöknek:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "assistant",
"content": [
{
"type": "text",
"text": "Hello, I'm your assistant. How can I help you?"
}
]
}
}
Függvényeredmény visszaadása
Miután egy függvényhívás lefutott, ezzel az eseménnyel küldöd vissza az eredményt (lásd a 13. leckét a függvényhívásról):
{
"type": "conversation.item.create",
"item": {
"type": "function_call_output",
"call_id": "call_abc123",
"output": "{\"status\": \"shipped\", \"tracking\": \"FR123456789\"}"
}
}
conversation.item.delete
Töröl egy beszélgetési elemet az azonosítója alapján:
{
"type": "conversation.item.delete",
"item_id": "item_audio_001"
}
Ez hasznos lehet egy hibás üzenet eltávolítására, vagy arra, hogy megakadályozd a beszélgetési előzmények túlzott mértékű növekedését.
response.create és response.cancel
A response.create kifejezetten arra kéri a szervert, hogy generáljon egy választ. VAD módban a szerver ezt automatikusan megteszi, amint érzékeli a beszéd végét:
{
"type": "response.create"
}
A response.cancel leállít egy éppen generálás alatt álló választ. Akkor hasznos, ha a felhasználó belebeszél az ügynökbe:
{
"type": "response.cancel"
}
Főbb megállapítások
- Nyolcféle eseményt küldhetsz a klienstől a szerverre
- A
session.updatekonfigurálja a munkamenetet, és többször is elküldhető - A
conversation.item.createlehetővé teszi szöveg, előzmények vagy függvényeredmények hozzáadását - A
response.createkézi módban kötelező, VAD módban automatikus - A
response.cancelsegítségével megszakíthatod az ügynököt, amikor a felhasználó újra beszélni kezd