Udalosti od klienta k serveru
Na tejto strane
Správy, ktoré odosielaš
API Voice Agent funguje výmenou JSON udalostí cez WebSocket. V tejto lekcii si prejdeme každú udalosť, ktorú môže tvoja aplikácia odoslať na server. Každá z nich má v cykle konverzácie špecifickú úlohu.
| Udalosť | Popis | Kedy ju použiť |
|---|---|---|
| session.update | Konfigurácia relácie | Pri štarte a pri zmene konfigurácie |
| input_audio_buffer.append | Odoslanie časti zvuku v base64 | Priebežne počas nahrávania |
| input_audio_buffer.commit | Potvrdenie zvukovej vyrovnávacej pamäte | V režime push-to-talk |
| input_audio_buffer.clear | Vyprázdnenie pamäte bez spracovania | Na zrušenie nahrávania |
| conversation.item.create | Pridanie správy alebo výsledku funkcie | História, kontext, výsledky funkcií |
| conversation.item.delete | Vymazanie položky podľa ID | Čistenie konverzácie |
| response.create | Vyžiadanie odpovede | V manuálnom režime (automaticky s VAD) |
| response.cancel | Zrušenie prebiehajúcej odpovede | Keď používateľ preruší hovor |
conversation.item.create
Táto udalosť ti umožňuje vložiť správy do konverzácie bez použitia zvukového streamu. Pokrýva tri hlavné prípady.
Pridanie textovej správy používateľa
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{
"type": "input_text",
"text": "What's the status of my order 12345?"
}
]
}
}
Vloženie histórie konverzácie
Pred začatím hlasovej konverzácie môžeš predvyplniť históriu predchádzajúcimi výmenami, aby si agentovi poskytol kontext:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "assistant",
"content": [
{
"type": "text",
"text": "Hello, I'm your assistant. How can I help you?"
}
]
}
}
Vrátanie výsledku funkcie
Po spustení volania funkcie odošleš späť výsledok pomocou tejto udalosti (pozri lekciu 13 o volaní funkcií):
{
"type": "conversation.item.create",
"item": {
"type": "function_call_output",
"call_id": "call_abc123",
"output": "{\"status\": \"shipped\", \"tracking\": \"FR123456789\"}"
}
}
conversation.item.delete
Vymaže položku konverzácie podľa jej ID:
{
"type": "conversation.item.delete",
"item_id": "item_audio_001"
}
Toto je užitočné na odstránenie nesprávnej správy alebo na zabránenie prílišnému rastu histórie konverzácie.
response.create a response.cancel
response.create explicitne žiada server o vygenerovanie odpovede. V režime VAD to server robí sám, keď zistí koniec reči:
{
"type": "response.create"
}
response.cancel zastaví generovanie odpovede. Je to užitočné, keď používateľ hovorí cez agenta:
{
"type": "response.cancel"
}
Kľúčové poznatky
- Od klienta k serveru je možné odoslať osem typov udalostí
session.updatekonfiguruje reláciu a môže byť odoslaná viackrátconversation.item.createti umožňuje pridať text, históriu alebo výsledky funkciíresponse.createje vyžadovaná v manuálnom režime a automatická v režime VADresponse.cancelti umožňuje prerušiť agenta, keď používateľ začne znova hovoriť