Kliendi ja serveri vahelised sündmused
Sellel lehel
Sinu saadetavad sõnumid
Voice Agent API töötab JSON-sündmuste vahetamise teel üle WebSocketi. Selles õppetükis käid läbi kõik sündmused, mida sinu rakendus saab serverile saata. Igal neist on vestlusringis kindel roll.
| Sündmus | Kirjeldus | Millal kasutada |
|---|---|---|
| session.update | Seansi konfigureerimine | Käivitamisel ja konfiguratsiooni muutmiseks |
| input_audio_buffer.append | Base64-helisignaali tüki saatmine | Salvestamise ajal pidevalt |
| input_audio_buffer.commit | Helipuhvri kinnitamine | Push-to-talk režiimis |
| input_audio_buffer.clear | Puhvri tühjendamine ilma töötlemiseta | Salvestuse tühistamiseks |
| conversation.item.create | Sõnumi või funktsiooni tulemuse lisamine | Ajalugu, kontekst, funktsiooni tulemused |
| conversation.item.delete | Elemendi kustutamine ID järgi | Vestluse puhastamiseks |
| response.create | Vastuse taotlemine | Manuaalses režiimis (automaatne VAD-i korral) |
| response.cancel | Töös oleva vastuse tühistamine | Kui kasutaja katkestab |
conversation.item.create
See sündmus võimaldab sul sisestada vestlusse sõnumeid, möödudes helivoost. See hõlmab kolme peamist juhtumit.
Kasutaja tekstisõnumi lisamine
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{
"type": "input_text",
"text": "What's the status of my order 12345?"
}
]
}
}
Vestlusajaloo sisestamine
Enne häälevestluse algust saad eeltäita ajaloo varasemate vahetustega, et anda agentile kontekst:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "assistant",
"content": [
{
"type": "text",
"text": "Hello, I'm your assistant. How can I help you?"
}
]
}
}
Funktsiooni tulemuse tagastamine
Pärast funktsiooni väljakutse käivitamist saadad tulemuse tagasi selle sündmusega (vt õppetükk 13 funktsioonide kutsumise kohta):
{
"type": "conversation.item.create",
"item": {
"type": "function_call_output",
"call_id": "call_abc123",
"output": "{\"status\": \"shipped\", \"tracking\": \"FR123456789\"}"
}
}
conversation.item.delete
Kustutab vestluse elemendi selle ID põhjal:
{
"type": "conversation.item.delete",
"item_id": "item_audio_001"
}
See on kasulik vale sõnumi eemaldamiseks või vestlusajaloo liiga suureks kasvamise vältimiseks.
response.create ja response.cancel
response.create palub serveril sõnaselgelt vastus genereerida. VAD-režiimis teeb server seda iseseisvalt niipea, kui tuvastab kõne lõpu:
{
"type": "response.create"
}
response.cancel peatab genereeritava vastuse. See on kasulik, kui kasutaja räägib agendile vahele:
{
"type": "response.cancel"
}
Peamised punktid
- Kliendilt serverile saab saata kaheksat tüüpi sündmusi
session.updatekonfigureerib seansi ja seda saab saata mitu kordaconversation.item.createvõimaldab lisada teksti, ajalugu või funktsiooni tulemusiresponse.createon vajalik manuaalses režiimis ja automaatne VAD-režiimisresponse.cancelvõimaldab katkestada agendi tegevuse, kui kasutaja uuesti rääkima hakkab