Dogodki od odjemalca do strežnika
Na tej strani
Sporočila, ki jih pošiljaš
API za glasovnega agenta deluje z izmenjavo dogodkov JSON prek protokola WebSocket. V tej lekciji boš spoznal vsak dogodek, ki ga lahko tvoja aplikacija pošlje strežniku. Vsak ima v ciklu pogovora specifično vlogo.
| Dogodek | Opis | Kdaj ga uporabiti |
|---|---|---|
| session.update | Konfiguracija seje | Ob zagonu in za spremembo konfiguracije |
| input_audio_buffer.append | Pošiljanje zvočnega dela v kodiranju base64 | Nenehno med snemanjem |
| input_audio_buffer.commit | Potrditev zvočnega medpomnilnika | V načinu „pritisni za govor" (push-to-talk) |
| input_audio_buffer.clear | Izpraznitev medpomnilnika brez obdelave | Za preklic snemanja |
| conversation.item.create | Dodajanje sporočila ali rezultata funkcije | Zgodovina, kontekst, rezultati funkcij |
| conversation.item.delete | Brisanje elementa po ID-ju | Čiščenje pogovora |
| response.create | Zahteva za odgovor | V ročnem načinu (samodejno z VAD) |
| response.cancel | Preklic odgovora v teku | Ko uporabnik prekine govor |
conversation.item.create
Ta dogodek ti omogoča vnos sporočil v pogovor brez uporabe zvočnega toka. Zajema tri glavne primere.
Dodajanje besedilnega sporočila uporabnika
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{
"type": "input_text",
"text": "What's the status of my order 12345?"
}
]
}
}
Vnos zgodovine pogovora
Pred začetkom glasovnega pogovora lahko vnaprej izpolniš zgodovino s prejšnjimi izmenjavami, da agentu zagotoviš kontekst:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "assistant",
"content": [
{
"type": "text",
"text": "Hello, I'm your assistant. How can I help you?"
}
]
}
}
Vrnitev rezultata funkcije
Ko se klic funkcije izvrši, rezultat pošlješ nazaj s tem dogodkom (glej lekcijo 13 o klicanju funkcij):
{
"type": "conversation.item.create",
"item": {
"type": "function_call_output",
"call_id": "call_abc123",
"output": "{\"status\": \"shipped\", \"tracking\": \"FR123456789\"}"
}
}
conversation.item.delete
Izbriše element pogovora na podlagi njegovega ID-ja:
{
"type": "conversation.item.delete",
"item_id": "item_audio_001"
}
To je uporabno za odstranitev napačnega sporočila ali za preprečevanje prevelike rasti zgodovine pogovora.
response.create in response.cancel
response.create izrecno zahteva, da strežnik ustvari odgovor. V načinu VAD to strežnik stori samodejno, ko zazna konec govora:
{
"type": "response.create"
}
response.cancel ustavi odgovor, ki se trenutno ustvarja. Uporabno je, ko uporabnik govori čez agenta:
{
"type": "response.cancel"
}
Ključne ugotovitve
- Od odjemalca do strežnika je mogoče poslati osem vrst dogodkov
session.updatekonfigurira sejo in jo je mogoče poslati večkratconversation.item.createomogoča dodajanje besedila, zgodovine ali rezultatov funkcijresponse.createje zahtevan v ročnem načinu, v načinu VAD pa je samodejenresponse.cancelti omogoča prekinitev agenta, ko uporabnik znova začne govoriti