Įvykiai nuo kliento iki serverio
Šiame puslapyje
Siunčiami pranešimai
Voice Agent API veikia keičiantis JSON įvykiais per „WebSocket“. Šioje pamokoje peržiūrėsi visus įvykius, kuriuos tavo programa gali siųsti serveriui. Kiekvienas jų atlieka specifinį vaidmenį pokalbio cikle.
| Įvykis | Aprašymas | Kada naudoti |
|---|---|---|
| session.update | Konfigūruoti sesiją | Paleidimo metu ir keičiant konfigūraciją |
| input_audio_buffer.append | Siųsti „base64“ garso fragmentą | Nuolat įrašymo metu |
| input_audio_buffer.commit | Patvirtinti garso buferį | „Push-to-talk“ režimu |
| input_audio_buffer.clear | Išvalyti buferį neapdorojant | Norint atšaukti įrašymą |
| conversation.item.create | Pridėti pranešimą arba funkcijos rezultatą | Istorijai, kontekstui, funkcijų rezultatams |
| conversation.item.delete | Ištrinti elementą pagal ID | Valant pokalbio istoriją |
| response.create | Užklausti atsakymo | Rankiniu režimu (automatiškai su VAD) |
| response.cancel | Atšaukti vykdomą atsakymą | Kai vartotojas pertraukia |
conversation.item.create
Šis įvykis leidžia įterpti pranešimus į pokalbį apeinant garso srautą. Jis apima tris pagrindinius atvejus.
Pridėti vartotojo tekstinį pranešimą
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{
"type": "input_text",
"text": "What's the status of my order 12345?"
}
]
}
}
Įterpti pokalbio istoriją
Prieš prasidedant garso pokalbiui, gali iš anksto užpildyti istoriją ankstesniais mainais, kad suteiktum agentui kontekstą:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "assistant",
"content": [
{
"type": "text",
"text": "Hello, I'm your assistant. How can I help you?"
}
]
}
}
Grąžinti funkcijos rezultatą
Po to, kai funkcijos iškvietimas įvykdytas, šiuo įvykiu siunčiamas rezultatas atgal (žr. 13 pamoką apie funkcijų iškvietimą):
{
"type": "conversation.item.create",
"item": {
"type": "function_call_output",
"call_id": "call_abc123",
"output": "{\"status\": \"shipped\", \"tracking\": \"FR123456789\"}"
}
}
conversation.item.delete
Ištrina pokalbio elementą pagal jo ID:
{
"type": "conversation.item.delete",
"item_id": "item_audio_001"
}
Tai naudinga norint pašalinti neteisingą pranešimą arba neleisti pokalbio istorijai per daug išaugti.
response.create ir response.cancel
response.create aiškiai prašo serverio sugeneruoti atsakymą. VAD režimu serveris tai atlieka savarankiškai, kai aptinka kalbos pabaigą:
{
"type": "response.create"
}
response.cancel sustabdo generuojamą atsakymą. Tai naudinga, kai vartotojas kalba agentui nebaigus:
{
"type": "response.cancel"
}
Svarbiausi punktai
- Iš kliento į serverį galima siųsti aštuonių tipų įvykius
session.updatekonfigūruoja sesiją ir gali būti siunčiamas kelis kartusconversation.item.createleidžia pridėti tekstą, istoriją arba funkcijų rezultatusresponse.createreikalingas rankiniu režimu, o VAD režimu jis automatinisresponse.cancelleidžia pertraukti agentą, kai vartotojas vėl pradeda kalbėti