Notikumi no klienta uz serveri
Šajā lapā
Ziņojumi, ko tu sūti
Voice Agent API darbojas, apmainoties ar JSON notikumiem, izmantojot WebSocket. Šajā nodarbībā tu iziesi cauri katram notikumam, ko tava lietotne var nosūtīt serverim. Katram no tiem ir specifiska loma sarunas ciklā.
| Notikums | Apraksts | Kad to lietot |
|---|---|---|
| session.update | Konfigurē sesiju | Startējot un lai mainītu konfigurāciju |
| input_audio_buffer.append | Nosūta base64 audio gabalu | Nepārtraukti ierakstīšanas laikā |
| input_audio_buffer.commit | Apstiprina audio buferi | Režīmā „nospied un runā" |
| input_audio_buffer.clear | Iztukšo buferi bez apstrādes | Lai atceltu ierakstīšanu |
| conversation.item.create | Pievieno ziņojumu vai funkcijas rezultātu | Vēsture, konteksts, funkciju rezultāti |
| conversation.item.delete | Dzēš elementu pēc ID | Sarunas vēstures tīrīšanai |
| response.create | Pieprasa atbildi | Manuālajā režīmā (automātiski ar VAD) |
| response.cancel | Atceļ ģenerējamu atbildi | Kad lietotājs pārtrauc runu |
conversation.item.create
Šis notikums ļauj tev ievadīt ziņojumus sarunā, neizmantojot audio plūsmu. Tas aptver trīs galvenos gadījumus.
Lietotāja teksta ziņojuma pievienošana
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{
"type": "input_text",
"text": "What's the status of my order 12345?"
}
]
}
}
Sarunas vēstures ievadīšana
Pirms balss sarunas sākuma tu vari iepriekš aizpildīt vēsturi ar iepriekšējām apmaiņām, lai nodrošinātu aģentam kontekstu:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "assistant",
"content": [
{
"type": "text",
"text": "Hello, I'm your assistant. How can I help you?"
}
]
}
}
Funkcijas rezultāta atgriešana
Pēc funkcijas izsaukuma izpildes tu nosūti rezultātu atpakaļ, izmantojot šo notikumu (skat. 13. nodarbību par funkciju izsaukumiem):
{
"type": "conversation.item.create",
"item": {
"type": "function_call_output",
"call_id": "call_abc123",
"output": "{\"status\": \"shipped\", \"tracking\": \"FR123456789\"}"
}
}
conversation.item.delete
Dzēš sarunas elementu pēc tā ID:
{
"type": "conversation.item.delete",
"item_id": "item_audio_001"
}
Tas ir noderīgi, lai dzēstu nepareizu ziņojumu vai novērstu sarunas vēstures pārmērīgu pieaugumu.
response.create un response.cancel
response.create tieši pieprasa serverim ģenerēt atbildi. VAD režīmā serveris to dara pats, tiklīdz tas konstatē runas beigas:
{
"type": "response.create"
}
response.cancel aptur atbildi, kas tiek ģenerēta. Tas ir noderīgi, kad lietotājs runā pāri aģentam:
{
"type": "response.cancel"
}
Galvenās atziņas
- No klienta uz serveri var nosūtīt astoņu veidu notikumus
session.updatekonfigurē sesiju un to var nosūtīt vairākas reizesconversation.item.createļauj pievienot tekstu, vēsturi vai funkciju rezultātusresponse.createir nepieciešams manuālajā režīmā un automātisks VAD režīmāresponse.cancelļauj pārtraukt aģenta darbību, kad lietotājs atsāk runāt