Evenimente client-către-server
Pe această pagină
Mesajele pe care le trimiteți
API-ul Voice Agent funcționează prin schimbul de evenimente JSON prin WebSocket. În această lecție, veți parcurge fiecare eveniment pe care aplicația dumneavoastră îl poate trimite către server. Fiecare are un rol specific în ciclul de conversație.
| Eveniment | Descriere | Când să îl utilizați |
|---|---|---|
| session.update | Configurarea sesiunii | La pornire și pentru modificarea configurației |
| input_audio_buffer.append | Trimiterea unui fragment audio base64 | Continuu, în timpul înregistrării |
| input_audio_buffer.commit | Confirmarea tamponului audio | În modul apasă-pentru-vorbire (push-to-talk) |
| input_audio_buffer.clear | Golirea tamponului fără procesare | Pentru anularea unei înregistrări |
| conversation.item.create | Adăugarea unui mesaj sau a unui rezultat de funcție | Istoric, context, rezultate ale funcțiilor |
| conversation.item.delete | Ștergerea unui element după ID | Curățarea istoricului conversației |
| response.create | Solicitarea unui răspuns | În modul manual (automat cu VAD) |
| response.cancel | Anularea unui răspuns în curs de generare | Când utilizatorul întrerupe |
conversation.item.create
Acest eveniment vă permite să injectați mesaje în conversație fără a trece prin fluxul audio. Acoperă trei cazuri principale.
Adăugarea unui mesaj text de la utilizator
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{
"type": "input_text",
"text": "What's the status of my order 12345?"
}
]
}
}
Injectarea istoricului conversației
Înainte de începerea conversației vocale, puteți precompleta istoricul cu schimburi anterioare pentru a oferi context agentului:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "assistant",
"content": [
{
"type": "text",
"text": "Hello, I'm your assistant. How can I help you?"
}
]
}
}
Returnarea unui rezultat de funcție
După executarea unui apel de funcție, trimiteți rezultatul înapoi folosind acest eveniment (consultați lecția 13 despre apelarea funcțiilor):
{
"type": "conversation.item.create",
"item": {
"type": "function_call_output",
"call_id": "call_abc123",
"output": "{\"status\": \"shipped\", \"tracking\": \"FR123456789\"}"
}
}
conversation.item.delete
Șterge un element din conversație pe baza ID-ului său:
{
"type": "conversation.item.delete",
"item_id": "item_audio_001"
}
Acest lucru este util pentru eliminarea unui mesaj incorect sau pentru a preveni creșterea excesivă a istoricului conversației.
response.create și response.cancel
response.create solicită explicit serverului să genereze un răspuns. În modul VAD, serverul face acest lucru automat după ce detectează sfârșitul vorbirii:
{
"type": "response.create"
}
response.cancel oprește un răspuns care este în curs de generare. Este util atunci când utilizatorul vorbeie peste agent:
{
"type": "response.cancel"
}
Puncte cheie
- Opt tipuri de evenimente pot fi trimise de la client către server
session.updateconfigurează sesiunea și poate fi trimis de mai multe oriconversation.item.createvă permite să adăugați text, istoric sau rezultate ale funcțiilorresponse.createeste necesar în modul manual și automat în modul VADresponse.cancelvă permite să întrerupeți agentul când utilizatorul începe din nou să vorbească