Client-to-server-tapahtumat
Tällä sivulla
Lähettämäsi viestit
Voice Agent API toimii vaihtamalla JSON-tapahtumia WebSocket-yhteyden yli. Tässä oppitunnissa käymme läpi kaikki tapahtumat, jotka sovelluksesi voi lähettää palvelimelle. Jokaisella niistä on erityinen rooli keskustelusyklissä.
| Tapahtuma | Kuvaus | Milloin käyttää |
|---|---|---|
| session.update | Määritä istunto | Käynnistyksen yhteydessä ja kokoonpanon muuttamiseksi |
| input_audio_buffer.append | Lähetä base64-koodattu äänipala | Jatkuvasti nauhoituksen aikana |
| input_audio_buffer.commit | Vahvista äänipuskuri | Push-to-talk-tilassa |
| input_audio_buffer.clear | Tyhjennä puskuri käsittelemättä | Nauhoituksen peruuttamiseksi |
| conversation.item.create | Lisää viesti tai funktion tulos | Historia, konteksti, funktion tulokset |
| conversation.item.delete | Poista kohde ID:n perusteella | Keskustelun siivoamiseen |
| response.create | Pyydä vastausta | Manuaalisessa tilassa (automaattinen VAD:n kanssa) |
| response.cancel | Peruuta käynnissä oleva vastaus | Kun käyttäjä keskeyttää |
conversation.item.create
Tämän tapahtuman avulla voit syöttää viestejä keskusteluun ohittamalla äänivirran. Se kattaa kolme päätilannetta.
Lisää käyttäjän tekstiviesti
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{
"type": "input_text",
"text": "What's the status of my order 12345?"
}
]
}
}
Syötä keskusteluhistoria
Ennen äänikeskustelun alkamista voit esitäyttää historian aiemmilla vaihdoilla antaaksesi agentille kontekstia:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "assistant",
"content": [
{
"type": "text",
"text": "Hello, I'm your assistant. How can I help you?"
}
]
}
}
Palauta funktion tulos
Kun funktiokutsu on suoritettu, lähetät tuloksen takaisin tällä tapahtumalla (katso oppitunti 13 funktiokutsuista):
{
"type": "conversation.item.create",
"item": {
"type": "function_call_output",
"call_id": "call_abc123",
"output": "{\"status\": \"shipped\", \"tracking\": \"FR123456789\"}"
}
}
conversation.item.delete
Poistaa keskustelukohteen sen ID:n perusteella:
{
"type": "conversation.item.delete",
"item_id": "item_audio_001"
}
Tämä on hyödyllistä virheellisen viestin poistamiseen tai keskusteluhistorian kasvun hillitsemiseen.
response.create ja response.cancel
response.create pyytää palvelinta eksplisiittisesti generoimaan vastauksen. VAD-tilassa palvelin tekee tämän itsestään havaittuaan puheen päättymisen:
{
"type": "response.create"
}
response.cancel pysäyttää generoitavan vastauksen. Se on hyödyllinen, kun käyttäjä puhuu agentin päälle:
{
"type": "response.cancel"
}
Keskeiset asiat
- Asiakas voi lähettää palvelimelle kahdeksan erityyppistä tapahtumaa
session.updatemäärittää istunnon ja se voidaan lähettää useita kertojaconversation.item.createmahdollistaa tekstin, historian tai funktion tulosten lisäämisenresponse.createvaaditaan manuaalisessa tilassa ja on automaattinen VAD-tilassaresponse.cancelantaa sinun keskeyttää agentin, kun käyttäjä alkaa puhua uudelleen