Client-til-server-begivenheder
På denne side
De beskeder, du sender
Voice Agent API fungerer ved at udveksle JSON-begivenheder over WebSocket. I denne lektion gennemgår du hver eneste begivenhed, din app kan sende til serveren. Hver af dem har en specifik rolle i samtalecyklussen.
| Begivenhed | Beskrivelse | Hvornår skal den bruges |
|---|---|---|
| session.update | Konfigurer sessionen | Ved opstart og for at ændre konfigurationen |
| input_audio_buffer.append | Send en base64-lydblok | Løbende under optagelse |
| input_audio_buffer.commit | Bekræft lydbufferen | I push-to-talk-tilstand |
| input_audio_buffer.clear | Tøm bufferen uden behandling | For at annullere en optagelse |
| conversation.item.create | Tilføj en besked eller et funktionsresultat | Historik, kontekst, funktionsresultater |
| conversation.item.delete | Slet et element efter ID | Oprydning i samtalen |
| response.create | Anmod om et svar | I manuel tilstand (automatisk med VAD) |
| response.cancel | Annuller et svar under behandling | Når brugeren afbryder |
conversation.item.create
Denne begivenhed giver dig mulighed for at injicere beskeder i samtalen uden at gå gennem lydstrømmen. Den dækker tre hovedtilfælde.
Tilføj en tekstbesked fra brugeren
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{
"type": "input_text",
"text": "What's the status of my order 12345?"
}
]
}
}
Indsæt samtalehistorik
Før talesamtalen starter, kan du udfylde historikken med tidligere udvekslinger for at give agenten kontekst:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "assistant",
"content": [
{
"type": "text",
"text": "Hello, I'm your assistant. How can I help you?"
}
]
}
}
Returner et funktionsresultat
Når et funktionskald er blevet udført, sender du resultatet tilbage med denne begivenhed (se lektion 13 om funktionskald):
{
"type": "conversation.item.create",
"item": {
"type": "function_call_output",
"call_id": "call_abc123",
"output": "{\"status\": \"shipped\", \"tracking\": \"FR123456789\"}"
}
}
conversation.item.delete
Sletter et samtaleelement efter dets ID:
{
"type": "conversation.item.delete",
"item_id": "item_audio_001"
}
Dette er nyttigt til at fjerne en forkert besked eller for at forhindre, at samtalehistorikken bliver for stor.
response.create og response.cancel
response.create anmoder eksplicit serveren om at generere et svar. I VAD-tilstand gør serveren dette automatisk, når den registrerer slutningen af en tale:
{
"type": "response.create"
}
response.cancel stopper et svar, der er under generering. Det er nyttigt, når brugeren taler hen over agenten:
{
"type": "response.cancel"
}
Vigtige pointer
- Der kan sendes otte typer begivenheder fra klienten til serveren
session.updatekonfigurerer sessionen og kan sendes flere gangeconversation.item.creategiver dig mulighed for at tilføje tekst, historik eller funktionsresultaterresponse.createer påkrævet i manuel tilstand og automatisk i VAD-tilstandresponse.cancelgiver dig mulighed for at afbryde agenten, når brugeren begynder at tale igen