Händelser från klient till server
På denna sida
Meddelandena du skickar
Voice Agent API fungerar genom att utbyta JSON-händelser över WebSocket. I denna lektion går vi igenom varje händelse din app kan skicka till servern. Varje en har en specifik roll i konversationscykeln.
| Händelse | Beskrivning | När du ska använda den |
|---|---|---|
| session.update | Konfigurera sessionen | Vid start och för att ändra konfigurationen |
| input_audio_buffer.append | Skicka en base64-kodad ljudbit | Kontinuerligt under inspelning |
| input_audio_buffer.commit | Bekräfta ljudbufferten | I push-to-talk-läge |
| input_audio_buffer.clear | Töm bufferten utan bearbetning | För att avbryta en inspelning |
| conversation.item.create | Lägg till ett meddelande eller funktionsresultat | Historik, kontext, funktionsresultat |
| conversation.item.delete | Ta bort ett objekt efter ID | Rensa upp i konversationen |
| response.create | Begär ett svar | I manuellt läge (automatiskt med VAD) |
| response.cancel | Avbryt ett pågående svar | När användaren avbryter |
conversation.item.create
Denna händelse låter dig injicera meddelanden i konversationen utan att gå via ljudströmmen. Den täcker tre huvudfall.
Lägg till ett textmeddelande från användaren
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{
"type": "input_text",
"text": "What's the status of my order 12345?"
}
]
}
}
Injicera konversationshistorik
Innan röstkonversationen startar kan du fylla historiken med tidigare utbyten för att ge agenten kontext:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "assistant",
"content": [
{
"type": "text",
"text": "Hello, I'm your assistant. How can I help you?"
}
]
}
}
Returnera ett funktionsresultat
Efter att ett funktionsanrop har körts skickar du tillbaka resultatet med denna händelse (se lektion 13 om funktionsanrop):
{
"type": "conversation.item.create",
"item": {
"type": "function_call_output",
"call_id": "call_abc123",
"output": "{\"status\": \"shipped\", \"tracking\": \"FR123456789\"}"
}
}
conversation.item.delete
Tar bort ett konversationsobjekt efter dess ID:
{
"type": "conversation.item.delete",
"item_id": "item_audio_001"
}
Detta är användbart för att ta bort ett felaktigt meddelande eller för att hindra konversationshistoriken från att växa sig för stor.
response.create och response.cancel
response.create ber explicit servern att generera ett svar. I VAD-läge gör servern detta automatiskt så snart den upptäcker att talet har upphört:
{
"type": "response.create"
}
response.cancel stoppar ett svar som håller på att genereras. Det är användbart när användaren pratar över agenten:
{
"type": "response.cancel"
}
Viktiga punkter
- Åtta typer av händelser kan skickas från klienten till servern
session.updatekonfigurerar sessionen och kan skickas flera gångerconversation.item.createlåter dig lägga till text, historik eller funktionsresultatresponse.createkrävs i manuellt läge och är automatisk i VAD-lägeresponse.cancellåter dig avbryta agenten när användaren börjar prata igen