Client-naar-server events
Op deze pagina
De berichten die u verzendt
De Voice Agent API werkt door JSON-events uit te wisselen via WebSocket. In deze les behandelt u elk event dat uw applicatie naar de server kan sturen. Elk event heeft een specifieke rol in de conversatiecyclus.
| Event | Beschrijving | Wanneer gebruiken |
|---|---|---|
| session.update | De sessie configureren | Bij opstarten en om de configuratie te wijzigen |
| input_audio_buffer.append | Een base64-audiofragment verzenden | Continu tijdens het opnemen |
| input_audio_buffer.commit | De audiobuffer bevestigen | In push-to-talk-modus |
| input_audio_buffer.clear | De buffer legen zonder verwerking | Om een opname te annuleren |
| conversation.item.create | Een bericht of functieresultaat toevoegen | Geschiedenis, context, functieresultaten |
| conversation.item.delete | Een item verwijderen op basis van ID | De conversatie opschonen |
| response.create | Een respons aanvragen | In handmatige modus (automatisch met VAD) |
| response.cancel | Een lopende respons annuleren | Wanneer de gebruiker onderbreekt |
conversation.item.create
Met dit event injecteert u berichten in de conversatie zonder gebruik te maken van de audiostream. Het dekt drie hoofdgevallen.
Een tekstbericht van de gebruiker toevoegen
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{
"type": "input_text",
"text": "What's the status of my order 12345?"
}
]
}
}
Conversatiegeschiedenis injecteren
Voordat de spraakconversatie start, kunt u de geschiedenis vooraf vullen met eerdere uitwisselingen om de agent context te bieden:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "assistant",
"content": [
{
"type": "text",
"text": "Hello, I'm your assistant. How can I help you?"
}
]
}
}
Een functieresultaat retourneren
Nadat een functieaanroep is uitgevoerd, stuurt u het resultaat terug met dit event (zie les 13 over function calling):
{
"type": "conversation.item.create",
"item": {
"type": "function_call_output",
"call_id": "call_abc123",
"output": "{\"status\": \"shipped\", \"tracking\": \"FR123456789\"}"
}
}
conversation.item.delete
Verwijdert een conversatie-item op basis van de ID:
{
"type": "conversation.item.delete",
"item_id": "item_audio_001"
}
Dit is nuttig om een onjuist bericht te verwijderen of te voorkomen dat de conversatiegeschiedenis te groot wordt.
response.create en response.cancel
response.create vraagt de server expliciet om een respons te genereren. In VAD-modus doet de server dit automatisch zodra het einde van de spraak wordt gedetecteerd:
{
"type": "response.create"
}
response.cancel stopt een respons die wordt gegenereerd. Dit is handig wanneer de gebruiker door de agent heen praat:
{
"type": "response.cancel"
}
Belangrijkste punten
- Er kunnen acht soorten events van de client naar de server worden verzonden
session.updateconfigureert de sessie en kan meerdere keren worden verzondenconversation.item.createstelt u in staat tekst, geschiedenis of functieresultaten toe te voegenresponse.createis vereist in handmatige modus en automatisch in VAD-modusresponse.cancelstelt u in staat de agent te onderbreken wanneer de gebruiker opnieuw begint te spreken