Händelser från server till klient
På denna sida
Meddelandena du tar emot
Servern skickar många händelser för att hålla dig uppdaterad om konversationens tillstånd, leverera ljudsvaret och rapportera fel. Att förstå dessa händelser är avgörande för att bygga en responsiv och tillförlitlig app.
Händelser för session och konversation
Dessa händelser anländer när anslutningen startar och efter varje konfigurationsändring:
session.created: sessionen är öppen; händelsen innehåller sessionskonfigurationensession.updated: konfigurationen har uppdaterats framgångsriktconversation.created: konversationskanalen har ställts in
Händelser för ljudbuffert
Dessa händelser informerar dig om röstaktivitet som VAD detekterar:
input_audio_buffer.speech_started: VAD detekterar att användaren har börjat talainput_audio_buffer.speech_stopped: VAD detekterar slutet på taletinput_audio_buffer.committed: ljudbufferten har bekräftats som ett meddelande
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
// Användaren talar: visa en visuell indikator
showSpeakingIndicator(true);
break;
case "input_audio_buffer.speech_stopped":
// Användaren är klar: dölj indikatorn
showSpeakingIndicator(false);
break;
case "input_audio_buffer.committed":
// Ljudmeddelandet bearbetas
showProcessingIndicator(true);
break;
}
});
Händelser för svarsljud
Svarsljudet strömmas via två händelser.
response.output_audio.delta
Varje delta innehåller en base64-kodad ljudbit. Samla dem och spela upp dem i ordning:
{
"type": "response.output_audio.delta",
"delta": "SGVsbG8gV29ybGQ...",
"item_id": "item_resp_001",
"output_index": 0,
"content_index": 0
}
case "response.output_audio.delta":
const audioChunk = base64ToArrayBuffer(event.delta);
audioPlayer.enqueue(audioChunk);
break;
response.output_audio.done
Signalera att allt svarsljud har skickats:
{
"type": "response.output_audio.done",
"item_id": "item_resp_001"
}
Transkriberingshändelser
API:et kan transkribera både användarens ljud och svarsljudet:
conversation.item.input_audio_transcription.completed: en transkribering av vad användaren saresponse.output_audio_transcript.delta: en strömmad transkribering av agentens svar
case "conversation.item.input_audio_transcription.completed":
console.log("Användaren sa:", event.transcript);
displayUserMessage(event.transcript);
break;
case "response.output_audio_transcript.delta":
appendAgentTranscript(event.delta);
break;
Texthändelser
Om agenten genererar text (utöver eller istället för ljud) får du:
response.text.delta: ett strömmat textfragment
{
"type": "response.text.delta",
"delta": "Din beställning har blivit"
}
Händelser för funktionsanrop
När agenten beslutar att anropa en funktion sänds två händelser:
response.function_call_arguments.delta: funktionsargumenten, strömmaderesponse.function_call_arguments.done: det kompletta funktionsanropet med alla sina argument
Lektion 13, om röstbaserade funktionsanrop, behandlar dessa händelser i detalj.
response.done
Denna händelse markerar det fullständiga slutet på ett svar. Den innehåller en sammanfattning av svaret, inklusive användningsstatistik:
{
"type": "response.done",
"response": {
"id": "resp_001",
"status": "completed",
"output": [...]
}
}
Felhändelsen
Denna händelse rapporterar fel. Enligt xAI:s referens är de flesta fel återställningsbara och WebSocket-anslutningen förblir öppen:
{
"type": "error",
"error": {
"type": "invalid_request_error",
"message": "Ogiltigt ljudformat angivet"
}
}
Din app bör logga dessa fel och, beroende på hur allvarliga de är, visa användaren ett meddelande eller försöka åtgärda problemet automatiskt.
Viktiga punkter
- Servern skickar händelser för varje steg: röstigenkänning, ljud, transkribering, text och fel
- Svarsljud anländer som base64-bitar via
response.output_audio.delta - Transkriberingar finns tillgängliga för både användarinmatning och agentens utdata
response.donemarkerar slutet på ett komplett svar- De flesta fel som rapporteras via händelsen
errorär återställningsbara: anslutningen förblir öppen