Server-til-klient begivenheder
På denne side
De beskeder, du modtager
Serveren sender mange begivenheder for at holde dig orienteret om samtalestatussen, levere responslyden og rapportere fejl. Det er afgørende at forstå disse begivenheder for at bygge en responsiv og pålidelig app.
Sessions- og samtalebegivenheder
Disse begivenheder ankommer, når forbindelsen oprettes, og efter hver konfigurationsændring:
session.created: sessionen er åben; begivenheden indeholder sessionskonfigurationensession.updated: konfigurationen blev opdateret succesfuldtconversation.created: samtalekanalen er sat op
Lydbuffer-begivenheder
Disse begivenheder fortæller dig om den taleaktivitet, som VAD registrerer:
input_audio_buffer.speech_started: VAD registrerer, at brugeren er begyndt at taleinput_audio_buffer.speech_stopped: VAD registrerer slutningen på taleninput_audio_buffer.committed: lydbufferen blev commit’et som en besked
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
// Brugeren taler: vis en visuel indikator
showSpeakingIndicator(true);
break;
case "input_audio_buffer.speech_stopped":
// Brugeren er færdig: skjul indikatoren
showSpeakingIndicator(false);
break;
case "input_audio_buffer.committed":
// Lydbeskeden bliver behandlet
showProcessingIndicator(true);
break;
}
});
Responslyd-begivenheder
Responslyden streames gennem to begivenheder.
response.output_audio.delta
Hver delta indeholder en base64-kodet lydchunk. Indsaml dem og afspil dem i rækkefølge:
{
"type": "response.output_audio.delta",
"delta": "SGVsbG8gV29ybGQ...",
"item_id": "item_resp_001",
"output_index": 0,
"content_index": 0
}
case "response.output_audio.delta":
const audioChunk = base64ToArrayBuffer(event.delta);
audioPlayer.enqueue(audioChunk);
break;
response.output_audio.done
Signalerer, at al responslyd er sendt:
{
"type": "response.output_audio.done",
"item_id": "item_resp_001"
}
Transskriptionsbegivenheder
API’et kan transskribere både brugerens lyd og responslyden:
conversation.item.input_audio_transcription.completed: en transskription af, hvad brugeren sagderesponse.output_audio_transcript.delta: en streamet transskription af agentens respons
case "conversation.item.input_audio_transcription.completed":
console.log("Bruger sagde:", event.transcript);
displayUserMessage(event.transcript);
break;
case "response.output_audio_transcript.delta":
appendAgentTranscript(event.delta);
break;
Tekstbegivenheder
Hvis agenten genererer tekst (ud over eller i stedet for lyd), modtager du:
response.text.delta: et streamet tekstfragment
{
"type": "response.text.delta",
"delta": "Din ordre er blevet"
}
Funktionskaldsbegivenheder
Når agenten beslutter at kalde en funktion, udsendes to begivenheder:
response.function_call_arguments.delta: funktionsargumenterne, streametresponse.function_call_arguments.done: det komplette funktionskald med alle dets argumenter
Lektion 13 om stemmestyrede funktionskald dækker disse begivenheder i detaljer.
response.done
Denne begivenhed markerer den fuldstændige afslutning på et respons. Den indeholder et sammendrag af responsen, herunder brugsstatistik:
{
"type": "response.done",
"response": {
"id": "resp_001",
"status": "completed",
"output": [...]
}
}
Fejl-begivenheden
Denne begivenhed rapporterer fejl. Ifølge xAI-referencen er de fleste fejl genoprettelige, og WebSocket-forbindelsen forbliver åben:
{
"type": "error",
"error": {
"type": "invalid_request_error",
"message": "Ugyldigt lydformat angivet"
}
}
Din app bør logge disse fejl og afhængigt af deres alvorlighed vise brugeren en besked eller forsøge at løse problemet automatisk.
Vigtige pointer
- Serveren sender begivenheder for hvert trin: stemmegenkendelse, lyd, transskription, tekst og fejl
- Responslyd ankommer som base64-chunks via
response.output_audio.delta - Transskriptioner er tilgængelige for både brugerinput og agent-output
response.donemarkerer slutningen på en komplet respons- De fleste fejl rapporteret via
error-begivenheden er genoprettelige: forbindelsen forbliver åben