Dogodki od strežnika do odjemalca
Na tej strani
Sporočila, ki jih prejmeš
Strežnik pošilja številne dogodke, da te obvešča o stanju pogovora, dostavlja zvočni odziv in poroča o napakah. Razumevanje teh dogodkov je ključno za izgradnjo odzivne in zanesljive aplikacije.
Dogodki seje in pogovora
Ti dogodki prispejo ob vzpostavitvi povezave in po vsaki spremembi konfiguracije:
session.created: seja je odprta; dogodek vsebuje konfiguracijo sejesession.updated: konfiguracija je bila uspešno posodobljenaconversation.created: kanal pogovora je vzpostavljen
Dogodki zvočnega medpomnilnika
Ti dogodki te obveščajo o glasovni aktivnosti, ki jo zazna VAD (detektor glasovne aktivnosti):
input_audio_buffer.speech_started: VAD zazna, da je uporabnik začel govoritiinput_audio_buffer.speech_stopped: VAD zazna konec govorainput_audio_buffer.committed: zvočni medpomnilnik je bil potrjen kot sporočilo
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
// Uporabnik govori: prikaži vizualni indikator
showSpeakingIndicator(true);
break;
case "input_audio_buffer.speech_stopped":
// Uporabnik je končal: skrij indikator
showSpeakingIndicator(false);
break;
case "input_audio_buffer.committed":
// Zvočno sporočilo se obdeluje
showProcessingIndicator(true);
break;
}
});
Dogodki odzivnega zvoka
Odzivni zvok se pretaka prek dveh dogodkov.
response.output_audio.delta
Vsak delta vsebuje del zvoka, kodiran v base64. Zberi jih in predvajaj po vrstnem redu:
{
"type": "response.output_audio.delta",
"delta": "SGVsbG8gV29ybGQ...",
"item_id": "item_resp_001",
"output_index": 0,
"content_index": 0
}
case "response.output_audio.delta":
const audioChunk = base64ToArrayBuffer(event.delta);
audioPlayer.enqueue(audioChunk);
break;
response.output_audio.done
Sporoči, da je bil ves odzivni zvok poslan:
{
"type": "response.output_audio.done",
"item_id": "item_resp_001"
}
Dogodki prepisovanja
API lahko prepisuje tako uporabnikov zvok kot odzivni zvok:
conversation.item.input_audio_transcription.completed: prepis tega, kar je rekel uporabnikresponse.output_audio_transcript.delta: pretočni prepis odziva agenta
case "conversation.item.input_audio_transcription.completed":
console.log("Uporabnik je rekel:", event.transcript);
displayUserMessage(event.transcript);
break;
case "response.output_audio_transcript.delta":
appendAgentTranscript(event.delta);
break;
Besedilni dogodki
Če agent generira besedilo (poleg zvoka ali namesto njega), prejmeš:
response.text.delta: pretočni fragment besedila
{
"type": "response.text.delta",
"delta": "Your order has been"
}
Dogodki klicanja funkcij
Ko se agent odloči poklicati funkcijo, se sprožita dva dogodka:
response.function_call_arguments.delta: argumenti funkcije, poslani v tokuresponse.function_call_arguments.done: popoln klic funkcije z vsemi njenimi argumenti
Lekcija 13, ki obravnava klicanje glasovnih funkcij, podrobneje opisuje te dogodke.
response.done
Ta dogodek označuje popoln konec odziva. Vsebuje povzetek odziva, vključno s statistiko uporabe:
{
"type": "response.done",
"response": {
"id": "resp_001",
"status": "completed",
"output": [...]
}
}
Dogodek napake
Ta dogodek poroča o napakah. Glede na referenčno dokumentacijo xAI je večino napak mogoče odpraviti, povezava WebSocket pa ostane odprta:
{
"type": "error",
"error": {
"type": "invalid_request_error",
"message": "Invalid audio format specified"
}
}
Tvoja aplikacija bi morala beležiti te napake in glede na njihovo resnost uporabniku prikazati sporočilo ali poskusiti težavo samodejno odpraviti.
Ključne ugotovitve
- Strežnik pošilja dogodke za vsak korak: zaznavanje govora, zvok, prepis, besedilo in napake
- Odzivni zvok prispe kot delčki base64 prek
response.output_audio.delta - Prepisi so na voljo tako za uporabnikov vnos kot za izhod agenta
response.doneoznačuje konec celotnega odziva- Večina napak, sporočenih prek dogodka
error, je popravljivih: povezava ostane odprta