Događaji od poslužitelja do klijenta
Na ovoj stranici
Poruke koje primaš
Poslužitelj šalje brojne događaje kako bi te informirao o stanju razgovora, isporučio odgovarajući audio zapis i prijavio pogreške. Razumijevanje ovih događaja ključno je za izgradnju responzivne i pouzdane aplikacije.
Događaji sesije i razgovora
Ovi događaji stižu prilikom uspostave veze i nakon svake promjene konfiguracije:
session.created: sesija je otvorena; događaj sadrži konfiguraciju sesijesession.updated: konfiguracija je uspješno ažuriranaconversation.created: kanal razgovora je postavljen
Događaji audio međuspremnika
Ovi događaji obavještavaju te o glasovnoj aktivnosti koju otkriva VAD (detektor glasovne aktivnosti):
input_audio_buffer.speech_started: VAD detektira da je korisnik počeo govoritiinput_audio_buffer.speech_stopped: VAD detektira kraj govorainput_audio_buffer.committed: audio međuspremnik je potvrđen kao poruka
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
// Korisnik govori: prikaži vizualni indikator
showSpeakingIndicator(true);
break;
case "input_audio_buffer.speech_stopped":
// Korisnik je završio: sakrij indikator
showSpeakingIndicator(false);
break;
case "input_audio_buffer.committed":
// Audio poruka se obrađuje
showProcessingIndicator(true);
break;
}
});
Događaji odgovarajućeg audio zapisa
Audio zapis odgovora struji kroz dva događaja.
response.output_audio.delta
Svaki delta sadrži dio audio zapisa kodiran u base64. Prikupi ih i reproduciraj redom:
{
"type": "response.output_audio.delta",
"delta": "SGVsbG8gV29ybGQ...",
"item_id": "item_resp_001",
"output_index": 0,
"content_index": 0
}
case "response.output_audio.delta":
const audioChunk = base64ToArrayBuffer(event.delta);
audioPlayer.enqueue(audioChunk);
break;
response.output_audio.done
Signalizira da je sav audio zapis odgovora poslan:
{
"type": "response.output_audio.done",
"item_id": "item_resp_001"
}
Događaji transkripcije
API može transkribirati i korisnikov audio zapis i audio zapis odgovora:
conversation.item.input_audio_transcription.completed: transkript onoga što je korisnik rekaoresponse.output_audio_transcript.delta: transkript odgovora agenta u streamu
case "conversation.item.input_audio_transcription.completed":
console.log("Korisnik je rekao:", event.transcript);
displayUserMessage(event.transcript);
break;
case "response.output_audio_transcript.delta":
appendAgentTranscript(event.delta);
break;
Tekstualni događaji
Ako agent generira tekst (uz audio zapis ili umjesto njega), primaš:
response.text.delta: fragment teksta u streamu
{
"type": "response.text.delta",
"delta": "Vaša narudžba je"
}
Događaji pozivanja funkcija
Kada agent odluči pozvati funkciju, emitiraju se dva događaja:
response.function_call_arguments.delta: argumenti funkcije, u streamuresponse.function_call_arguments.done: potpuni poziv funkcije sa svim argumentima
Lekcija 13, o pozivanju glasovnih funkcija, detaljno obrađuje ove događaje.
response.done
Ovaj događaj označava potpuni kraj odgovora. Sadrži sažetak odgovora, uključujući statistiku korištenja:
{
"type": "response.done",
"response": {
"id": "resp_001",
"status": "completed",
"output": [...]
}
}
Događaj pogreške
Ovaj događaj prijavljuje pogreške. Prema xAI referenci, većina pogrešaka je obnovljiva, a WebSocket veza ostaje otvorena:
{
"type": "error",
"error": {
"type": "invalid_request_error",
"message": "Naveden je nevažeći audio format"
}
}
Tvoja aplikacija treba bilježiti ove pogreške i, ovisno o njihovoj ozbiljnosti, prikazati korisniku poruku ili pokušati automatski riješiti problem.
Ključne točke
- Poslužitelj šalje događaje za svaki korak: detekciju glasa, audio zapis, transkripciju, tekst i pogreške
- Audio zapis odgovora stiže kao base64 chunkovi kroz
response.output_audio.delta - Transkripti su dostupni i za korisnikov ulaz i za izlaz agenta
response.doneoznačava kraj potpunog odgovora- Većina pogrešaka prijavljenih kroz događaj
errorje obnovljiva: veza ostaje otvorena