Serveri ja kliendi vahelised sündmused
Sellel lehel
Sõnumid, mida saad
Server saadab palju sündmusi, et hoida sind vestluse olekust kursis, edastada vastuse helifaili ja teavitada vigadest. Nende sündmuste mõistmine on hädavajalik reageerimisvõimelise ja töökindla rakenduse loomiseks.
Seansi ja vestluse sündmused
Need sündmused saadetakse ühenduse loomisel ja pärast iga konfiguratsiooni muutmist:
session.created: seanss on avatud; sündmus sisaldab seansi konfiguratsioonisession.updated: konfiguratsioon uuendati edukaltconversation.created: vestluskanal on seatud üles
Helipuhvri sündmused
Need sündmused annavad teada hääleaktiivsusest, mida VAD tuvastab:
input_audio_buffer.speech_started: VAD tuvastas, et kasutaja hakkas rääkimainput_audio_buffer.speech_stopped: VAD tuvastas kõne lõpuinput_audio_buffer.committed: helipuhver kinnitati sõnumina
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
// Kasutaja räägib: kuva visuaalne indikaator
showSpeakingIndicator(true);
break;
case "input_audio_buffer.speech_stopped":
// Kasutaja on lõpetanud: peida indikaator
showSpeakingIndicator(false);
break;
case "input_audio_buffer.committed":
// Helisõnumit töödeldakse
showProcessingIndicator(true);
break;
}
});
Vastuse heli sündmused
Vastuse heli voogedastatakse kahe sündmuse kaudu.
response.output_audio.delta
Iga delta sisaldab base64-kodeeritud helilõiku. Kogu need kokku ja esita õiges järjekorras:
{
"type": "response.output_audio.delta",
"delta": "SGVsbG8gV29ybGQ...",
"item_id": "item_resp_001",
"output_index": 0,
"content_index": 0
}
case "response.output_audio.delta":
const audioChunk = base64ToArrayBuffer(event.delta);
audioPlayer.enqueue(audioChunk);
break;
response.output_audio.done
Annab märku, et kogu vastuse heli on saadetud:
{
"type": "response.output_audio.done",
"item_id": "item_resp_001"
}
Transkriptsiooni sündmused
API suudab transkribeerida nii kasutaja heli kui ka vastuse heli:
conversation.item.input_audio_transcription.completed: kasutaja öeldu transkriptresponse.output_audio_transcript.delta: agendi vastuse voogedastatav transkript
case "conversation.item.input_audio_transcription.completed":
console.log("Kasutaja ütles:", event.transcript);
displayUserMessage(event.transcript);
break;
case "response.output_audio_transcript.delta":
appendAgentTranscript(event.delta);
break;
Teksti sündmused
Kui agent genereerib teksti (lisaks helile või selle asemel), saad:
response.text.delta: voogedastatav tekstifragment
{
"type": "response.text.delta",
"delta": "Teie tellimus on"
}
Funktsioonide kutsumise sündmused
Kui agent otsustab funktsiooni kutsuda, edastatakse kaks sündmust:
response.function_call_arguments.delta: funktsiooni argumendid, voogedastatunaresponse.function_call_arguments.done: täielik funktsioonikutse koos kõigi argumentidega
- õppetund, mis käsitleb häälkäsklustega funktsioonide kutsumist, käsitleb neid sündmusi üksikasjalikumalt.
response.done
See sündmus tähistab vastuse täielikku lõppu. See sisaldab vastuse kokkuvõtet, sealhulgas kasutusstatistikat:
{
"type": "response.done",
"response": {
"id": "resp_001",
"status": "completed",
"output": [...]
}
}
Veasündmus
See sündmus teatab vigadest. xAI dokumentatsiooni kohaselt on enamik vigu taastatavad ja WebSocketi ühendus jääb avatuks:
{
"type": "error",
"error": {
"type": "invalid_request_error",
"message": "Määrati sobimatu helivorming"
}
}
Sinu rakendus peaks need vead logima ja sõltuvalt nende tõsidusest näitama kasutajale teadet või püüdma probleemi automaatselt lahendada.
Peamised punktid
- Server saadab sündmusi iga sammu kohta: hääle tuvastamine, heli, transkriptsioon, tekst ja vead
- Vastuse heli saabub base64-lõikudena sündmuse
response.output_audio.deltakaudu - Transkriptid on saadaval nii kasutaja sisendi kui ka agendi väljundi jaoks
response.donetähistab tervikliku vastuse lõppu- Enamik sündmuse
errorkaudu teatatud vigu on taastatavad: ühendus jääb avatuks