Notikumi no servera uz klientu
Šajā lapā
Ziņojumi, ko saņem
Serveris sūta daudzus notikumus, lai informētu tevi par sarunas stāvokli, nogādātu atbildes audio un ziņotu par kļūdām. Šo notikumu izpratne ir būtiska, lai izveidotu reaģētspējīgu un uzticamu lietotni.
Sesijas un sarunas notikumi
Šie notikumi tiek saņemti, kad savienojums tiek izveidots, un pēc katras konfigurācijas izmaiņas:
session.created: sesija ir atvērta; notikums satur sesijas konfigurācijusession.updated: konfigurācija ir veiksmīgi atjauninātaconversation.created: sarunas kanāls ir izveidots
Audio bufera notikumi
Šie notikumi informē par balss aktivitāti, ko konstatē VAD (balss aktivitātes noteikšana):
input_audio_buffer.speech_started: VAD konstatē, ka lietotājs ir sācis runātinput_audio_buffer.speech_stopped: VAD konstatē runas beigasinput_audio_buffer.committed: audio buferis ir apstiprināts kā ziņojums
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
// Lietotājs runā: rādi vizuālo indikatoru
showSpeakingIndicator(true);
break;
case "input_audio_buffer.speech_stopped":
// Lietotājs ir beidzis: slēp indikatoru
showSpeakingIndicator(false);
break;
case "input_audio_buffer.committed":
// Audio ziņojums tiek apstrādāts
showProcessingIndicator(true);
break;
}
});
Atbildes audio notikumi
Atbildes audio tiek straumēts, izmantojot divus notikumus.
response.output_audio.delta
Katrs delta satur base64 kodētu audio gabalu. Savāc tos un atskaņo secībā:
{
"type": "response.output_audio.delta",
"delta": "SGVsbG8gV29ybGQ...",
"item_id": "item_resp_001",
"output_index": 0,
"content_index": 0
}
case "response.output_audio.delta":
const audioChunk = base64ToArrayBuffer(event.delta);
audioPlayer.enqueue(audioChunk);
break;
response.output_audio.done
Signalizē, ka viss atbildes audio ir nosūtīts:
{
"type": "response.output_audio.done",
"item_id": "item_resp_001"
}
Transkribēšanas notikumi
API var transkribēt gan lietotāja audio, gan atbildes audio:
conversation.item.input_audio_transcription.completed: lietotāja teiktā transkripcijaresponse.output_audio_transcript.delta: aģenta atbildes straumēta transkripcija
case "conversation.item.input_audio_transcription.completed":
console.log("Lietotājs teica:", event.transcript);
displayUserMessage(event.transcript);
break;
case "response.output_audio_transcript.delta":
appendAgentTranscript(event.delta);
break;
Teksta notikumi
Ja aģents ģenerē tekstu (papildus audio vai tā vietā), tu saņem:
response.text.delta: straumēts teksta fragments
{
"type": "response.text.delta",
"delta": "Jūsu pasūtījums ir"
}
Funkciju izsaukuma notikumi
Kad aģents nolemj izsaukt funkciju, tiek ģenerēti divi notikumi:
response.function_call_arguments.delta: funkcijas argumenti, straumētiresponse.function_call_arguments.done: pilns funkcijas izsaukums ar visiem tā argumentiem
- nodarbība par balss funkciju izsaukšanu detalizēti aplūko šos notikumus.
response.done
Šis notikums atzīmē pilnīgu atbildes beigšanos. Tas satur atbildes kopsavilkumu, tostarp lietojuma statistiku:
{
"type": "response.done",
"response": {
"id": "resp_001",
"status": "completed",
"output": [...]
}
}
Kļūdas notikums
Šis notikums ziņo par kļūdām. Saskaņā ar xAI atsauces dokumentāciju lielākā daļa kļūdu ir atgūstamas, un WebSocket savienojums paliek atvērts:
{
"type": "error",
"error": {
"type": "invalid_request_error",
"message": "Norādīts nederīgs audio formāts"
}
}
Tavai lietotnei šīs kļūdas jāreģistrē un atkarībā no to nopietnības jāparāda lietotājam ziņojums vai jāmēģina problēma automātiski novērst.
Galvenās atziņas
- Serveris sūta notikumus par katru soli: balss noteikšanu, audio, transkribēšanu, tekstu un kļūdām
- Atbildes audio tiek saņemts kā base64 gabali, izmantojot
response.output_audio.delta - Transkripcijas ir pieejamas gan lietotāja ievadei, gan aģenta izvadei
response.doneatzīmē pilnīgas atbildes beigšanos- Lielākā daļa kļūdu, par kurām ziņots, izmantojot
errornotikumu, ir atgūstamas: savienojums paliek atvērts