Įvykiai iš serverio klientui
Šiame puslapyje
Gaunami pranešimai
Serveris siunčia daugybę įvykių, kad informuotų tave apie pokalbio būseną, perduotų atsakymo garso įrašą ir praneštų apie klaidas. Suprasti šiuos įvykius yra būtina kuriant reaguojačią ir patikimą programėlę.
Sesijos ir pokalbio įvykiai
Šie įvykiai gaunami užmezgus ryšį ir po kiekvieno konfigūracijos pakeitimo:
session.created: sesija atidaryta; įvykis turi sesijos konfigūracijąsession.updated: konfigūracija sėkmingai atnaujintaconversation.created: pokalbio kanalas sukonfigūruotas
Garso buferio įvykiai
Šie įvykiai informuoja apie balso aktyvumą, kurį aptinka VAD:
input_audio_buffer.speech_started: VAD aptiko, kad naudotojas pradėjo kalbėtiinput_audio_buffer.speech_stopped: VAD aptiko kalbos pabaigąinput_audio_buffer.committed: garso buferis patvirtintas kaip žinutė
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
// Naudotojas kalba: rodyk vizualinį indikatorių
showSpeakingIndicator(true);
break;
case "input_audio_buffer.speech_stopped":
// Naudotojas baigė: paslėpk indikatorių
showSpeakingIndicator(false);
break;
case "input_audio_buffer.committed":
// Garso žinutė apdorojama
showProcessingIndicator(true);
break;
}
});
Atsakymo garso įvykiai
Atsakymo garso srautas perduodamas per du įvykius.
response.output_audio.delta
Kiekviename deltoje yra „base64“ koduotas garso gabalėlis. Surink juos ir paleisk eilės tvarka:
{
"type": "response.output_audio.delta",
"delta": "SGVsbG8gV29ybGQ...",
"item_id": "item_resp_001",
"output_index": 0,
"content_index": 0
}
case "response.output_audio.delta":
const audioChunk = base64ToArrayBuffer(event.delta);
audioPlayer.enqueue(audioChunk);
break;
response.output_audio.done
Signalizuoja, kad visas atsakymo garso įrašas buvo išsiųstas:
{
"type": "response.output_audio.done",
"item_id": "item_resp_001"
}
Transkripcijos įvykiai
API gali transkribuoti tiek naudotojo garso įrašą, tiek atsakymo garso įrašą:
conversation.item.input_audio_transcription.completed: naudotojo pasakytos frazės transkripcijaresponse.output_audio_transcript.delta: srautinė agento atsakymo transkripcija
case "conversation.item.input_audio_transcription.completed":
console.log("Naudotojas pasakė:", event.transcript);
displayUserMessage(event.transcript);
break;
case "response.output_audio_transcript.delta":
appendAgentTranscript(event.delta);
break;
Teksto įvykiai
Jei agentas sugeneruoja tekstą (papildomai arba vietoj garso), gauni:
response.text.delta: srautinį teksto fragmentą
{
"type": "response.text.delta",
"delta": "Jūsų užsakymas buvo"
}
Funkcijų kvietimo įvykiai
Kai agentas nusprendžia iškviesti funkciją, generuojami du įvykiai:
response.function_call_arguments.delta: srautiniai funkcijos argumentairesponse.function_call_arguments.done: pilnas funkcijos kvietimas su visais argumentais
13 pamoka apie balso funkcijų kvietimą išsamiai nagrinėja šiuos įvykius.
response.done
Šis įvykis žymi visišką atsakymo pabaigą. Jame pateikiama atsakymo santrauka, įskaitant naudojimo statistiką:
{
"type": "response.done",
"response": {
"id": "resp_001",
"status": "completed",
"output": [...]
}
}
Klaidos įvykis
Šis įvykis praneša apie klaidas. Pagal xAI nuorodas, dauguma klaidų yra ištaisomos, o „WebSocket“ ryšys lieka atviras:
{
"type": "error",
"error": {
"type": "invalid_request_error",
"message": "Nurodytas neteisingas garso formatas"
}
}
Tavo programėlė turėtų registruoti šias klaidas ir, priklausomai nuo jų sunkumo, rodyti naudotojui pranešimą arba bandyti automatiškai išspręsti problemą.
Svarbiausi punktai
- Serveris siunčia įvykius kiekvienam žingsniui: balso aptikimui, garso perdavimui, transkripcijai, tekstui ir klaidoms
- Atsakymo garso įrašas gaunamas kaip „base64“ gabalėliai per
response.output_audio.delta - Transkripcijos prieinamos tiek naudotojo įvestiai, tiek agento išvestiai
response.donežymi pilno atsakymo pabaigą- Dauguma klaidų, praneštų per
errorįvykį, yra ištaisomos: ryšys lieka atviras