Imeachtaí ón bhfreastalaí go dtí an cliant
Ar an leathanach seo
Na teachtaireachtaí a fhaigheann tú
Seolann an freastalaí go leor imeachtaí chun tú a choinneáil ar an eolas faoi staid an chomhrá, an fhuaim freagartha a sheachadadh, agus earráidí a thuairisciú. Tá sé ríthábhachtach na himeachtaí seo a thuiscint chun aip fhreagrach, iontaofa a thógáil.
Imeachtaí seisiúin agus comhrá
Tagann na himeachtaí seo nuair a thosaíonn an nasc agus tar éis gach athrú cumraíochta:
session.created: tá an seisiún oscailte; tá cumraíocht an tseisiúin san imeachtsession.updated: nuashonraíodh an chumraíocht go rathúilconversation.created: cuireadh an cainéal comhrá ar bun
Imeachtaí maoláin fuaime
Inis na himeachtaí seo duit faoin ngníomhaíocht gutha a bhrathann VAD:
input_audio_buffer.speech_started: braitheann VAD go bhfuil an t-úsáideoir tar éis tosú ag caintinput_audio_buffer.speech_stopped: braitheann VAD deireadh na cainteinput_audio_buffer.committed: rinneadh teachtaireacht den mhaolán fuaime
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "input_audio_buffer.speech_started":
// Tá an t-úsáideoir ag caint: taispeáin táscaire amhairc
showSpeakingIndicator(true);
break;
case "input_audio_buffer.speech_stopped":
// Tá an t-úsáideoir críochnaithe: folaigh an táscaire
showSpeakingIndicator(false);
break;
case "input_audio_buffer.committed":
// Tá an teachtaireacht fuaime á próiseáil
showProcessingIndicator(true);
break;
}
});
Imeachtaí fuaime freagartha
Sreabhann an fhuaim freagartha isteach trí dhá imeacht.
response.output_audio.delta
Tá píosa fuaime códaithe i mbonn-64 i ngach delta. Bailigh iad agus seinm iad in ord:
{
"type": "response.output_audio.delta",
"delta": "SGVsbG8gV29ybGQ...",
"item_id": "item_resp_001",
"output_index": 0,
"content_index": 0
}
case "response.output_audio.delta":
const audioChunk = base64ToArrayBuffer(event.delta);
audioPlayer.enqueue(audioChunk);
break;
response.output_audio.done
Cuirtear in iúl leis seo go bhfuil an fhuaim freagartha go léir seolta:
{
"type": "response.output_audio.done",
"item_id": "item_resp_001"
}
Imeachtaí tras-scríofa
Is féidir leis an API tras-scríobh a dhéanamh ar fhuaime an úsáideora agus ar an bhfuaim freagartha araon:
conversation.item.input_audio_transcription.completed: tras-scríobh ar an méid a dúirt an t-úsáideoirresponse.output_audio_transcript.delta: tras-scríobh sruthaithe ar fhreagra an ghníomhaire
case "conversation.item.input_audio_transcription.completed":
console.log("User said:", event.transcript);
displayUserMessage(event.transcript);
break;
case "response.output_audio_transcript.delta":
appendAgentTranscript(event.delta);
break;
Imeachtaí téacs
Má ghineann an gníomhaire téacs (i dteannta fuaime nó in ionad fuaime), faigheann tú:
response.text.delta: blúire téacs sruthaithe
{
"type": "response.text.delta",
"delta": "Your order has been"
}
Imeachtaí glaonna feidhme
Nuair a chinneann an gníomhaire feidhm a ghlaowh, eisítear dhá imeacht:
response.function_call_arguments.delta: argóintí na feidhme, sruthaitheresponse.function_call_arguments.done: an glao feidhme iomlán lena argóintí go léir
Pléann Ceacht 13, ar ghlaonna feidhme gutha, na himeachtaí seo go mion.
response.done
Cuirtear deireadh iomlán le freagra leis an imeacht seo. Tá achoimre ar an bhfreagra ann, lena n-áirítear staitisticí úsáide:
{
"type": "response.done",
"response": {
"id": "resp_001",
"status": "completed",
"output": [...]
}
}
An t-imeacht earráide
Tuairiscíonn an t-imeacht seo earráidí. De réir tagairt xAI, is féidir formhór na n-earráidí a shárú agus fanann an nasc WebSocket oscailte:
{
"type": "error",
"error": {
"type": "invalid_request_error",
"message": "Invalid audio format specified"
}
}
Ba chóir do d’aip na hearráidí seo a logáil agus, ag brath ar chomh tromchúiseach agus atá siad, teachtaireacht a thaispeáint don úsáideoir nó iarracht an fhadhb a réiteach go huathoibríoch.
Príomhphointí
- Seolann an freastalaí imeachtaí do gach céim: braiteadh gutha, fuaim, tras-scríobh, téacs, agus earráidí
- Tagann fuaim freagartha mar phíosaí bonn-64 trí
response.output_audio.delta - Tá tras-scríbhinní ar fáil d’ionchur an úsáideora agus d’aschur an ghníomhaire araon
- Cuireann
response.donedeireadh le freagra iomlán - Is féidir formhór na n-earráidí a thuairiscítear tríd an imeacht
errora shárú: fanann an nasc oscailte