Ibni assistent vokali interattiv
F'din il-paġna
Mill-prototip għal assistent vokali tal-produzzjoni
Int diġà taf tikkonfigura sessjoni ta’ Aġent Vokali u tipproduċi awdjo bit-TTS. Dak li jifdal huwa li tgħaqqad dawn il-blokok tal-kostruzzjoni f’prodott li jiflaħ quddiem utenti reali. Tliet arkitetturi jerġgħu joħorġu spiss (il-browser, il-mowbajl, u l-kjosk interattiv), u kull waħda timponi restrizzjonijiet tekniċi ferm qabel ma l-kwalità tal-mudell tidħol fil-logħba.
L-assistent web fil-browser
Dan huwa l-punt tat-tluq l-aktar komuni: buttuna tal-mikrofonu f’app eżistenti, l-utent jitkellem, u l-assistent iwieġeb b’leħen għoli. Iċ-ċiklu tekniku jimxi hekk:
- L-utent jikklikkja l-buttuna: tibda taqbad l-awdjo b’
MediaRecorderjewAudioWorklet - L-awdjo maqbud jiġi kkonvertit għal PCM base64 u mibgħut lill-Aġent Vokali fuq WebSocket
- Il-VAD fuq is-server jiskopri t-tmiem tad-diskors u jiġġenera tweġiba
- Il-biċċiet tal-awdjo tat-tweġiba jaslu permezz ta’
response.output_audio.delta - Int tiddeċodifikahom u tdoqqhom b’
AudioContext
Il-problema rari tiġi minn dan iċ-ċiklu; tiġi mill-browser innifsu. Safari jeħtieġ li l-AudioContext jinħoloq ġewwa handler ta’ avveniment tal-utent. Oħloqu fl-ewwel klikk tal-buttuna tal-mikrofonu, mhux meta titgħabba l-paġna, inkella se jkollok kuntest sospiż u silenzju totali. Il-politika tal-awtoplay tgħid l-istess ħaġa: l-ebda riproduzzjoni tal-awdjo ma tibda mingħajr interazzjoni preċedenti tal-utent, li teskludi tislima li tindaqq awtomatikament meta xi ħadd jinżel fuq il-paġna. Għall-formati tal-output, imxi fuq PCM jew MP3, peress li l-browsers ma jistgħux idoqqu mulaw u alaw nativament. U l-API key qatt ma tmur fil-kodiċi tal-klijent: tibqa’ fuq is-server tiegħek, u l-browser juża token effimeru minflok (lezzjoni 13).
Il-qbid jeħtieġ aġġustament ukoll:
const stream = await navigator.mediaDevices.getUserMedia({
audio: {
sampleRate: 24000,
channelCount: 1,
echoCancellation: true,
noiseSuppression: true
}
});
Il-kanċellazzjoni tal-eku u s-soppressjoni tal-istorbju mhumiex żejda. Mingħajrhom, il-mikrofonu jaqbad it-tweġiba tal-assistent li toħroġ mill-ispikers, il-VAD jieħu dan bħala l-utent li qed jitkellem, u l-aġent ikompli jinterrompi lilu nnifsu. Dejjem ittestja mingħajr headphones: dik hija l-konfigurazzjoni fejn il-feedback jidher.
L-assistent mobbli
Ma’ React Native jew Flutter, il-prinċipju jibqa’ l-istess, iżda l-ambjent isir iebsor. Uża l-APIs nativi tal-qbid (AVAudioEngine fuq iOS, AudioRecord fuq Android) minflok astrazzjoni ġenerika: il-kwalità tas-sinnal tad-dħol taffettwa direttament ir-rikonoxximent. Ibni konnessjoni mill-ġdid awtomatika, għax il-WebSocket jaqa’ hekk kif l-app tmur fl-isfond, li jiġri fil-mument li tasal notifika waqt konversazzjoni.
Żewġ affarijiet spiss jaħarbu mit-testijiet interni. L-ewwel hija r-rotta tal-awdjo: spiker jew earpiece, l-imġiba mistennija tvarja skont jekk l-utent iżommx it-telefon fuq widnu jew ipoġġih fuq mejda. It-tieni hija l-Bluetooth, li l-latency tagħha stess tiżdied ma’ dik tan-network u tal-mudell; konversazzjoni li tgħaddi b’mod fluwidu bil-mikrofonu integrat xi kultant issir imqatta’ bl-earbuds mingħajr fili.
Il-kjosk interattiv
Għal kjosk f’ħanut, fuq ir-riċeviment ta’ lukanda, jew f’gallerija tal-mużew, ir-restrizzjoni dominanti ssir l-ambjent tal-ħoss. Mikrofonu kardjojdi u direzzjonali jillimita l-qbid għall-persuna li tkun wieqfa quddiem il-kjosk. Ma tgħoddix fuq setting tas-sensittività biex tifiltra l-folla: id-detezzjoni tad-dawra tal-Aġent Vokali tesponi biss it-type u l-idle_timeout_ms tiegħu, mingħajr l-ebda limitu (threshold) li tista’ tgħolli. Meta l-post ikun verament storbjuż, bħal konkos ta’ stazzjon tal-ferrovija jew fiera kummerċjali, il-push-to-talk b’buttuna fiżika hija aktar affidabbli minn kwalunkwe detezzjoni awtomatika.
Fl-aħħar nett, ftakar li tagħlaq is-sessjonijiet wara żewġ sa tliet minuti ta’ inattività. Inkella, viżitatur li jitbiegħed f’nofs konversazzjoni iħalli sessjoni miftuħa li tikkonsma r-riżorsi tiegħek u tieħu wieħed mill-islots konkorrenti tiegħek.
Mudelli kondiviżi mit-tliet arkitetturi kollha
L-Aġent Vokali jżomm l-istorja tal-konversazzjoni għas-sessjoni kollha. Tista’ tħejjieh qabel l-ewwel kelma billi tinjetta kuntest utli, bħall-identità tal-klijent li daħal jew ordni għaddejja, b’conversation.item.create:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "system",
"content": [
{
"type": "text",
"text": "The signed-in customer is Sarah Miller, customer number C-4521. She has an order in progress, CMD-8834."
}
]
}
}
L-aġent imbagħad jieqaf jistaqsi lill-utenti għal informazzjoni li l-app tiegħek diġà għandha, li jnaqqas madwar għaxar sekondi minn kull konversazzjoni.
Biex l-assistent jitkellem l-ewwel, daħħal messaġġ inizjali u mbagħad attiva t-tweġiba:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [{ "type": "text", "text": "Hello" }]
}
}
{ "type": "response.create" } mibgħut eżatt wara jattiva t-tislima.
Jibqa’ l-feedback viżiv, li ġeneralment jiġi ttrattat l-aħħar għalkemm jiżen ħafna fuq kif iħossu l-prodott. Uri indikatur waqt li l-aġent ikun qed jitkellem (mewġa tal-ħoss, avatar animat) u ieħor waqt li tkun qed taqbad l-awdjo. Mingħajr dak is-sinjal, l-utenti ma jistgħux jgħidu jekk għandhomx jitkellmu, jekk qed jinstemgħux, jew jekk l-applikazzjonix ikkrollatx, u jispiċċaw jitkellmu fuq l-aġent.
Punti Ewlenin
- Tliet arkitetturi ewlenin: web, mobbli, u kjosk, kull waħda bir-restrizzjonijiet tagħha
- L-awdjo fil-browser jeħtieġ attenzjoni (AudioContext ta’ Safari, politika tal-awtoplay)
- Imla minn qabel il-kuntest tal-konversazzjoni b’
conversation.item.createbiex tippersonalizza l-esperjenza - Tislima u feedback viżiv itejbu b’mod sinifikanti l-esperjenza tal-utent