Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Ibni assistent vokali interattiv

Lezzjoni 10 / 14 Aġġornat 29 ta’ Lulju 2026 Livell Medju
F'din il-paġna
  1. Mill-prototip għal assistent vokali tal-produzzjoni
  2. L-assistent web fil-browser
  3. L-assistent mobbli
  4. Il-kjosk interattiv
  5. Mudelli kondiviżi mit-tliet arkitetturi kollha
  6. Punti Ewlenin

Mill-prototip għal assistent vokali tal-produzzjoni

Int diġà taf tikkonfigura sessjoni ta’ Aġent Vokali u tipproduċi awdjo bit-TTS. Dak li jifdal huwa li tgħaqqad dawn il-blokok tal-kostruzzjoni f’prodott li jiflaħ quddiem utenti reali. Tliet arkitetturi jerġgħu joħorġu spiss (il-browser, il-mowbajl, u l-kjosk interattiv), u kull waħda timponi restrizzjonijiet tekniċi ferm qabel ma l-kwalità tal-mudell tidħol fil-logħba.

L-assistent web fil-browser

Dan huwa l-punt tat-tluq l-aktar komuni: buttuna tal-mikrofonu f’app eżistenti, l-utent jitkellem, u l-assistent iwieġeb b’leħen għoli. Iċ-ċiklu tekniku jimxi hekk:

  1. L-utent jikklikkja l-buttuna: tibda taqbad l-awdjo b’MediaRecorder jew AudioWorklet
  2. L-awdjo maqbud jiġi kkonvertit għal PCM base64 u mibgħut lill-Aġent Vokali fuq WebSocket
  3. Il-VAD fuq is-server jiskopri t-tmiem tad-diskors u jiġġenera tweġiba
  4. Il-biċċiet tal-awdjo tat-tweġiba jaslu permezz ta’ response.output_audio.delta
  5. Int tiddeċodifikahom u tdoqqhom b’AudioContext

Il-problema rari tiġi minn dan iċ-ċiklu; tiġi mill-browser innifsu. Safari jeħtieġ li l-AudioContext jinħoloq ġewwa handler ta’ avveniment tal-utent. Oħloqu fl-ewwel klikk tal-buttuna tal-mikrofonu, mhux meta titgħabba l-paġna, inkella se jkollok kuntest sospiż u silenzju totali. Il-politika tal-awtoplay tgħid l-istess ħaġa: l-ebda riproduzzjoni tal-awdjo ma tibda mingħajr interazzjoni preċedenti tal-utent, li teskludi tislima li tindaqq awtomatikament meta xi ħadd jinżel fuq il-paġna. Għall-formati tal-output, imxi fuq PCM jew MP3, peress li l-browsers ma jistgħux idoqqu mulaw u alaw nativament. U l-API key qatt ma tmur fil-kodiċi tal-klijent: tibqa’ fuq is-server tiegħek, u l-browser juża token effimeru minflok (lezzjoni 13).

Il-qbid jeħtieġ aġġustament ukoll:

const stream = await navigator.mediaDevices.getUserMedia({
  audio: {
    sampleRate: 24000,
    channelCount: 1,
    echoCancellation: true,
    noiseSuppression: true
  }
});

Il-kanċellazzjoni tal-eku u s-soppressjoni tal-istorbju mhumiex żejda. Mingħajrhom, il-mikrofonu jaqbad it-tweġiba tal-assistent li toħroġ mill-ispikers, il-VAD jieħu dan bħala l-utent li qed jitkellem, u l-aġent ikompli jinterrompi lilu nnifsu. Dejjem ittestja mingħajr headphones: dik hija l-konfigurazzjoni fejn il-feedback jidher.

L-assistent mobbli

Ma’ React Native jew Flutter, il-prinċipju jibqa’ l-istess, iżda l-ambjent isir iebsor. Uża l-APIs nativi tal-qbid (AVAudioEngine fuq iOS, AudioRecord fuq Android) minflok astrazzjoni ġenerika: il-kwalità tas-sinnal tad-dħol taffettwa direttament ir-rikonoxximent. Ibni konnessjoni mill-ġdid awtomatika, għax il-WebSocket jaqa’ hekk kif l-app tmur fl-isfond, li jiġri fil-mument li tasal notifika waqt konversazzjoni.

Żewġ affarijiet spiss jaħarbu mit-testijiet interni. L-ewwel hija r-rotta tal-awdjo: spiker jew earpiece, l-imġiba mistennija tvarja skont jekk l-utent iżommx it-telefon fuq widnu jew ipoġġih fuq mejda. It-tieni hija l-Bluetooth, li l-latency tagħha stess tiżdied ma’ dik tan-network u tal-mudell; konversazzjoni li tgħaddi b’mod fluwidu bil-mikrofonu integrat xi kultant issir imqatta’ bl-earbuds mingħajr fili.

Il-kjosk interattiv

Għal kjosk f’ħanut, fuq ir-riċeviment ta’ lukanda, jew f’gallerija tal-mużew, ir-restrizzjoni dominanti ssir l-ambjent tal-ħoss. Mikrofonu kardjojdi u direzzjonali jillimita l-qbid għall-persuna li tkun wieqfa quddiem il-kjosk. Ma tgħoddix fuq setting tas-sensittività biex tifiltra l-folla: id-detezzjoni tad-dawra tal-Aġent Vokali tesponi biss it-type u l-idle_timeout_ms tiegħu, mingħajr l-ebda limitu (threshold) li tista’ tgħolli. Meta l-post ikun verament storbjuż, bħal konkos ta’ stazzjon tal-ferrovija jew fiera kummerċjali, il-push-to-talk b’buttuna fiżika hija aktar affidabbli minn kwalunkwe detezzjoni awtomatika.

Fl-aħħar nett, ftakar li tagħlaq is-sessjonijiet wara żewġ sa tliet minuti ta’ inattività. Inkella, viżitatur li jitbiegħed f’nofs konversazzjoni iħalli sessjoni miftuħa li tikkonsma r-riżorsi tiegħek u tieħu wieħed mill-islots konkorrenti tiegħek.

Mudelli kondiviżi mit-tliet arkitetturi kollha

L-Aġent Vokali jżomm l-istorja tal-konversazzjoni għas-sessjoni kollha. Tista’ tħejjieh qabel l-ewwel kelma billi tinjetta kuntest utli, bħall-identità tal-klijent li daħal jew ordni għaddejja, b’conversation.item.create:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "system",
    "content": [
      {
        "type": "text",
        "text": "The signed-in customer is Sarah Miller, customer number C-4521. She has an order in progress, CMD-8834."
      }
    ]
  }
}

L-aġent imbagħad jieqaf jistaqsi lill-utenti għal informazzjoni li l-app tiegħek diġà għandha, li jnaqqas madwar għaxar sekondi minn kull konversazzjoni.

Biex l-assistent jitkellem l-ewwel, daħħal messaġġ inizjali u mbagħad attiva t-tweġiba:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "user",
    "content": [{ "type": "text", "text": "Hello" }]
  }
}

{ "type": "response.create" } mibgħut eżatt wara jattiva t-tislima.

Jibqa’ l-feedback viżiv, li ġeneralment jiġi ttrattat l-aħħar għalkemm jiżen ħafna fuq kif iħossu l-prodott. Uri indikatur waqt li l-aġent ikun qed jitkellem (mewġa tal-ħoss, avatar animat) u ieħor waqt li tkun qed taqbad l-awdjo. Mingħajr dak is-sinjal, l-utenti ma jistgħux jgħidu jekk għandhomx jitkellmu, jekk qed jinstemgħux, jew jekk l-applikazzjonix ikkrollatx, u jispiċċaw jitkellmu fuq l-aġent.

Punti Ewlenin

  • Tliet arkitetturi ewlenin: web, mobbli, u kjosk, kull waħda bir-restrizzjonijiet tagħha
  • L-awdjo fil-browser jeħtieġ attenzjoni (AudioContext ta’ Safari, politika tal-awtoplay)
  • Imla minn qabel il-kuntest tal-konversazzjoni b’conversation.item.create biex tippersonalizza l-esperjenza
  • Tislima u feedback viżiv itejbu b’mod sinifikanti l-esperjenza tal-utent