Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Tóg cúntóir gutha idirghníomhach

Ceacht 10 as 14 Nuashonraithe 29 Iúil 2026 Meánleibhéal
Ar an leathanach seo
  1. Ó phrótaitíopa go cúntóir gutha táirgeachta
  2. An cúntóir gréasáin sa bhrabhsálaí
  3. An cúntóir soghluaiste
  4. An ciosc idirghníomhach
  5. Patrúin atá coiteann do na trí ailtireacht
  6. Príomhphointí

Ó phrótaitíopa go cúntóir gutha táirgeachta

Tá a fhios agat conas seisiún Gníomhaire Gutha a chumrú agus fuaime a ghiniúint le TTS. Níl le déanamh agat anois ach na bloic thógála sin a chur le chéile ina tháirge a sheasann an fód os comhair úsáideoirí fíor. Tagann trí ailtireacht chun cinn arís is arís eile (an brabhsálaí, an gléas soghluaiste, agus an ciosc idirghníomhach), agus forchuireann gach ceann acu srianta teicniúla i bhfad roimh theacht i gcion ar cháilíocht an mhúnla.

An cúntóir gréasáin sa bhrabhsálaí

Seo an pointe tosaigh is coitianta: cnaipe micreafóin in aip atá ann cheana, labhraíonn an t-úsáideoir, agus freagraíonn an cúntóir os ard. Seo mar a oibríonn an timthriall teicniúil:

  1. Cliceálann an t-úsáideoir an cnaipe: tosaíonn tú ar ghabháil fuaime le MediaRecorder nó AudioWorklet
  2. Tiontaítear an fhuaim gafa go PCM base64 agus seoltar chuig an nGníomhaire Gutha é thar WebSocket
  3. Brathann VAD taobh an fhreastalaí deireadh na cainte agus gineann sé freagra
  4. Tagann smután fuaime an fhreagra tríd response.output_audio.delta
  5. Díchódaíonn tú iad agus seinneann tú iad le AudioContext

Is annamh a thagann an fhadhb ón lúb seo; tagann sí ón mbrabhsálaí féin. Éilíonn Safari go gcruthaítear an AudioContext laistigh de láimhseálaí imeachta úsáideora. Cruthaigh é ar an gcéad chliceáil ar an gcnaipe micreafóin, ní nuair a lódálann an leathanach, nó gheobhaidh tú comhthéacs ar fionraí agus tost iomlán. Léiríonn an polasaí uathsheinm an treo céanna: ní thosaíonn aon athsheinm fuaime gan idirghníomhaíocht úsáideora roimhe sin, rud a chuireann cosc ar bheannacht a sheinntear go huathoibríoch nuair a thagann duine ar an leathanach. Maidir le formáidí aschuir, fan le PCM nó MP3, ós rud é nach féidir le brabhsálaithe mulaw agus alaw a sheinm go dúchasach. Agus ná cuir an eochair API riamh i gcód an chliaint: fanann sí ar do fhreastalaí, agus úsáideann an brabhsálaí comhartha sealadach ina ionad (ceacht 13).

Teastaíonn coigeartú ón ngabháil freisin:

const stream = await navigator.mediaDevices.getUserMedia({
  audio: {
    sampleRate: 24000,
    channelCount: 1,
    echoCancellation: true,
    noiseSuppression: true
  }
});

Ní breiseáin iad cealú athshondais agus maolú torainn. Gan iad, piocann an micreafón freagra an chúntóra ag teacht amach as na cainteoirí, glacann VAD leis mar úsáideoir ag caint, agus leanann an gníomhaire air féin a chur isteach. Déan tástáil i gcónaí gan clogáin chluaise: sin an socrú ina dtaispeántar an t-aiseolas.

An cúntóir soghluaiste

Le React Native nó Flutter, fanann an prionsabal mar an gcéanna, ach éiríonn an timpeallacht níos deacra. Úsáid na APIanna gabhála dúchasacha (AVAudioEngine ar iOS, AudioRecord ar Android) seachas aon teibíocht ghinearálta: bíonn tionchar díreach ag cáilíocht an chomhartha ionchuir ar an aitheantas. Tóg athnascadh uathoibríoch isteach, mar titann an WebSocket chomh luath agus a théann an aip chuig an gcúlra, rud a tharlaíonn an nóiméad a thagann fógra le linn comhrá.

Tá dhá rud a scaipeann go minic trí thástáil inmheánach. Is é an chéad cheann ná ródaíocht fuaime: cainteoir nó glacadóir cluaise, bíonn an iompar ionchais difriúil ag brath ar an bhfuil an t-úsáideoir ag coinneáil an ghutháin lena chluas nó á chur ar bhord. Is é an dara ceann ná Bluetooth, a chuireann a moill féin le moill an líonra agus an mhúnla; bíonn comhrá a shreabhann go réidh leis an micreafón ionsuite uaireanta briste le cluasáin gan sreang.

An ciosc idirghníomhach

I gcás ciosc i siopa, ag óstán, nó i ngailearaí músaem, is é an timpeallacht fuaime an srian is mó. Cuireann micreafón cairdiach, treorach, teorainn leis an bpictiúr leis an duine atá ina sheasamh os comhair an chiosc. Ná bí ag súil le socru íogaireachta chun an slua a scagadh amach: ní nochtann brath seala an Ghníomhaire Gutha ach a type agus idle_timeout_ms, gan aon tairseach le hardú. Nuair a bhíonn an t-áit an-torannach, mar shampla halla stáisiúin traenach nó taispeántas trádála, tá brú-chaint le cnaipe fisiceach níos iontaofa ná aon bhrath uathoibríoch.

Ar deireadh, cuimhnigh seisiúin a dhúnadh tar éis dhá nó trí nóiméad neamhghníomhaíochta. Mura ndéanann tú, fágann cuairteoir a imíonn le linn comhrá seisiún oscailte a ídíonn do acmhainní agus a ghlacann ceann de do shliotáin chomhthreomhara.

Patrúin atá coiteann do na trí ailtireacht

Coinníonn an Gníomhaire Gutha stair an chomhrá don seisiún iomlán. Is féidir leat é a ullmhú roimh an gcéad focal trí chomhthéacs úsáideach a instealladh, mar shampla aitheantas an chustaiméara atá logáilte isteach nó ordú atá ar siúl, le conversation.item.create:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "system",
    "content": [
      {
        "type": "text",
        "text": "The signed-in customer is Sarah Miller, customer number C-4521. She has an order in progress, CMD-8834."
      }
    ]
  }
}

Ansin stopann an gníomhaire ag cur ceisteanna ar úsáideoirí faoi fhaisnéis atá ag d’aip cheana féin, rud a bharrann deich soicind maith de gach comhrá.

Chun go labhróidh an cúntóir ar dtús, cuir teachtaireacht tosaigh isteach agus ansin spreag an freagra:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "user",
    "content": [{ "type": "text", "text": "Hello" }]
  }
}

Spreagann { "type": "response.create" } a sheoltar díreach ina dhiaidh sin an bheannacht.

Níl fágtha ach an t-aiseolas amhairc, a láimhseáiltear de ghnáth ar deireadh cé go bhfuil tionchar mór aige ar an gcaoi a mbraitheann an táirge. Taispeáin táscaire agus an gníomhaire ag caint (tonn fuaime, avatar beoite) agus ceann eile agus tú ag gabháil fuaime. Gan an comhartha sin, ní féidir le húsáideoirí a rá an bhfuil le labhairt acu, an bhfuiltear á n-éisteacht, nó an bhfuil an aip tuairte, agus críochnaíonn siad ag caint thar an ngníomhaire.

Príomhphointí

  • Trí phríomhailtireacht: gréasán, soghluaiste, agus ciosc, gach ceann acu lena shrianta féin
  • Teastaíonn cúram ó fhuaime sa bhrabhsálaí (AudioContext Safari, polasaí uathsheinm)
  • Líon comhthéacs an chomhrá roimh ré le conversation.item.create chun an taithí a phearsantú
  • Feabhsaíonn beannacht agus aiseolas amhairc go mór an taithí úsáideora