Ehita interaktiivne häälteabistaja
Sellel lehel
Prototüübist tootmisesse viidud häälteabistajani
Sa tead, kuidas konfigureerida Voice Agent’i seanssi ja genereerida heli TTS-i abil. Ülejäänud on nende ehitusplokkide kokkupanek tooteks, mis peab vastu reaalsete kasutajate ees. Kolm arhitektuuri korduvad ikka ja jälle (veebibrauser, mobiilirakendus ja interaktiivne infokiosk) ning üks neist seab tehnilised piirangud juba ammu enne, kui mudeli kvaliteet mängu tuleb.
Veebiabistaja brauseris
See on kõige levinum lähtepunkt: mikrofoni nupp olemasolevas rakenduses, kasutaja räägib ja abistaja vastab valjult. Tehniline tsükkel näeb välja selline:
- Kasutaja klõpsab nuppu: alustad heli salvestamist
MediaRecordervõiAudioWorkletabil - Salvestatud heli teisendatakse base64 PCM-formaati ja saadetakse Voice Agent’ile üle WebSocketi
- Serveripoolne VAD tuvastab kõne lõpu ja genereerib vastuse
- Vastuse helilõigud saabuvad läbi
response.output_audio.delta - Dekodeerid need ja esitad
AudioContextabil
Probleemid tekivad harva sellest tsüklist; need tulevad brauserist endast. Safari nõuab, et AudioContext loodaks kasutaja sündmuse käitleja sees. Loo see mikrofoni nupu esimesel klõpsamisel, mitte lehe laadimisel, muidu saad peatatud konteksti ja täieliku vaikuse. Automaatesituse reegel osutab samale suunale: heli esitamine ei alga ilma eelneva kasutaja interaktsioonita, mis välistab tervituse, mida mängitakse automaatselt, kui keegi lehele jõuab. Väljundvormingute puhul jää PCM-i või MP3 juurde, kuna brauserid ei oska mulaw ja alaw vorminguid loomupäraselt esitada. Ja API võti ei kuulu kunagi kliendikoodi: see jääb sinu serverisse ning brauser kasutab selle asemel ajutist tokenit (tund 13).
Ka salvestamine vajab häälestamist:
const stream = await navigator.mediaDevices.getUserMedia({
audio: {
sampleRate: 24000,
channelCount: 1,
echoCancellation: true,
noiseSuppression: true
}
});
Kajavastus ja müra summutamine pole lisandid. Ilma nendeta korjab mikrofon abistaja vastuse, mis tuleb kõlaritest, VAD peab seda kasutaja kõneks ja agent katkestab ennast pidevalt. Testi alati ilma kõrvaklappideta: just selles seadistuses ilmneb tagasiside.
Mobiiliabistaja
React Native’i või Flutteriga jääb põhimõte samaks, kuid keskkond muutub keerulisemaks. Kasuta kohalikke salvestus-API-sid (AVAudioEngine iOS-is, AudioRecord Androidis) üldiste abstraktsioonide asemel: sisendsignaali kvaliteet mõjutab otseselt äratundmist. Ehita sisse automaatne uuesti ühendamine, sest WebSocket katkeb niipea, kui rakendus läheb taustale, mis juhtub hetkel, kui vestluse ajal saabub teavitus.
Kaks asja jäävad sageli sisetestimisel märkamata. Esimene on heli marsruutimine: kõlar või kuuldetoruke, oodatav käitumine erineb sõltuvalt sellest, kas kasutaja hoiab telefoni kõrva juures või paneb selle lauale. Teine on Bluetooth, mille enda latentsus liitub võrgu ja mudeli omaga; vestlus, mis voolab sujuvalt sisseehitatud mikrofoniga, muutub mõnikord traadita kõrvaklappidega katkendlikuks.
Interaktiivne infokiosk
Poekioski, hotelli vastuvõtu või muuseumigalerii puhul muutub domineerivaks piiranguks helikeskkond. Kardiodne, suunatud mikrofon piirab vastuvõtu kioski ees seisva inimesega. Ära looda tundlikkuse seadistusele rahvahulga filtreerimiseks: Voice Agent’i kõnevooru tuvastus paljastab ainult oma type ja idle_timeout_ms, ilma lävendita, mida tõsta. Kui koht on tõesti müra, nagu rongijaama saal või mess, on füüsilise nupuga „vajuta ja räägi“ usaldusväärsem kui ükski automaatne tuvastus.
Lõpuks pea meeles, et seansid tuleb sulgeda pärast kahe kuni kolme minuti pikkust tegevusetust. Vastasel juhul jätab külastaja, kes vestluse pooleli jätab ja lahkub, seansi avatuks, mis tarbib sinu ressursse ja hõivab ühe sinu samaaegsetest kohtadest.
Kõigile kolmele arhitektuurile ühised mustrid
Voice Agent hoiab vestluse ajalugu kogu seansi vältel. Saad seda enne esimest sõna ette valmistada, süstides kasulikku konteksti, nagu sisselogitud kliendi identiteet või pooleliolev tellimus, kasutades conversation.item.create:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "system",
"content": [
{
"type": "text",
"text": "The signed-in customer is Sarah Miller, customer number C-4521. She has an order in progress, CMD-8834."
}
]
}
}
Seejärel lõpetab agent kasutajatelt nende andmete küsimise, mis su rakendusel juba olemas on, mis lühendab iga vestlust umbes kümne sekundi võrra.
Selleks, et abistaja räägiks esimesena, lisa algne sõnum ja käivita seejärel vastus:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [{ "type": "text", "text": "Hello" }]
}
}
Kohe pärast seda saadetud { "type": "response.create" } käivitab tervituse.
Üle jääb visuaalne tagasiside, mida tavaliselt käsitletakse viimasena, kuigi see mõjutab oluliselt toote tunnetust. Näita indikaatorit, kui agent räägib (helilaine, animeeritud avatar), ja teist, kui salvestad heli. Ilma selle signaalita ei tea kasutajad, kas nad peaksid rääkima, kas neid kuuldakse või kas rakendus on kokku jooksnud, ning nad lõpetavad agendile vahele rääkimisega.
Peamised punktid
- Kolm peamist arhitektuuri: veeb, mobiil ja kiosk, ühel oma piirangutega
- Heli brauseris vajab hoolt (Safari AudioContext, automaatesituse reegel)
- Täida vestluse kontekst eelnevalt
conversation.item.createabil, et kogemust isikupärastada - Tervitus ja visuaalne tagasiside parandavad oluliselt kasutajakogemust