Sukurkite interaktyvų balso asistentą
Šiame puslapyje
Nuo prototipo iki gamybinio balso asistento
Jau moki sukonfigūruoti balso agento sesiją ir generuoti garso įrašus naudodamas TTS. Belieka šiuos statybinius blokus sujungti į produktą, kuris atlaikytų tikrų vartotojų spaudimą. Trys architektūros pasikartoja nuolat (naršyklė, mobilioji programėlė ir interaktyvus kioskas), ir kiekviena iš jų kelia techninius apribojimus dar prieš tai, kai imama vertinti modelio kokybė.
Žiniatinklio asistentas naršyklėje
Tai dažniausias pradžios taškas: mygtukas mikrofonui esamoje programėlėje, vartotojas kalba, o asistentas atsako garsiai. Techninis ciklas atrodo taip:
- Vartotojas paspaudžia mygtuką: pradedi fiksuoti garsą naudodamas
MediaRecorderarbaAudioWorklet - Įrašytas garsas konvertuojamas į base64 PCM formatą ir siunčiamas balso agentui per „WebSocket“
- Serverio pusėje VAD (balso aktyvumo detektorius) aptinka kalbos pabaigą ir sugeneruoja atsakymą
- Atsakymo garso fragmentai atkeliauja per
response.output_audio.delta - Juos iššifruoji ir atkuri naudodamas
AudioContext
Problemos kyla retai iš šio ciklo; jos kyla iš pačios naršyklės. „Safari“ reikalauja, kad AudioContext būtų sukurtas vartotojo įvykio apdorotojo viduje. Sukurk jį pirmojo mikrofono mygtuko paspaudimo metu, o ne puslapiui įsikrovus, kitaip gausi sustabdytą kontekstą ir visišką tylą. Automatinio atkūrimo politika rodo tą patį: joks garso atkūrimas neprasideda be išankstinės vartotojo sąveikos, o tai neleidžia automatiškai paleisti pasisveikinimo, kai kas nors užkanka į puslapį. Išvesties formatams naudok PCM arba MP3, kadangi naršyklės negali natūraliai atkurti „mulaw“ ir „alaw“ formatų. Ir svarbiausia – API raktas niekada neturi atsidurti kliento kode: jis lieka tavo serveryje, o naršyklė vietoj jo naudoja laikiną prieigos raktą (13 pamoka).
Įrašymas taip pat reikalauja derinimo:
const stream = await navigator.mediaDevices.getUserMedia({
audio: {
sampleRate: 24000,
channelCount: 1,
echoCancellation: true,
noiseSuppression: true
}
});
Aido slopinimas ir triukšmo mažinimas nėra papildomos funkcijos. Be jų mikrofonas fiksuoja asistento atsakymą, sklindantį iš garsiakalbių, VAD tai palaiko vartotojo kalba, ir agentas nuolat pertraukia pats save. Visada testuok be ausinių: būtent tokioje sąrankoje atsiranda grįžtamasis ryšys.
Mobilusis asistentas
Naudojant „React Native“ arba „Flutter“, principas lieka tas pats, tačiau aplinka tampa sudėtingesnė. Naudok vietines įrašymo API (iOS sistemoje – AVAudioEngine, Android – `AudioRecord”), o ne bendrą abstrakciją: įvesties signalo kokybė tiesiogiai veikia atpažinimą. Įdiek automatinį prisijungimą iš naujo, nes „WebSocket“ ryšys nutrūksta vos programėlei pereinant į foną, o tai nutampa tą akimirką, kai pokalbio metu gaunamas pranešimas.
Du dalykai dažnai prasprūsta vidinio testavimo metu. Pirmasis – garso maršrutizavimas: garsiakalbis ar ausinė, laukiamas elgesys skiriasi priklausomai nuo to, ar vartotojas laiko telefoną prie ausies, ar padeda jį ant stalo. Antrasis – „Bluetooth“, kurio delsos laikas susumuojamas su tinklo ir modelio delsomis; pokalbis, sklandžiai tekantis naudojant įmontuotą mikrofoną, kartais tampa trūkčiojantis naudojant belaidžias ausines.
Interaktyvus kioskas
Kioskui parduotuvėje, viešbučio registratūroje ar muziejaus salėje dominuojantis apribojimas tampa garso aplinka. Kardioidinis, kryptinis mikrofonas riboja garsų fiksavimą tik priešais kioską stovinčiam asmeniui. Nesitikėk, kad jautrumo nustatymas atfiltruos minią: balso agento ėjimo aptikimas pateikia tik savo type ir idle_timeout_ms, be jokio slenksčio, kurį būtų galima pakelti. Kai patalpa labai triukšminga, pavyzdžiui, traukinių stoties halė ar paroda, kalbėjimas paspaudus fizinį mygtuką („push-to-talk“) yra patikimesnis nei bet koks automatinis aptikimas.
Galiausiai, nepamiršk uždaryti sesijų po dviejų–trijų minučių neveiklos. Priešingu atveju lankytojas, pasitraukęs pokalbio viduryje, palieka atvirą sesiją, kuri eikvoja tavo išteklius ir užima vieną iš tavo lygiagrečių vietų.
Visoms trims architektūroms bendri šablonai
Balso agentas saugo pokalbio istoriją visos sesijos metu. Prieš pirmąjį žodį gali jį paruošti įterpdamas naudingą kontekstą, pavyzdžiui, prisijungusio kliento tapatybę arba vykdomą užsakymą, naudodamas conversation.item.create:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "system",
"content": [
{
"type": "text",
"text": "The signed-in customer is Sarah Miller, customer number C-4521. She has an order in progress, CMD-8834."
}
]
}
}
Tuomet agentas nustoja klausinėti vartotojų informacijos, kurią tavo programėlė jau turi, taip sutaupydamas apie dešimt sekundžių kiekviename pokalbyje.
Norėdamas, kad asistentas kalbėtų pirmas, įterpk pradinį pranešimą ir tada suaktyvink atsakymą:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [{ "type": "text", "text": "Hello" }]
}
}
Iškart po to išsiųstas { "type": "response.create" } suaktyvina pasisveikinimą.
Lieka vizualinis grįžtamasis ryšys, kuris dažniausiai tvarkomas paskutinis, nors jis labai stipriai veikia produkto pojūtį. Rodyk indikatorių, kai agentas kalba (garso banga, animuotas avataras), ir kitą – kai fiksuoji garsą. Be šio signalo vartotojai negali suprasti, ar jiems reikia kalbėti, ar jie yra girdimi, ar programėlė užstrigo, ir galiausiai pradeda kalbėti vienu metu su agentu.
Svarbiausi punktai
- Trys pagrindinės architektūros: žiniatinklio, mobilioji ir kiosko, kiekviena su savo apribojimais
- Garsui naršyklėje reikia skirti dėmesio („Safari“
AudioContext, automatinio atkūrimo politika) - Užpildyk pokalbio kontekstą naudodamas
conversation.item.create, kad asmenuotum patirtį - Pasveikinimas ir vizualinis grįžtamasis ryšys žymiai pagerina vartotojo patirtį