Izgradnja interaktivnega glasovnega pomočnika
Na tej strani
Od prototipa do produkcijskega glasovnega pomočnika
Znaš konfigurirati sejo glasovnega agenta in ustvarjati zvok s tehnologijo TTS. Kar še manjka, je sestava teh gradnikov v izdelek, ki zdrži preizkus pred realnimi uporabniki. Tri arhitekture se pojavljajo znova in znova (brskalnik, mobilne naprave in interaktivni kioski), vsaka pa nalaga tehnične omejitve, še preden pride do izraza kakovost modela.
Spletni pomočnik v brskalniku
To je najpogostejša izhodiščna točka: gumb za mikrofon v obstoječi aplikaciji, uporabnik govori, pomočnik pa odgovori na glas. Tehnični cikel poteka takole:
- Uporabnik klikne gumb: začneš zajemati zvok z
MediaRecorderaliAudioWorklet - Zajeti zvok se pretvori v base64 PCM in pošlje glasovnemu agentu prek WebSocket
- VAD na strani strežnika zazna konec govora in ustvari odgovor
- Zvočni delci odgovora prispejo prek
response.output_audio.delta - Dekodiraš jih in predvajaš z
AudioContext
Težave redko izvira iz te zanke; izvira iz samega brskalnika. Safari zahteva, da se AudioContext ustvari znotraj ročaja dogodka uporabnika. Ustvari ga ob prvem kliku na gumb mikrofona, ne ob nalaganju strani, sicer dobiš zaustavljen kontekst in popolno tišino. Pravilnik o samodejnem predvajanju kaže v isto smer: brez predhodne interakcije uporabnika se ne začne nobeno predvajanje zvoka, kar izključuje pozdrav, ki bi se samodejno predvajal, ko nekdo obišče stran. Za izhodne formate se drži PCM ali MP3, saj brskalniki ne morejo samodejno predvajati formatov mulaw in alaw. Ključ API nikoli ne gre v kodo na strani odjemalca: ostane na tvojem strežniku, brskalnik pa namesto njega uporabi efemerni žeton (lekcija 13).
Tudi zajem potrebuje prilagajanje:
const stream = await navigator.mediaDevices.getUserMedia({
audio: {
sampleRate: 24000,
channelCount: 1,
echoCancellation: true,
noiseSuppression: true
}
});
Preklic odmeva in zatiranje šuma nista dodatna opcija. Brez njiju mikrofon zajame odgovor pomočnika, ki prihaja iz zvočnikov, VAD to zazna kot govor uporabnika in agent si nenehno skače v besedo. Vedno testiraj brez slušalk: to je nastavitev, kjer se povratne informacije najbolj kažejo.
Mobilni pomočnik
Pri React Native ali Flutterju načelo ostaja enako, vendar je okolje zahtevnejše. Uporabi izvorne API-je za zajem (AVAudioEngine na iOS, AudioRecord na Androidu) namesto splošne abstrakcije: kakovost vhodnega signala neposredno vpliva na prepoznavanje. Vgradi samodejno ponovno povezavo, saj se WebSocket prekine, takoj ko aplikacija preide v ozadje, kar se zgodi v trenutku, ko med pogovorom prispe obvestilo.
Dve stvari pri internem testiranju pogosto ujdeta. Prva je usmerjanje zvoka: zvočnik ali slušalka; pričakovano vedenje se razlikuje glede na to, ali uporabnik drži telefon ob ušesu ali ga položi na mizo. Druga je Bluetooth, katerega lastna zakasnitev se sešteje z omrežno in zakasnitvijo modela; pogovor, ki teče gladko z vgrajenim mikrofonom, včasih postane trzajoč z brezžičnimi slušalkami.
Interaktivni kiosk
Pri kiosku v trgovini, hotelski recepciji ali muzejski galeriji postane prevladujoča omejitev zvočno okolje. Kardioidni, usmerjeni mikrofon omeji zajem na osebo, ki stoji pred kioskom. Ne zanašaj se na nastavitev občutljivosti za filtriranje množice: zaznavanje obrata glasovnega agenta razkriva le njegov type in idle_timeout_ms, brez praga, ki bi ga lahko zvišal. Ko je prizorišče res hrupno, na primer v postajnem hali ali na sejmu, je pritisk za govor s fizičnim gumbom zanesljivejši od katerega koli samodejnega zaznavanja.
Nazadnje, ne pozabi zapreti sej po dveh do treh minutah nedejavnosti. V nasprotnem primeru obiskovalec, ki odide sredi pogovora, pusti odprto sejo, ki porablja tvoje vire in zaseda eno od tvojih sočasnih reži.
Vzorci, skupni vsem trem arhitekturam
Glasovni agent hrani zgodovino pogovora za celotno sejo. Pred prvo besedo ga lahko pripraviš z vbrizganjem koristnega konteksta, kot sta identiteta prijavljenega kupca ali tekoče naročilo, z uporabo conversation.item.create:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "system",
"content": [
{
"type": "text",
"text": "The signed-in customer is Sarah Miller, customer number C-4521. She has an order in progress, CMD-8834."
}
]
}
}
Agent nato preneha uporabnikom zastavljati vprašanja o informacijah, ki jih tvoja aplikacija že ima, kar pri vsakem pogovoru prihrani dobrih deset sekund.
Če želiš, da pomočnik spregovori prvi, vstavi začetno sporočilo in nato sproži odgovor:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [{ "type": "text", "text": "Hello" }]
}
}
{ "type": "response.create" }, poslan takoj zatem, sproži pozdrav.
Preostane še vizualna povratna informacija, ki jo običajno obravnavamo nazadnje, čeprav močno vpliva na občutek izdelka. Prikaži indikator, ko agent govori (zvočni val, animirani avatar), in drugega, ko zajemaš zvok. Brez tega signala uporabniki ne vedo, ali naj govorijo, ali jih je slišati ali se je aplikacija sesula, zato končajo z govorjenjem čez agenta.
Ključne ugotovitve
- Tri glavne arhitekture: splet, mobilne naprave in kioski, vsaka s svojimi omejitvami
- Zvok v brskalniku zahteva previdnost (AudioContext v Safariju, pravilnik o samodejnem predvajanju)
- Predhodno napolni kontekst pogovora z
conversation.item.createza personalizacijo izkušnje - Pozdrav in vizualna povratna informacija bistveno izboljšata uporabniško izkušnjo