Izveido interaktīvu balss asistentu
Šajā lapā
No prototipa līdz ražošanas balss asistentam
Tu zini, kā konfigurēt Voice Agent sesiju un ģenerēt audio ar TTS. Atlicis tikai apvienot šos būvblokus produktā, kas noturēsies reālu lietotāju priekšā. Trīs arhitektūras atkārtojas atkal un atkal (pārlūkprogramma, mobilā ierīce un interaktīvais kiosks), un katra no tām uzliek tehniskus ierobežojumus ilgi pirms tam, kad modeļa kvalitāte sāk spēlēt lomu.
Tīmekļa asistents pārlūkprogrammā
Šis ir visizplatītākais sākumpunkts: mikrofona poga esošā lietotnē, lietotājs runā, un asistents atbild skaļi. Tehniskais cikls izskatās šādi:
- Lietotājs nospiež pogu: tu sāc uztvert audio ar
MediaRecordervaiAudioWorklet - Uztvertais audio tiek konvertēts uz base64 PCM un nosūtīts Voice Agent, izmantojot WebSocket
- Servera puses VAD noteic runas beigas un ģenerē atbildi
- Atbildes audio fragmenti pienāk caur
response.output_audio.delta - Tu tos dekodē un atskaņo ar
AudioContext
Problēmas reti rodas šajā ciklā; tās nāk no pašas pārlūkprogrammas. Safari pieprasa, lai AudioContext tiktu izveidots lietotāja notikuma apstrādātāja ietvaros. Izveido to pie pirmā mikrofona pogas klikšķa, nevis lapas ielādes brīdī, pretējā gadījumā iegūsi apturētu kontekstu un pilnīgu klusumu. Automātiskās atskaņošanas politika norāda uz to pašu: neviena audio atskaņošana nesākas bez iepriekšējas lietotāja mijiedarbības, kas izslēdz sveicienu, kas atskaņojas automātiski, kad kāds nonāk lapā. Attiecībā uz izejas formātiem pieturies pie PCM vai MP3, jo pārlūkprogrammas nevar dabiski atskaņot mulaw un alaw. Un API atslēga nekad nenonāk klienta kodā: tā paliek tavā serverī, bet pārlūkprogramma tā vietā izmanto īslaicīgu žetonu (13. nodarbība).
Arī uztveršana ir jāpielāgo:
const stream = await navigator.mediaDevices.getUserMedia({
audio: {
sampleRate: 24000,
channelCount: 1,
echoCancellation: true,
noiseSuppression: true
}
});
Eho slāpēšana un trokšņu samazināšana nav papildu opcijas. Bez tām mikrofons uztver asistenta atbildi, kas nāk no skaļruņiem, VAD to uztver kā lietotāja runu, un aģents nepārtraukti pārtrauc pats sevi. Vienmēr testē bez austiņām: tieši šajā konfigurācijā parādās atgriezeniskā saite.
Mobilais asistents
Izmantojot React Native vai Flutter, princips paliek tas pats, bet vide kļūst sarežģītāka. Izmanto vietējās uztveršanas API (AVAudioEngine sistēmā iOS, AudioRecord sistēmā Android), nevis vispārīgu abstrakciju: ieejas signāla kvalitāte tieši ietekmē atpazīšanu. Izbūvē automātisku atkārtotu savienošanu, jo WebSocket pārtrūkst tiklīdz lietotne pāriet fonā, kas notiek brīdī, kad sarunas laikā pienāk paziņojums.
Divas lietas bieži tiek palaistas garām iekšējās testēšanas laikā. Pirmā ir audio maršrutēšana: skaļrunis vai skaņas uztvērējs – paredzētā uzvedība atšķiras atkarībā no tā, vai lietotājs tur telefonu pie auss vai noliek to uz galda. Otrā ir Bluetooth, kura paša latentums summējas ar tīkla un modeļa latentumu; saruna, kas rit raiti ar iebūvēto mikrofonu, dažkārt kļūst trūkumaina, lietojot bezvadu austiņas.
Interaktīvais kiosks
Kioskam veikalā, viesnīcas reģistratūrā vai muzeja zālē dominējošais ierobežojums kļūst par skaņas vidi. Kardioidāls, virziena mikrofons ierobežo uztveršanu tikai uz personu, kas stāv kioska priekšā.Nerēķinies, ka jutīguma iestatījums izfiltrēs pūli: Voice Agent pagrienu noteikšana eksponē tikai savu type un idle_timeout_ms, bez sliekšņa, ko paaugstināt. Ja telpa ir patiešām trokšņaina, piemēram, dzelzceļa stacijas hallē vai izstādē, nospiežamā runa ar fizisku pogu ir uzticamāka par jebkuru automātisku noteikšanu.
Visbeidzot, atceries slēgt sesijas pēc divām līdz trim minūtēm bezdarbības. Pretējā gadījumā apmeklētājs, kurš aiziet sarunas vidū, atstāj atvērtu sesiju, kas patērē tavus resursus un aizņem vienu no taviem vienlaicīgajiem slotiem.
Visām trim arhitektūrām kopīgi modeļi
Voice Agent uztur sarunas vēsturi visas sesijas laikā. Tu vari to sagatavot pirms pirmā vārda, ievadot noderīgu kontekstu, piemēram, pierakstījušos klienta identitāti vai pašreizējo pasūtījumu, izmantojot conversation.item.create:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "system",
"content": [
{
"type": "text",
"text": "The signed-in customer is Sarah Miller, customer number C-4521. She has an order in progress, CMD-8834."
}
]
}
}
Tādējādi aģents pārtrauc prasīt lietotājiem informāciju, kas tavai lietotnei jau ir, kas katrā sarunā ietaupa labus desmit sekundes.
Lai asistents runātu pirmais, ievieto sākotnējo ziņojumu un pēc tam iniciē atbildi:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [{ "type": "text", "text": "Hello" }]
}
}
Tūlīt pēc tam nosūtīts { "type": "response.create" } aktivizē sveicienu.
Paliek vēl vizuālā atgriezeniskā saite, ko parasti risina pēdējo, lai gan tai ir liela nozīme produkta sajūtā. Rādi indikatoru, kamēr aģents runā (skaņas vilni, animētu avatāru), un citu, kamēr uztver audio. Bez šī signāla lietotāji nevar saprast, vai viņiem jārunā, vai viņus dzird, vai lietotne ir sabrukusi, un viņi beigās runā pāri aģentam.
Galvenās atziņas
- Trīs galvenās arhitektūras: tīmeklis, mobilās ierīces un kioski, katrai ar saviem ierobežojumiem
- Audio pārlūkprogrammā prasa rūpību (Safari AudioContext, automātiskās atskaņošanas politika)
- Aizpildi sarunas kontekstu ar
conversation.item.create, lai personalizētu pieredzi - Sveiciens un vizuālā atgriezeniskā saite būtiski uzlabo lietotāja pieredzi