Изграждане на интерактивен гласов асистент
На тази страница
От прототип до гласов асистент за продукционна среда
Вече знаете как да конфигурирате сесия на Voice Agent и да генерирате аудио чрез TTS. Остава да сглобите тези градивни елементи в продукт, който издържа пред реални потребители. Три архитектуры се срещат отново и отново (уеб браузър, мобилно устройство и интерактивен киоск), като всяка от тях налага технически ограничения много преди качеството на модела да влезе в игра.
Уеб асистентът в браузъра
Това е най-честата отправна точка: бутон за микрофон в съществуващо приложение, потребителят говори, а асистентът отговаря на глас. Техническият цикъл протича по следния начин:
- Потребителят натиска бутона: започвате заснемане на аудио с
MediaRecorderилиAudioWorklet - Заснетото аудио се конвертира в base64 PCM и се изпраща до Voice Agent през WebSocket
- VAD на сървъра открива края на речта и генерира отговор
- Чънковете с аудио от отговора пристигат чрез
response.output_audio.delta - Вие ги декодирате и възпроизвеждате с
AudioContext
Проблемът рядко идва от този цикъл; той идва от самия браузър. Safari изисква AudioContext да бъде създаден вътре в обработчик на потребителско събитие. Създайте го при първото кликване върху бутона за микрофон, а не при зареждането на страницата, иначе ще получите приостановен контекст и пълна тишина. Политиката за автоматично възпроизвеждане сочи в същата посока: никакво аудио не започва без предишно потребителско взаимодействие, което изключва поздрав, възпроизвеждан автоматично, когато някой отвори страницата. За изходните формати се придържайте към PCM или MP3, тъй като браузърите не могат да възпроизвеждат нативно mulaw и alaw. И накрая, API ключът никога не отива в клиентския код: той остава на вашия сървър, а браузърът използва вместо това ефемерен токен (урок 13).
Заснемането също изисква настройка:
const stream = await navigator.mediaDevices.getUserMedia({
audio: {
sampleRate: 24000,
channelCount: 1,
echoCancellation: true,
noiseSuppression: true
}
});
Потискането на ехото и шума не са допълнителни екстри. Без тях микрофонът улавя отговора на асистента, излизащ от високоговорителите, VAD го приема за потребителска реч и агентът продължава да се прекъсва сам. Винаги тествайте без слушалки: това е конфигурацията, при която обратната връзка се проявява най-ясно.
Мобилният асистент
При React Native или Flutter принципът остава същият, но средата става по-трудна. Използвайте родните API за заснемане (AVAudioEngine за iOS, AudioRecord за Android), вместо обща абстракция: качеството на входния сигнал директно влияе върху разпознаването. Вградете автоматично повторно свързване, защото WebSocket връзката прекъсва веднага щом приложението мине във фонов режим, което се случва в момента, в който пристигне известие по време на разговор.
Две неща често се изплъзват при вътрешното тестване. Първото е аудио маршрутизирането: високоговорител или слушалка, очакваното поведение се различава в зависимост от това дали потребителят държи телефона до ухото си, или го е оставил на масата. Второто е Bluetooth, чието собствено забавяне се наслагва върху това на мрежата и модела; разговор, който тече гладко с вградения микрофон, понякога става прекъснат при безжични слушалки.
Интерактивният киоск
За киоск в магазин, рецепция на хотел или музейна зала, доминиращото ограничение става звуковата среда. Кардиоиден, насочен микрофон ограничава улавянето до човека, застанал пред киоска. Не разчитайте на настройка за чувствителност, за да филтрирате тълпата: откриването на ред на говорене на Voice Agent излага само своя type и idle_timeout_ms, без праг за повишаване. Когато мястото е наистина шумно, като например перон на гара или изложбена зала, бутонът за говорене (push-to-talk) с физически бутон е по-надежден от всяко автоматично откриване.
Накрая, не забравяйте да затваряте сесиите след две до три минути неактивност. В противен случай посетител, който си тръгне посред разговор, оставя отворена сесия, която консумира вашите ресурси и заема един от вашите едновременни слотове.
Шаблони, общи и за трите архитектуры
Voice Agent запазва историята на разговора за цялата сесия. Можете да го подготвите преди първата дума, като инжектирате полезен контекст, като например самоличността на влезлия клиент или поръчка в процес на изпълнение, с conversation.item.create:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "system",
"content": [
{
"type": "text",
"text": "The signed-in customer is Sarah Miller, customer number C-4521. She has an order in progress, CMD-8834."
}
]
}
}
Тогава агентът спира да пита потребителите за информация, която вашето приложение вече притежава, което спестява добри десет секунди от всеки разговор.
За да накарате асистента да заговори пръв, вмъкнете начално съобщение и след това задействайте отговора:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [{ "type": "text", "text": "Hello" }]
}
}
Изпращането на { "type": "response.create" } веднага след това задейства поздрава.
Остава визуалната обратна връзка, която обикновено се обработва накрая, въпреки че тежи силно върху усещането за продукта. Показвайте индикатор, докато агентът говори (звукова вълна, анимиран аватар), и друг, докато заснемате аудио. Без този сигнал потребителите не могат да разберат дали трябва да говорят, дали бъдат чути или дали приложението е блокирало, и в крайна сметка започват да говорят едновременно с агента.
Ключови изводи
- Три основни архитектуры: уеб, мобилна и киоск, всяка със собствените си ограничения
- Аудиото в браузъра изисква внимание (AudioContext на Safari, политика за автоматично възпроизвеждане)
- Попълнете предварително контекста на разговора с
conversation.item.create, за да персонализирате преживяването - Поздравът и визуалната обратна връзка значително подобряват потребителското изживяване