Vytvoření interaktivního hlasového asistenta
Na této stránce
Od prototypu k produkčnímu hlasovému asistentovi
Umíš nakonfigurovat relaci hlasového agenta (Voice Agent) a generovat zvuk pomocí TTS. Teď jde jen o to poskládat tyto stavební kameny do produktu, který obstojí před reálnými uživateli. Tři architektury se opakují znovu a znovu (webový prohlížeč, mobilní aplikace a interaktivní kiosek) a každá z nich přináší technická omezení dlouho předtím, než přijde na řadu kvalita modelu.
Webový asistent v prohlížeči
Toto je nejčastější výchozí bod: tlačítko mikrofonu v existující aplikaci, uživatel promluví a asistent odpoví nahlas. Technický cyklus vypadá takto:
- Uživatel klikne na tlačítko: začneš zachytávat zvuk pomocí
MediaRecorderneboAudioWorklet - Zachycený zvuk se převede na base64 PCM a odešle hlasovému agentovi přes WebSocket
- VAD na straně serveru detekuje konec řeči a vygeneruje odpověď
- Části odpovědního zvuku přicházejí přes
response.output_audio.delta - Dekóduješ je a přehraješ pomocí
AudioContext
Problém málokdy vzniká v této smyčce; pramení přímo z prohlížeče. Safari vyžaduje, aby byl AudioContext vytvořen uvnitř obslužné rutiny uživatelské události. Vytvoř jej při prvním kliknutí na tlačítko mikrofonu, nikoliv při načtení stránky, jinak získáš pozastavený kontext a naprosté ticho. Zásady automatického přehrávání (autoplay policy) ukazují stejným směrem: žádné přehrávání zvuku nezačne bez předchozí interakce uživatele, což vylučuje pozdrav, který by se automaticky přehrál, když někdo přistane na stránce. Co se týče výstupních formátů, drž se PCM nebo MP3, protože prohlížeče neumí nativně přehrávat mulaw a alaw. A klíč API nikdy nepatří do klientského kódu: zůstává na tvém serveru a prohlížeč místo něj používá jednorázový token (lekce 13).
Zachytávání zvuku také potřebuje doladit:
const stream = await navigator.mediaDevices.getUserMedia({
audio: {
sampleRate: 24000,
channelCount: 1,
echoCancellation: true,
noiseSuppression: true
}
});
Potlačení ozvěny a potlačení šumu nejsou jen doplňky. Bez nich mikrofon zachytí odpověď asistenta vycházející z reproduktorů, VAD si to spletne s řečí uživatele a agent se bude neustále přerušovat. Vždy testuj bez sluchátek: právě v tomto nastavení se zpětná vazba projeví nejvíce.
Mobilní asistent
U React Native nebo Flutter zůstává princip stejný, ale prostředí je náročnější. Použij nativní API pro zachytávání (AVAudioEngine na iOS, AudioRecord na Android) místo obecné abstrakce: kvalita vstupního signálu přímo ovlivňuje rozpoznávání řeči. Zabuduj automatické opětovné připojení, protože WebSocket se přeruší, jakmile aplikace přejde na pozadí, k čemuž dojde v okamžiku, kdy během konverzace dorazí oznámení.
Dvě věci často uniknou internímu testování. První je směrování zvuku: reproduktor nebo sluchátko, očekávané chování se liší podle toho, zda uživatel drží telefon u ucha, nebo jej položí na stůl. Druhou je Bluetooth, jehož vlastní latence se sčítá s latencí sítě a modelu; konverzace, která plyne hladce se vestavěným mikrofonem, se někdy při použití bezdrátových sluchátek začne sekat.
Interaktivní kiosek
U kiosku v obchodě, na recepci hotelu nebo v muzejní galerii se dominantním omezením stává zvukové prostředí. Kardioidní, směrový mikrofon omezí snímání pouze na osobu stojící před kioskem. Nespoléhej na nastavení citlivosti, které by odfiltrovalo dav: detekce střídání řeči hlasového agenta vystavuje pouze svou type a idle_timeout_ms, bez prahu, který by šlo zvýšit. Když je místo opravdu hlučné, například hala nádraží nebo veletrh, je stiskni-a-mluv (push-to-talk) s fyzickým tlačítkem spolehlivější než jakákoli automatická detekce.
Nakonec nezapomeň uzavírat relace po dvou až třech minutách nečinnosti. Jinak návštěvník, který odejde uprostřed konverzace, nechá relaci otevřenou, což spotřebovává tvé zdroje a obsazuje jeden z tvých souběžných slotů.
Vzory společné všem třem architekturám
Hlasový agent udržuje historii konverzace po celou dobu relace. Můžeš jej připravit ještě před prvním slovem vložením užitečného kontextu, jako je identita přihlášeného zákazníka nebo probíhající objednávka, pomocí conversation.item.create:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "system",
"content": [
{
"type": "text",
"text": "The signed-in customer is Sarah Miller, customer number C-4521. She has an order in progress, CMD-8834."
}
]
}
}
Agent se pak přestane uživatelů ptát na informace, které již tvoje aplikace má, což z každé konverzace ušetří dobrých deset sekund.
Aby asistent promluvil jako první, vlož úvodní zprávu a poté spusť odpověď:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [{ "type": "text", "text": "Hello" }]
}
}
Okamžitě poté odeslané { "type": "response.create" } spustí pozdrav.
Zbývá vizuální zpětná vazba, která se obvykle řeší až nakonec, přestože má velký vliv na to, jak produkt působí. Zobraz indikátor, zatímco agent mluví (zvuková vlna, animovaný avatar), a další, zatímco zachycuješ zvuk. Bez tohoto signálu uživatelé nepoznají, zda mají mluvit, zda jsou slyšet, nebo zda aplikace spadla, a nakonec mluví přes agenta.
Klíčové poznatky
- Tři hlavní architektury: web, mobil a kiosek, každá s vlastními omezeními
- Zvuk v prohlížeči vyžaduje péči (AudioContext v Safari, zásady automatického přehrávání)
- Předvyplň kontext konverzace pomocí
conversation.item.createpro personalizaci zážitku - Pozdrav a vizuální zpětná vazba výrazně zlepšují uživatelskou zkušenost