Przejdź do głównej treści
Polski— Wybierz język
Menu

Budowa interaktywnego asystenta głosowego

Lekcja 10 z 14 Zaktualizowano 29 lipca 2026 Średnio zaawansowani
Na tej stronie
  1. Od prototypu do produkcyjnego asystenta głosowego
  2. Asystent webowy w przeglądarce
  3. Asystent mobilny
  4. Interaktywny kiosk
  5. Wzorce wspólne dla wszystkich trzech architektur
  6. Kluczowe wnioski

Od prototypu do produkcyjnego asystenta głosowego

Wiesz już, jak skonfigurować sesję Voice Agent i generować dźwięk za pomocą TTS. Pozostało tylko połączenie tych elementów w produkt, który sprawdzi się w kontakcie z rzeczywistymi użytkownikami. Trzy architektury pojawiają się wciąż na nowo (przeglądarka, urządzenia mobilne i interaktywne kioski), a każda z nich narzuca ograniczenia techniczne, zanim jeszcze jakość modelu zacznie odgrywać jakąś rolę.

Asystent webowy w przeglądarce

To najczęstszy punkt wyjścia: przycisk mikrofonu w istniejącej aplikacji, użytkownik mówi, a asystent odpowiada na głos. Cykl techniczny wygląda następująco:

  1. Użytkownik klika przycisk: zaczynasz przechwytywać dźwięk za pomocą MediaRecorder lub AudioWorklet
  2. Przechwycony dźwięk jest konwertowany do PCM w formacie base64 i wysyłany do Voice Agenta przez WebSocket
  3. Serwerowy VAD wykrywa koniec wypowiedzi i generuje odpowiedź
  4. Fragmenty dźwięku odpowiedzi przychodzą przez response.output_audio.delta
  5. Dekodujesz je i odtwarzasz za pomocą AudioContext

Problemy rzadko wynikają z tej pętli; źródłem kłopotów jest sama przeglądarka. Safari wymaga, aby AudioContext został utworzony wewnątrz obsługi zdarzenia wywołanego przez użytkownika. Stwórz go przy pierwszym kliknięciu przycisku mikrofonu, a nie podczas ładowania strony, inaczej otrzymasz zawieszony kontekst i całkowitą ciszę. Polityka automatycznego odtwarzania wskazuje to samo: żadne odtwarzanie dźwięku nie rozpocznie się bez wcześniejszej interakcji użytkownika, co wyklucza powitanie odtwarzane automatycznie, gdy ktoś ląduje na stronie. W przypadku formatów wyjściowych trzymaj się PCM lub MP3, ponieważ przeglądarki nie obsługują natywnie formatów mulaw i alaw. Klucz API nigdy nie trafia do kodu klienta: pozostaje na Twoim serwerze, a przeglądarka używa zamiast niego tymczasowego tokena (lekcja 13).

Przechwytywanie dźwięku również wymaga dostrojenia:

const stream = await navigator.mediaDevices.getUserMedia({
  audio: {
    sampleRate: 24000,
    channelCount: 1,
    echoCancellation: true,
    noiseSuppression: true
  }
});

Tłumienie echa i redukcja szumów to nie dodatki. Bez nich mikrofon wychwytuje odpowiedź asystenta wydobywającą się z głośników, VAD bierze to za mówienie użytkownika, a agent ciągle przerywa sam sobie. Zawsze testuj bez słuchawek: to konfiguracja, w której pojawia się sprzężenie zwrotne.

Asystent mobilny

W przypadku React Native lub Flutter zasada pozostaje ta sama, ale środowisko staje się trudniejsze. Używaj natywnych API do przechwytywania (AVAudioEngine na iOS, AudioRecord na Androidzie) zamiast ogólnych abstrakcji: jakość sygnału wejściowego bezpośrednio wpływa na rozpoznawanie. Zaimplementuj automatyczne ponowne łączenie, ponieważ WebSocket zrywa połączenie, gdy tylko aplikacja przejdzie do tła, co dzieje się w momencie nadejścia powiadomienia podczas rozmowy.

Dwie rzeczy często umykają testom wewnętrznym. Pierwsza to routing dźwięku: głośnik czy słuchawka – oczekiwane zachowanie różni się w zależności od tego, czy użytkownik trzyma telefon przy uchu, czy kładzie go na stole. Druga to Bluetooth, którego własne opóźnienia nakładają się na opóźnienia sieci i modelu; rozmowa płynna przy użyciu wbudowanego mikrofonu czasami staje się rwana przy użyciu bezprzewodowych słuchawek.

Interaktywny kiosk

W przypadku kiosku w sklepie, recepcji hotelowej czy galerii muzealnej dominującym ograniczeniem staje się środowisko akustyczne. Mikrofon kierunkowy (kardioidalny) ogranicza zasięg do osoby stojącej przed kioskiem. Nie licz na ustawienie czułości, aby odfiltrować tłum: wykrywanie tur Voice Agenta udostępnia tylko type i idle_timeout_ms, bez progu do podniesienia. Gdy miejsce jest bardzo hałaśliwe, np. hala dworcowa lub targi, rozmowa z użyciem fizycznego przycisku (push-to-talk) jest bardziej niezawodna niż jakakolwiek automatyczna detekcja.

Na koniec pamiętaj, aby zamykać sesje po dwóch do trzech minutach bezczynności. W przeciwnym razie odwiedzający, który odejdzie w trakcie rozmowy, pozostawia otwartą sesję, która zużywa Twoje zasoby i zajmuje jedno z dostępnych miejsc dla połączeń równoległych.

Wzorce wspólne dla wszystkich trzech architektur

Voice Agent przechowuje historię rozmowy przez całą sesję. Możesz ją przygotować przed pierwszym słowem, wstrzykując użyteczny kontekst, taki jak tożsamość zalogowanego klienta lub realizowane zamówienie, za pomocą conversation.item.create:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "system",
    "content": [
      {
        "type": "text",
        "text": "The signed-in customer is Sarah Miller, customer number C-4521. She has an order in progress, CMD-8834."
      }
    ]
  }
}

Dzięki temu agent przestaje pytać użytkowników o informacje, które Twoja aplikacja już posiada, co skraca każdą rozmowę o dobre dziesięć sekund.

Aby asystent przemówił jako pierwszy, wstaw początkową wiadomość, a następnie wywołaj odpowiedź:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "user",
    "content": [{ "type": "text", "text": "Hello" }]
  }
}

Wysłanie { "type": "response.create" } zaraz po tym uruchamia powitanie.

Pozostaje jeszcze informacja zwrotna w interfejsie, którą zazwyczaj zajmuje się na końcu, choć ma ona ogromny wpływ na odbiór produktu. Wyświetlaj wskaźnik, gdy agent mówi (fala dźwiękowa, animowany awatar) oraz inny, gdy przechwytujesz dźwięk. Bez tego sygnału użytkownicy nie wiedzą, czy mają mówić, czy są słyszani, czy może aplikacja uległa awarii, i w rezultacie zaczynają mówić jednocześnie z agentem.

Kluczowe wnioski

  • Trzy główne architektury: web, mobile i kiosk, każda z własnymi ograniczeniami
  • Dźwięk w przeglądarce wymaga ostrożności (AudioContext w Safari, polityka autoplay)
  • Wstępne wypełnienie kontekstu rozmowy za pomocą conversation.item.create personalizuje doświadczenie
  • Powitanie i wizualna informacja zwrotna znacząco poprawiają doświadczenie użytkownika