Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Izgradi interaktivnog glasovnog asistenta

Lekcija 10 od 14 Ažurirano 29. srpnja 2026. Srednja razina
Na ovoj stranici
  1. Od prototipa do glasovnog asistenta u proizvodnji
  2. Web asistent u pregledniku
  3. Mobilni asistent
  4. Interaktivni kiosk
  5. Obrasci zajednički svim trima arhitekturama
  6. Ključne točke

Od prototipa do glasovnog asistenta u proizvodnji

Znaš konfigurirati sesiju glasovnog agenta i generirati zvuk pomoću TTS-a. Preostaje ti samo sastaviti te gradivne blokove u proizvod koji će izdržati susret sa stvarnim korisnicima. Tri se arhitekture stalno ponavljaju (preglednik, mobilni uređaji i interaktivni kiosci), a svaka nameće tehnička ograničenja puno prije nego što kvaliteta modela uopće dođe na red.

Web asistent u pregledniku

Ovo je najčešća polazna točka: gumb za mikrofon u postojećoj aplikaciji, korisnik govori, a asistent odgovara naglas. Tehnički ciklus izgleda ovako:

  1. Korisnik klikne gumb: počinješ hvatati zvuk pomoću MediaRecorder ili AudioWorklet
  2. Uhvaćeni zvuk pretvaraš u base64 PCM i šalješ glasovnom agentu putem WebSocket veze
  3. VAD na strani poslužitelja detektira kraj govora i generira odgovor
  4. Dijelovi odgovora u audio formatu stižu kroz response.output_audio.delta
  5. Dekodiraš ih i reproduciraš pomoću AudioContext

Problem rijetko nastaje u ovoj petlji; problem je u samom pregledniku. Safari zahtijeva da se AudioContext stvori unutar rukovatelja korisničkim događajem. Stvori ga pri prvom kliku na gumb mikrofona, a ne pri učitavanju stranice, inače ćeš dobiti suspendirani kontekst i potpunu tišinu. Politika automatske reprodukcije ide u istom smjeru: nijedna reprodukcija zvuka ne može početi bez prethodne korisničke interakcije, što isključuje automatski pozdrav koji bi se reproducirao čim netko dođe na stranicu. Za izlazne formate drži se PCM-a ili MP3-a jer preglednici ne mogu izvorno reproducirati mulaw i alaw. API ključ nikada ne smije završiti u klijentskom kodu: on ostaje na tvojem poslužitelju, a preglednik umjesto toga koristi privremeni token (lekcija 13).

Hvatanje zvuka također zahtijeva podešavanje:

const stream = await navigator.mediaDevices.getUserMedia({
  audio: {
    sampleRate: 24000,
    channelCount: 1,
    echoCancellation: true,
    noiseSuppression: true
  }
});

Poništavanje eha i suzbijanje šuma nisu dodaci. Bez njih mikrofon hvata odgovor asistenta koji izlazi iz zvučnika, VAD to pogrešno protumači kao korisnikov govor i agent neprestano prekida sam sebe. Uvijek testiraj bez slušalica: to je postavka u kojoj se povratna informacija najjasnije očituje.

Mobilni asistent

Kod React Nativea ili Fluttera princip ostaje isti, ali je okruženje zahtjevnije. Koristi nativne API-je za hvatanje zvuka (AVAudioEngine na iOS-u, AudioRecord na Androidu) umjesto generičke apstrakcije: kvaliteta ulaznog signala izravno utječe na prepoznavanje. Ugradi automatsko ponovno povezivanje jer WebSocket veza puca čim aplikacija ode u pozadinu, što se događa u trenutku kada tijekom razgovora stigne obavijest.

Dvije stvari često promaknu internom testiranju. Prva je usmjeravanje zvuka: zvučnik ili slušalica, očekivano ponašanje razlikuje se ovisno o tome drži li korisnik telefon uz uho ili ga je ostavio na stolu. Druga je Bluetooth, čija se vlastita latencija zbraja s mrežnom i latencijom modela; razgovor koji tečno teče s ugrađenim mikrofonom ponekad postane isprekidan s bežičnim slušalicama.

Interaktivni kiosk

Za kiosk u trgovini, hotelskoj recepciji ili muzejskom postavu dominantno ograničenje postaje zvučno okruženje. Kardioidni, usmjereni mikrofon ograničava prijem na osobu koja stoji ispred kioska. Ne oslanjaj se na postavku osjetljivosti kako bi filtrirao gužvu: detekcija smjene govora glasovnog agenta izlaže samo svoj type i idle_timeout_ms, bez praga koji bi se mogao povisiti. Kada je prostor izrazito bučan, poput željezničkog kolodvora ili sajma, tipka za govor (push-to-talk) s fizičkim gumbom pouzdanija je od bilo koje automatske detekcije.

Na kraju, ne zaboravi zatvoriti sesije nakon dvije do tri minute neaktivnosti. Inače, posjetitelj koji ode usred razgovora ostavlja sesiju otvorenom koja troši tvoje resurse i zauzima jedno od tvojih istodobnih mjesta.

Obrasci zajednički svim trima arhitekturama

Glasovni agent čuva povijest razgovora tijekom cijele sesije. Možeš ga pripremiti prije prve izgovorene riječi ubacivanjem korisnog konteksta, poput identiteta prijavljenog korisnika ili narudžbe u tijeku, pomoću conversation.item.create:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "system",
    "content": [
      {
        "type": "text",
        "text": "The signed-in customer is Sarah Miller, customer number C-4521. She has an order in progress, CMD-8834."
      }
    ]
  }
}

Agent tada prestaje tražiti od korisnika informacije koje tvoja aplikacija već ima, čime se svaki razgovor skraćuje za dobrih deset sekundi.

Da bi asistent prvi progovorio, umetni početnu poruku, a zatim pokreni odgovor:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "user",
    "content": [{ "type": "text", "text": "Hello" }]
  }
}

Poruka { "type": "response.create" } poslana odmah nakon toga pokreće pozdrav.

Preostaje vizualna povratna informacija, koja se obično rješava na kraju, iako snažno utječe na dojam o proizvodu. Prikaži indikator dok agent govori (zvučni val, animirani avatar) i drugi dok hvataš zvuk. Bez tog signala korisnici ne znaju trebaju li govoriti, čuje li ih se ili se aplikacija srušila, pa završe govoreći preko agenta.

Ključne točke

  • Tri glavne arhitekture: web, mobilni uređaji i kiosci, svaka sa svojim ograničenjima
  • Zvuk u pregledniku zahtijeva pažnju (Safarijev AudioContext, politika automatske reprodukcije)
  • Unaprijed popuni kontekst razgovora s conversation.item.create kako bi personalizirao iskustvo
  • Pozdrav i vizualna povratna informacija značajno poboljšavaju korisničko iskustvo