Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Interaktív hangalapú asszisztens létrehozása

10. lecke 14 közül Frissítve 2026. július 29. Középhaladó
Ezen az oldalon
  1. Prototípustól a gyártási környezetig működő hangasszisztensig
  2. A webes asszisztens a böngészőben
  3. A mobilasszisztens
  4. Az interaktív információs pult
  5. Mindhárom architektúrára jellemző minták
  6. Főbb megállapítások

Prototípustól a gyártási környezetig működő hangasszisztensig

Már tudod, hogyan konfigurálj egy Voice Agent munkamenetet, és hogyan állíts elő hangot TTS segítségével. A következő lépés ezen építőkövek olyan termékké való összeállítása, amely kiállja a valódi felhasználók próbáját. Három architektúra tér vissza újra és újra (a böngésző, a mobilalkalmazás és az interaktív információs pult), és mindegyik technikai korlátokat támaszt jóval azelőtt, hogy a modell minősége szerepet kapna.

A webes asszisztens a böngészőben

Ez a leggyakoribb kiindulópont: egy mikrofon gomb egy meglévő alkalmazásban, a felhasználó beszél, az asszisztens pedig hangosan válaszol. A technikai ciklus a következőképpen néz ki:

  1. A felhasználó rákattint a gombra: elindítod a hangrögzítést a MediaRecorder vagy AudioWorklet segítségével
  2. A rögzített hangot base64 PCM formátumra alakítod, és WebSocketen keresztül elküldöd a Voice Agentnek
  3. A szerveroldali VAD (hangaktivitás-észlelés) érzékeli a beszéd végét, és generál egy választ
  4. A válaszhang csomagjai a response.output_audio.delta útvonalon érkeznek
  5. Dekódolod őket, és az AudioContext segítségével lejátszod

A probléma ritkán ebből a ciklusból adódik; sokkal inkább magából a böngészőből. A Safari megköveteli, hogy az AudioContext objektumot egy felhasználói eseménykezelőn belül hozd létre. Hozd létre a mikrofon gomb első kattintásakor, ne az oldal betöltésekor, különben függő állapotba kerül a kontextus, és teljes csend lesz az eredmény. Az automatikus lejátszásra vonatkozó irányelvek is ebbe az irányba mutatnak: nincs hanglejátszás előzetes felhasználói interakció nélkül, ami kizárja az automatikus üdvözlést, amikor valaki belép az oldalra. A kimeneti formátumoknál maradj a PCM vagy MP3 formátumoknál, mivel a böngészők natívan nem képesek lejátszani a mulaw és alaw formátumokat. Az API-kulcs soha nem kerülhet a kliens oldali kódba: az a szervereden marad, a böngésző pedig ehelyett egy ideiglenes tokent használ (13. lecke).

A rögzítést is hangolni kell:

const stream = await navigator.mediaDevices.getUserMedia({
  audio: {
    sampleRate: 24000,
    channelCount: 1,
    echoCancellation: true,
    noiseSuppression: true
  }
});

A visszhangszűrés és a zajszűrés nem extra funkciók. Nélkülük a mikrofon felveszi az asszisztens válaszát, amely a hangszórókból szól, a VAD ezt a felhasználó beszédének érzékeli, és az ügynök folyamatosan megszakítja saját magát. Mindig fejhallgató nélkül tesztelj: ez az a beállítás, ahol a visszacsatolás megjelenik.

A mobilasszisztens

React Native vagy Flutter használata esetén az elv ugyanaz marad, de a környezet nehezebbé válik. Használd a natív rögzítő API-kat (AVAudioEngine iOS-en, AudioRecord Androidon) az általános absztrakciók helyett: a bemeneti jel minősége közvetlenül befolyásolja a felismerést. Építs be automatikus újracsatlakozást, mert a WebSocket kapcsolat megszakad, amint az alkalmazás a háttérbe kerül, ami abban a pillanatban megtörténik, amikor egy értesítés megérkezik beszélgetés közben.

Két dolog gyakran csúszik ki a házon belüli tesztelésen. Az első a hangútvonal-választás: hangszóró vagy fülhallgató, a várt viselkedés attól függően változik, hogy a felhasználó a füléhez tartja-e a telefont, vagy asztalra teszi-e. A második a Bluetooth, amelynek saját késleltetése rátevődik a hálózati és a modell késleltetésére; egy beépített mikrofonnal gördülékenyen zajló beszélgetés vezetékes fülhallgatóval néha akadozóvá válhat.

Az interaktív információs pult

Egy üzletben, szálloda recepcióján vagy múzeumi teremben elhelyezett információs pult esetén a domináns korlát a hangkörnyezet lesz. Egy kardioid, irányított mikrofon korlátozza a felvételt a pult előtt álló személyre. Ne számíts arra, hogy egy érzékenységi beállással kiszűrod a tömeget: a Voice Agent fordulódetektálása csak a type és az idle_timeout_ms paramétereket teszi elérhetővé, nincs emelhető küszöbérték. Ha a helyszín nagyon zajos, például egy pályaudvar csarnoka vagy egy vásár, a fizikai gombbal aktivált „nyomd a beszéléshez“ (push-to-talk) megoldás megbízhatóbb, mint bármilyen automatikus észlelés.

Végül ne felejtsd el lezárni a munkameneteket két-három perc inaktivitás után. Ellenkező esetben egy látogató, aki beszélgetés közben távozik, nyitva hagy egy munkamenetet, amely fogyasztja az erőforrásaidat, és foglalja az egyik egyidejű slotodat.

Mindhárom architektúrára jellemző minták

A Voice Agent a teljes munkamenet alatt megtartja a beszélgetés előzményeit. Az első szó előtt előkészítheted hasznos kontextus injektálásával, például a bejelentkezett ügyfél személyazonosságával vagy egy folyamatban lévő rendeléssel a conversation.item.create segítségével:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "system",
    "content": [
      {
        "type": "text",
        "text": "The signed-in customer is Sarah Miller, customer number C-4521. She has an order in progress, CMD-8834."
      }
    ]
  }
}

Az ügynök ezután nem kér olyan információkat a felhasználóktól, amelyekkel az alkalmazásod már rendelkezik, ami beszélgetésenként jó tíz másodpercet spórol meg.

Ha azt szeretnéd, hogy az asszisztens szólaljon meg először, illessz be egy kezdeti üzenetet, majd indítsd el a választ:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "user",
    "content": [{ "type": "text", "text": "Hello" }]
  }
}

Egy közvetlenül ezután elküldött { "type": "response.create" } kiváltja az üdvözlést.

Marad még a vizuális visszajelzés, amelyet általában utoljára kezelnek, pedig nagy súlya van annak, hogyan érzékelik a terméket. Jelezd, amikor az ügynök beszél (hanghullám, animált avatar), és egy másik jelzést, amikor hangot rögzítesz. E jelzés nélkül a felhasználók nem tudják eldönteni, hogy beszéljenek-e, hallják-e őket, vagy összeomlott-e az alkalmazás, és végül az ügynök szavába vágnak.

Főbb megállapítások

  • Három fő architektúra: webes, mobil és információs pult, mindegyik saját korlátokkal
  • A böngészőben történő hangkezelés odafigyelést igényel (Safari AudioContext, automatikus lejátszási irányelvek)
  • Töltsd elő a beszélgetés kontextusát a conversation.item.create használatával a személyre szabott élmény érdekében
  • Egy üdvözlés és a vizuális visszajelzés jelentősen javítja a felhasználói élményt