Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Rakenna vuorovaikutteinen ääniavustaja

Oppitunti 10 / 14 Päivitetty 29. heinäkuuta 2026 Keskitasoinen
Tällä sivulla
  1. Prototyypistä tuotantovalmiiksi ääniavustajaksi
  2. Web-avustaja selaimessa
  3. Mobiiliavustaja
  4. Interaktiivinen kioski
  5. Kaikkien kolmen arkkitehtuurin yhteiset mallit
  6. Keskeiset asiat

Prototyypistä tuotantovalmiiksi ääniavustajaksi

Osaat nyt määrittää Voice Agent -istunnon ja tuottaa ääntä TTS:n avulla. Jäljelle jää näiden rakennuspalikoiden kokoaminen tuotteeksi, joka kestää oikeiden käyttäjien edessä. Kolme arkkitehtuuria toistuu jatkuvasti (selain, mobiili ja interaktiivinen kioski), ja kukin niistä asettaa teknisiä rajoitteita kauan ennen kuin mallin laatu tulee peliin.

Web-avustaja selaimessa

Tämä on yleisin lähtökohta: mikrofonipainike olemassa olevassa sovelluksessa, käyttäjä puhuu ja avustaja vastaa ääneen. Tekninen kierto menee näin:

  1. Käyttäjä napsauttaa painiketta: aloitat äänen tallentamisen MediaRecorder- tai AudioWorklet-rajapinnalla
  2. Tallennettu ääni muunnetaan base64-PCM-muotoon ja lähetetään Voice Agentille WebSocket-yhteyden yli
  3. Palvelinpuolen VAD havaitsee puheen päättymisen ja generoi vastauksen
  4. Vastauksen äänipaketit saapuvat kautta response.output_audio.delta
  5. Pureat ne ja toistat ne AudioContext-rajapinnalla

Ongelmat eivät harvoin johdu tästä silmukasta, vaan itse selaimesta. Safari vaatii, että AudioContext luodaan käyttäjän tapahtumankäsittelijän sisällä. Luo se mikrofonipainikkeen ensimmäisellä napsautuksella, älä sivun latautuessa, muuten saat jäädytetyn kontekstin ja täydellisen hiljaisuuden. Autoplay-käytäntö osoittaa samaan suuntaan: mikään äänentoisto ei käynnisty ilman edeltävää käyttäjän vuorovaikutusta, mikä sulkee pois automaattisesti toistuvan tervehdyksen, kun joku saapuu sivulle. Lähtömuodoissa pysy PCM:ssä tai MP3:ssa, sillä selaimet eivät toista mulaw- ja alaw-muotoja natiivisti. Ja API-avain ei koskaan kuulu asiakaskoodiin: se pysyy palvelimellasi, ja selain käyttää sen sijaan väliaikaista tunnusta (oppitunti 13).

Tallennus vaatii myös säätöä:

const stream = await navigator.mediaDevices.getUserMedia({
  audio: {
    sampleRate: 24000,
    channelCount: 1,
    echoCancellation: true,
    noiseSuppression: true
  }
});

Kaikunvaimennus ja kohinanvaimennus eivät ole lisävarusteita. Ilman niitä mikrofoni poimii kaiuttimista tulevan avustajan vastauksen, VAD luulee sitä käyttäjän puheeksi, ja agentti keskeyttää itseään jatkuvasti. Testaa aina ilman kuulokkeita: se on tilanne, jossa palaute ilmenee.

Mobiiliavustaja

React Nativen tai Flutterin kanssa periaate pysyy samana, mutta ympäristö muuttuu vaativammaksi. Käytä natiiveja tallennusrajapintoja (AVAudioEngine iOS:ssä, AudioRecord Androidissa) yleisen abstraktion sijaan: tulosignaalin laatu vaikuttaa suoraan tunnistukseen. Rakenna sisään automaattinen uudelleenyhdistäminen, sillä WebSocket-yhteys katkeaa heti, kun sovellus siirtyy taustalle, mikä tapahtuu heti, kun ilmoitus saapuu keskustelun aikana.

Kaksi asiaa lipsahtaa usein sisäisten testien läpi. Ensimmäinen on äänen reititys: kaiutin vai kuuloke, odotettu käyttäytyminen eroaa sen mukaan, pitääkö käyttäjä puhelinta korvallaan vai asettaako sen pöydälle. Toinen on Bluetooth, jonka oma viive kasautuu verkon ja mallin viiveen päälle; keskustelu, joka sujuu saumattomasti sisäänrakennetulla mikrofonilla, muuttuu joskus nykiväksi langattomilla kuulokkeilla.

Interaktiivinen kioski

Kaupan, hotellin vastaanoton tai museon gallerian kioskissa hallitseva rajoite on ääniympäristö. Sydämenmuotoinen, suuntamikrofoni rajoittaa poiminnan vain kioskin edessä seisovaan henkilöön. Älä luota herkkyysasetukseen väkijoukon suodattamiseen: Voice Agentin vuoron tunnistus paljastaa vain sen type- ja idle_timeout_ms-ominaisuudet, ilman kynnysarvoa, jota voisi nostaa. Kun tila on todella meluisa, kuten rautatieaseman aulassa tai messuilla, paina-puhu-toiminto fyysisellä painikkeella on luotettavampi kuin mikään automaattinen tunnistus.

Muista lopuksi sulkea istunnot kahden tai kolmen minuutin toimettomuuden jälkeen. Muuten vierailija, joka poistuu kesken keskustelun, jättää istunnon auki, mikä kuluttaa resurssejasi ja vie yhden samanaikaisista paikoistasi.

Kaikkien kolmen arkkitehtuurin yhteiset mallit

Voice Agent pitää keskusteluhistoriaa yllä koko istunnon ajan. Voit valmistella sitä ennen ensimmäistä sanaa syöttämällä hyödyllistä kontekstia, kuten kirjautuneen asiakkaan henkilöllisyyden tai meneillään olevan tilauksen, käyttämällä conversation.item.create:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "system",
    "content": [
      {
        "type": "text",
        "text": "The signed-in customer is Sarah Miller, customer number C-4521. She has an order in progress, CMD-8834."
      }
    ]
  }
}

Agentti lopettaa tällöin kysymästä käyttäjiltä tietoja, jotka sovelluksellasi jo on, mikä lyhentää jokaista keskustelua hyvällä kymmenellä sekunnilla.

Saadaksesi avustajan puhumaan ensimmäisenä, lisää alkuperäinen viesti ja käynnistä sitten vastaus:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "user",
    "content": [{ "type": "text", "text": "Hello" }]
  }
}

Tämän jälkeen lähetetty { "type": "response.create" } käynnistää tervehdyksen.

Jäljelle jää visuaalinen palaute, jota käsitellään yleensä viimeisenä, vaikka se vaikuttaa voimakkaasti tuotteen tuntumaan. Näytä indikaattori, kun agentti puhuu (ääniaalto, animoitu avatar), ja toinen, kun tallennat ääntä. Ilman tätä signaalia käyttäjät eivät tiedä, pitäisikö heidän puhua, kuuleeko järjestelmä heidät vai onko sovellus kaatunut, ja he päätyvät puhumaan agentin päälle.

Keskeiset asiat

  • Kolme pääarkkitehtuuria: web, mobiili ja kioski, joilla kullakin on omat rajoitteensa
  • Selaimen ääni vaatii huolellisuutta (Safarin AudioContext, autoplay-käytäntö)
  • Esitäytä keskustelukonteksti komennolla conversation.item.create kokemuksen personoimiseksi
  • Tervehdys ja visuaalinen palaute parantavat merkittävästi käyttäjäkokemusta