Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Byg en interaktiv stemmeassistent

Lektion 10 af 14 Opdateret 29. juli 2026 Mellem
På denne side
  1. Fra prototype til produktionsklar stemmeassistent
  2. Web-assistenten i browseren
  3. Mobil-assistenten
  4. Den interaktive kiosk
  5. Mønstre fælles for alle tre arkitekturer
  6. Vigtige pointer

Fra prototype til produktionsklar stemmeassistent

Du ved nu, hvordan du konfigurerer en Voice Agent-session og genererer lyd med TTS. Det sidste skridt er at samle disse byggesten til et produkt, der holder i mødet med rigtige brugere. Tre arkitekturer går igen (browseren, mobilen og den interaktive kiosk), og hver af dem stiller tekniske krav, længe før modellens kvalitet kommer på banen.

Web-assistenten i browseren

Dette er det mest almindelige udgangspunkt: en mikrofonknap i en eksisterende app, hvor brugeren taler, og assistenten svarer højt. Den tekniske cyklus ser sådan ud:

  1. Brugeren klikker på knappen: du starter optagelse af lyd med MediaRecorder eller AudioWorklet
  2. Den optagede lyd konverteres til base64 PCM og sendes til Voice Agenten via WebSocket
  3. Server-side VAD registrerer talepausen og genererer et svar
  4. Svar-lydblokke ankommer via response.output_audio.delta
  5. Du afkoder dem og afspiller dem med AudioContext

Problemet sjældent ligger i selve løkken; det ligger i browseren. Safari kræver, at AudioContext oprettes inde i en brugerhændelseshandler. Opret den ved første klik på mikrofonknappen, ikke når siden loader, ellers får du en suspenderet kontekst og total stilhed. Autoplay-politikken peger i samme retning: ingen lydafspilning starter uden en forudgående brugerinteraktion, hvilket udelukker en velkomstbesked, der afspilles automatisk, når nogen lander på siden. Hold dig til PCM eller MP3 til outputformater, da browsere ikke kan afspille mulaw og alaw nativt. Og API-nøglen kommer aldrig ind i klientkoden: den bliver på din server, og browseren bruger i stedet et ephemeral token (lektion 13).

Optagelsen kræver også finjustering:

const stream = await navigator.mediaDevices.getUserMedia({
  audio: {
    sampleRate: 24000,
    channelCount: 1,
    echoCancellation: true,
    noiseSuppression: true
  }
});

Ekkoundtrykkelse og støjdæmpning er ikke ekstrafunktioner. Uden dem plukker mikrofonen assistentens svar op, når det kommer ud af højttalerne, VAD tolker det som brugeren, der taler, og agenten afbryder sig selv igen og igen. Test altid uden hovedtelefoner: det er den opsætning, hvor feedback viser sig.

Mobil-assistenten

Med React Native eller Flutter er princippet det samme, men miljøet er hårdere. Brug de native optagelses-API’er (AVAudioEngine på iOS, AudioRecord på Android) frem for en generisk abstraktion: kvaliteten af inputsignalet påvirker genkendelsen direkte. Byg automatisk genforbindelse ind, fordi WebSocket’en dropper, så snart appen går i baggrunden, hvilket sker i det øjeblik, en notifikation ankommer under en samtale.

To ting glipper ofte i intern testning. Den første er lydrouting: højttaler eller telefonrør, den forventede adfærd afhænger af, om brugeren holder telefonen op til øret eller lægger den på et bord. Den anden er Bluetooth, hvis egen latency lægger sig oveni netværkets og modellens; en samtale, der flyder gnidningsfrit med den indbyggede mikrofon, kan nogle gange blive hakket med trådløse ørepropper.

Den interaktive kiosk

Til en kiosk i en butik, en hotelreception eller en museumsudstilling bliver lyd miljøet den dominerende begrænsning. En retningsbestemt kardiodemikrofon begrænser optagelsen til personen, der står foran kiosken. Regn ikke med, at en følsomhedsindstilling kan filtrere mængden fra: Voice Agentens tur-detektering eksponerer kun sin type og idle_timeout_ms, uden nogen tærskel at hæve. Når lokalet er virkelig støjende, som i en banegårdshal eller på en messe, er push-to-talk med en fysisk knap mere pålidelig end enhver automatisk detektering.

Husk endelig at lukke sessioner efter to til tre minutters inaktivitet. Ellers efterlader en besøgende, der går midt i en samtale, en åben session, der bruger dine ressourcer og optager en af dine samtidige pladser.

Mønstre fælles for alle tre arkitekturer

Voice Agenten gemmer samtalehistorikken for hele sessionen. Du kan klargøre den før det første ord ved at injicere nyttig kontekst, såsom den indloggede kundes identitet eller en igangværende ordre, med conversation.item.create:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "system",
    "content": [
      {
        "type": "text",
        "text": "The signed-in customer is Sarah Miller, customer number C-4521. She has an order in progress, CMD-8834."
      }
    ]
  }
}

Agenten holder derefter op med at spørge brugere om oplysninger, din app allerede har, hvilket sparer godt ti sekunder af hver samtale.

For at få assistenten til at tale først, indsætter du en indledende besked og udløser derefter svaret:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "user",
    "content": [{ "type": "text", "text": "Hello" }]
  }
}

En { "type": "response.create" } sendt lige efter udløser velkomsten.

Tilbage er visuel feedback, som normalt håndteres sidst, selvom det vejer tungt for, hvordan produktet opleves. Vis en indikator, mens agenten taler (en lydbølge, en animeret avatar), og en anden, mens du optager lyd. Uden det signal kan brugere ikke afgøre, om de skal tale, om de bliver hørt, eller om appen er crashet, og de ender med at tale hen over agenten.

Vigtige pointer

  • Tre hovedarkitekturer: web, mobil og kiosk, hver med sine egne begrænsninger
  • Lyd i browseren kræver omhu (Safaris AudioContext, autoplay-politik)
  • Udfyld samtalekonteksten på forhånd med conversation.item.create for at personliggøre oplevelsen
  • En velkomst og visuel feedback forbedrer brugeroplevelsen markant