Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Bygg en interaktiv röstassistent

Lektion 10 av 14 Uppdaterad 29 juli 2026 Medelnivå
På denna sida
  1. Från prototyp till produktionsklar röstassistent
  2. Webbassistenten i webbläsaren
  3. Mobilassistenten
  4. Den interaktiva kiosken
  5. Mönster gemensamma för alla tre arkitekturer
  6. Viktiga punkter

Från prototyp till produktionsklar röstassistent

Du vet hur du konfigurerar en Voice Agent-session och genererar ljud med TTS. Det som återstår är att sätta ihop dessa byggstenar till en produkt som håller inför riktiga användare. Tre arkitekturer dyker upp gång på gång (webbläsaren, mobilen och den interaktiva kiosken), och var och en av dem ställer tekniska krav långt innan modellens kvalitet ens kommer in i bilden.

Webbassistenten i webbläsaren

Detta är den vanligaste startpunkten: en mikrofonknapp i en befintlig app där användaren talar och assistenten svarar högt. Den tekniska cykeln ser ut så här:

  1. Användaren klickar på knappen: du börjar fånga ljud med MediaRecorder eller AudioWorklet
  2. Det fångade ljudet konverteras till base64-PCM och skickas till Voice Agent över WebSocket
  3. VAD på serversidan upptäcker slutet på talet och genererar ett svar
  4. Svarsljudets bitar anländer via response.output_audio.delta
  5. Du avkodar dem och spelar upp dem med AudioContext

Problemen uppstår sällan i denna loop; de kommer från webbläsaren själv. Safari kräver att AudioContext skapas inuti en händelsehanterare för användarinteraktion. Skapa den vid första klicket på mikrofonknappen, inte när sidan laddas, annars får du en suspenderad kontext och total tystnad. Autospelningspolicyn pekar åt samma håll: ingen ljuduppspelning startar utan en föregående användarinteraktion, vilket utesluter en hälsning som spelas automatiskt när någon landar på sidan. För utdataformat, håll dig till PCM eller MP3, eftersom webbläsare inte kan spela upp mulaw och alaw nativt. Och API-nyckeln hamnar aldrig i klientkoden: den stannar på din server, och webbläsaren använder istället en tillfällig token (lektion 13).

Inspelningen behöver också finjusteras:

const stream = await navigator.mediaDevices.getUserMedia({
  audio: {
    sampleRate: 24000,
    channelCount: 1,
    echoCancellation: true,
    noiseSuppression: true
  }
});

Ekoutsläckning och brusreducering är inga extrafunktioner. Utan dem plockar mikrofonen upp assistentens svar som kommer ur högtalarna, VAD tolkar det som att användaren talar, och agenten fortsätter att avbryta sig själv. Testa alltid utan hörlurar: det är i den konfigurationen som återkoppling visar sig.

Mobilassistenten

Med React Native eller Flutter är principen densamma, men miljön blir tuffare. Använd de nativa inspelnings-API:erna (AVAudioEngine på iOS, AudioRecord på Android) snarare än en generell abstraktion: kvaliteten på insignalen påverkar igenkänningen direkt. Bygg in automatisk återanslutning, eftersom WebSocket tappas så fort appen hamnar i bakgrunden, vilket sker så fort en avisering dyker upp under en konversation.

Två saker glöms ofta bort vid intern testning. Den första är ljudrutning: högtalare eller hörtelefon, det förväntade beteendet skiljer sig åt beroende på om användaren håller telefonen mot örat eller lägger den på ett bord. Den andra är Bluetooth, vars egen latens läggs ovanpå nätverkets och modellens; en konversation som flyter smidigt med den inbyggda mikrofonen kan ibland bli hackig med trådlösa hörlurar.

Den interaktiva kiosken

För en kiosk i en butik, en hotellreception eller ett museumsgalleri blir ljudmiljön den dominerande begränsningen. En kardiodmikrofon med riktningskänslighet begränsar upptagningen till personen som står framför kiosken. Räkna inte med att en känslighetsinställning ska filtrera bort folkmassan: Voice Agentens turdetektering exponerar endast dess type och idle_timeout_ms, utan någon tröskelvärde att höja. När lokalen är väldigt bullrig, som på en tågstationshall eller en mässa, är push-to-talk med en fysisk knapp mer tillförlitlig än någon automatisk detektering.

Kom slutligen ihåg att stänga sessioner efter två till tre minuters inaktivitet. Annars lämnar en besökare som går mitt i en konversation en öppen session som förbrukar dina resurser och upptar en av dina samtidiga platser.

Mönster gemensamma för alla tre arkitekturer

Voice Agent behåller konversationshistoriken för hela sessionen. Du kan förbereda den innan det första ordet genom att injicera användbar kontext, såsom den inloggade kundens identitet eller en pågående order, med conversation.item.create:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "system",
    "content": [
      {
        "type": "text",
        "text": "The signed-in customer is Sarah Miller, customer number C-4521. She has an order in progress, CMD-8834."
      }
    ]
  }
}

Agenten slutar då be användaren om information som din app redan har, vilket sparar en god tio sekunder på varje konversation.

För att få assistenten att tala först, infoga ett initialt meddelande och utlös sedan svaret:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "user",
    "content": [{ "type": "text", "text": "Hello" }]
  }
}

En { "type": "response.create" } som skickas direkt efter utlöser hälsningen.

Kvar finns den visuella återkopplingen, som ofta hanteras sist trots att den väger tungt för hur produkten upplevs. Visa en indikator medan agenten talar (en ljudvåg, en animerad avatar) och en annan medan du fångar ljud. Utan den signalen kan användarna inte avgöra om de ska tala, om de blir hörda, eller om appen har kraschat, och de hamnar med att prata i munnen på agenten.

Viktiga punkter

  • Tre huvudarkitekturer: webb, mobil och kiosk, var och en med sina egna begränsningar
  • Ljud i webbläsaren kräver omsorg (Safaris AudioContext, autospelningspolicy)
  • Fyll i konversationskontexten i förväg med conversation.item.create för att personifiera upplevelsen
  • En hälsning och visuell återkoppling förbättrar användarupplevelsen avsevärt