Een interactieve spraakassistent bouwen
Op deze pagina
Van prototype naar productieve spraakassistent
U weet hoe u een Voice Agent-sessie configureert en audio produceert met TTS. Wat rest, is het samenvoegen van deze bouwstenen tot een product dat standhoudt bij echte gebruikers. Drie architecturen komen steeds weer terug (de browser, mobiel en de interactieve kiosk), en elk legt technische beperkingen op lang voordat de kwaliteit van het model een rol speelt.
De webassistent in de browser
Dit is het meest gebruikelijke startpunt: een microfoonknop in een bestaande app, de gebruiker spreekt en de assistent antwoordt hardop. De technische cyclus verloopt als volgt:
- De gebruiker klikt op de knop: u begint audio op te nemen met
MediaRecorderofAudioWorklet - De opgenomen audio wordt omgezet naar base64 PCM en via WebSocket naar de Voice Agent verzonden
- Server-side VAD detecteert het einde van de spraak en genereert een antwoord
- De antwoord-audiochunks komen binnen via
response.output_audio.delta - U decodeert ze en speelt ze af met
AudioContext
De problemen komen zelden uit deze lus; ze komen van de browser zelf. Safari vereist dat de AudioContext wordt gemaakt binnen een gebeurtenis-handler van de gebruiker. Maak deze bij de eerste klik op de microfoonknop, niet wanneer de pagina laadt, anders krijgt u een opgeschorte context en totale stilte. Het autoplay-beleid wijst in dezelfde richting: geen audioweergave start zonder eerdere gebruikersinteractie, wat een begroeting die automatisch wordt afgespeeld wanneer iemand op de pagina landt, uitsluit. Houd voor uitvoerformaten vast aan PCM of MP3, aangezien browsers mulaw en alaw niet native kunnen afspelen. En de API-sleutel komt nooit in clientcode: deze blijft op uw server en de browser gebruikt in plaats daarvan een ephemeraal token (les 13).
Opname vereist ook afstemming:
const stream = await navigator.mediaDevices.getUserMedia({
audio: {
sampleRate: 24000,
channelCount: 1,
echoCancellation: true,
noiseSuppression: true
}
});
Echo-onderdrukking en ruisonderdrukking zijn geen extra’s. Zonder deze functies pikt de microfoon het antwoord van de assistent op dat uit de luidsprekers komt, neemt VAD dit aan voor spreken door de gebruiker en onderbreekt de agent zichzelf voortdurend. Test altijd zonder koptelefoon: dat is de opstelling waarin feedback optreedt.
De mobiele assistent
Met React Native of Flutter blijft het principe hetzelfde, maar wordt de omgeving lastiger. Gebruik de native opname-API’s (AVAudioEngine op iOS, AudioRecord op Android) in plaats van een generieke abstractie: de kwaliteit van het ingangssignaal beïnvloedt de herkenning direct. Bouw automatisch opnieuw verbinden in, omdat de WebSocket verbreekt zodra de app naar de achtergrond gaat, wat gebeurt zodra er tijdens een gesprek een melding binnenkomt.
Twee dingen glippen vaak door interne tests heen. Het eerste is audioroutering: luidspreker of oorstukje, het verwachte gedrag verschilt afhankelijk van whether de gebruiker de telefoon tegen het oor houdt of op een tafel legt. Het tweede is Bluetooth, waarvan de eigen latentie zich optelt bij die van het netwerk en het model; een gesprek dat soepel verloopt met de ingebouwde microfoon, wordt soms schokkerig met draadloze oordopjes.
De interactieve kiosk
Voor een kiosk in een winkel, een hotelreceptie of een museumgalerij wordt de geluidsomgeving de dominante beperking. Een cardioid-richtmicrofoon beperkt de opname tot de persoon die voor de kiosk staat. Reken niet op een gevoeligheidsinstelling om de menigte eruit te filteren: de beurt-detectie van de Voice Agent exposeert alleen zijn type en idle_timeout_ms, zonder drempel om te verhogen. Wanneer de locatie erg luidruchtig is, zoals een stationshal of een beurs, is push-to-talk met een fysieke knop betrouwbaarder dan elke automatische detectie.
Vergeet tot slot niet sessies te sluiten na twee tot drie minuten inactiviteit. Anders laat een bezoeker die halverwege een gesprek wegloopt een sessie open staan die uw resources verbruikt en een van uw gelijktijdige slots bezet houdt.
Patronen gedeeld door alle drie de architecturen
De Voice Agent bewaart de gespreksgeschiedenis voor de hele sessie. U kunt deze voorbereiden vóór het eerste woord door nuttige context injecteren, zoals de identiteit van de ingelogde klant of een lopende bestelling, met conversation.item.create:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "system",
"content": [
{
"type": "text",
"text": "The signed-in customer is Sarah Miller, customer number C-4521. She has an order in progress, CMD-8834."
}
]
}
}
De agent stopt dan met het vragen van informatie die uw app al heeft, wat elk gesprek met ongeveer tien seconden verkort.
Om de assistent als eerste te laten spreken, voegt u een initiële bericht in en triggerd u vervolgens het antwoord:
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [{ "type": "text", "text": "Hello" }]
}
}
Een { "type": "response.create" } dat direct daarna wordt verzonden, activeert de begroeting.
Dan resteert nog visuele feedback, die meestal als laatste wordt afgehandeld, hoewel deze zwaar weegt op de beleving van het product. Toon een indicator terwijl de agent spreekt (een geluidsgolf, een geanimeerde avatar) en een andere terwijl u audio opneemt. Zonder dat signaal kunnen gebruikers niet zien of ze moeten spreken, of ze worden gehoord, of dat de app is gecrasht, en gaan ze door de agent heen praten.
Belangrijkste punten
- Drie hoofdarchitecturen: web, mobiel en kiosk, elk met eigen beperkingen
- Audio in de browser vereist zorg (Safari’s AudioContext, autoplay-beleid)
- Vul de gesprekscontext vooraf met
conversation.item.createom de ervaring te personaliseren - Een begroeting en visuele feedback verbeteren de gebruikerservaring aanzienlijk