Construire un assistant vocal interactif
Pe această pagină
Du prototype à l’assistant vocal en production
Vous savez configurer une session Voice Agent et générer de l’audio avec la synthèse vocale (TTS). Il ne vous reste plus qu’à assembler ces briques pour créer un produit capable de tenir la route face à de vrais utilisateurs. Trois architectures reviennent systématiquement (le navigateur, le mobile et le kiosque interactif), et chacune impose des contraintes techniques bien avant que la qualité du modèle n’entre en jeu.
L’assistant web dans le navigateur
C’est le point de départ le plus courant : un bouton micro dans une application existante, l’utilisateur parle et l’assistant répond à voix haute. Le cycle technique se déroule ainsi :
- L’utilisateur clique sur le bouton : vous commencez la capture audio avec
MediaRecorderouAudioWorklet - L’audio capturé est converti en PCM base64 et envoyé au Voice Agent via WebSocket
- La détection d’activité vocale (VAD) côté serveur identifie la fin de la parole et génère une réponse
- Les fragments audio de la réponse arrivent via
response.output_audio.delta - Vous les décodez et les lisez avec
AudioContext
Le problème vient rarement de cette boucle, mais du navigateur lui-même. Safari exige que l’AudioContext soit créé à l’intérieur d’un gestionnaire d’événements utilisateur. Créez-le lors du premier clic sur le bouton micro, et non au chargement de la page, sinon vous obtiendrez un contexte suspendu et un silence total. La politique de lecture automatique va dans le même sens : aucune lecture audio ne démarre sans interaction préalable de l’utilisateur, ce qui exclut une salutation se lançant automatiquement dès l’arrivée sur la page. Pour les formats de sortie, tenez-vous-en au PCM ou au MP3, car les navigateurs ne lisent pas nativement le mulaw ni le alaw. Enfin, la clé API ne doit jamais figurer dans le code client : elle reste sur votre serveur, et le navigateur utilise plutôt un jeton éphémère (leçon 13).
La capture nécessite également un réglage fin :
const stream = await navigator.mediaDevices.getUserMedia({
audio: {
sampleRate: 24000,
channelCount: 1,
echoCancellation: true,
noiseSuppression: true
}
});
L’annulation d’écho et la suppression du bruit ne sont pas des options. Sans elles, le micro capte la réponse de l’assistant sortant des haut-parleurs, la VAD la prend pour la parole de l’utilisateur et l’agent s’interrompt constamment lui-même. Testez toujours sans casque : c’est dans cette configuration que la rétroaction apparaît.
L’assistant mobile
Avec React Native ou Flutter, le principe reste identique, mais l’environnement se durcit. Utilisez les API de capture natives (AVAudioEngine sur iOS, AudioRecord sur Android) plutôt qu’une abstraction générique : la qualité du signal d’entrée affecte directement la reconnaissance. Intégrez une reconnexion automatique, car le WebSocket se coupe dès que l’application passe en arrière-plan, ce qui arrive dès qu’une notification survient pendant une conversation.
Deux aspects échappent souvent aux tests internes. Le premier est le routage audio : haut-parleur ou écouteur, le comportement attendu diffère selon que l’utilisateur tient le téléphone à l’oreille ou le pose sur une table. Le second est le Bluetooth, dont la latence propre s’ajoute à celle du réseau et du modèle ; une conversation fluide avec le micro intégré peut devenir saccadée avec des écouteurs sans fil.
Le kiosque interactif
Pour un kiosque en magasin, à la réception d’un hôtel ou dans une galerie de musée, la contrainte dominante devient l’environnement sonore. Un micro directionnel cardioïde limite la captation à la personne se tenant devant le kiosque. Ne comptez pas sur un réglage de sensibilité pour filtrer la foule : la détection de tour de parole du Voice Agent n’expose que son type et son idle_timeout_ms, sans seuil à augmenter. Lorsque le lieu est très bruyant, comme le hall d’une gare ou un salon professionnel, la parole à la demande via un bouton physique est plus fiable que toute détection automatique.
Enfin, pensez à fermer les sessions après deux à trois minutes d’inactivité. Sinon, un visiteur qui s’éloigne en pleine conversation laisse une session ouverte qui consomme vos ressources et occupe l’un de vos slots concurrents.
Modèles communs aux trois architectures
Le Voice Agent conserve l’historique de la conversation pour toute la durée de la session. Vous pouvez l’amorcer avant le premier mot en injectant un contexte utile, tel que l’identité du client connecté ou une commande en cours, avec conversation.item.create :
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "system",
"content": [
{
"type": "text",
"text": "The signed-in customer is Sarah Miller, customer number C-4521. She has an order in progress, CMD-8834."
}
]
}
}
L’agent cesse alors de demander aux utilisateurs des informations que votre application possède déjà, ce qui fait gagner une bonne dizaine de secondes à chaque conversation.
Pour que l’assistant prenne la parole en premier, insérez un message initial puis déclenchez la réponse :
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [{ "type": "text", "text": "Hello" }]
}
}
Un { "type": "response.create" } envoyé immédiatement après déclenche la salutation.
Reste le retour visuel, souvent traité en dernier bien qu’il pèse lourdement sur la perception du produit. Affichez un indicateur pendant que l’agent parle (onde sonore, avatar animé) et un autre pendant la capture audio. Sans ce signal, les utilisateurs ne savent pas s’ils doivent parler, s’ils sont entendus ou si l’application a planté, et ils finissent par parler par-dessus l’agent.
Puncte cheie
- Trois architectures principales : web, mobile et kiosque, chacune avec ses propres contraintes
- L’audio dans le navigateur nécessite une attention particulière (AudioContext de Safari, politique de lecture automatique)
- Préremplissez le contexte de conversation avec
conversation.item.createpour personnaliser l’expérience - Une salutation et un retour visuel améliorent considérablement l’expérience utilisateur