Ir al contenido principal
Español— Elegir un idioma
Menú

Crear un asistente de voz interactivo

Lección 10 de 14 Actualizado el 29 de julio de 2026 Intermedio
En esta página
  1. Del prototipo al asistente de voz en producción
  2. El asistente web en el navegador
  3. El asistente móvil
  4. El quiosco interactivo
  5. Patrones comunes a las tres arquitecturas
  6. Puntos clave

Del prototipo al asistente de voz en producción

Ya sabes cómo configurar una sesión de Agente de Voz y generar audio con TTS. Lo que falta es ensamblar esos bloques de construcción en un producto que funcione ante usuarios reales. Tres arquitecturas surgen una y otra vez (el navegador, el móvil y el quiosco interactivo), y cada una impone restricciones técnicas mucho antes de que la calidad del modelo entre en juego.

El asistente web en el navegador

Este es el punto de partida más habitual: un botón de micrófono en una aplicación existente, el usuario habla y el asistente responde en voz alta. El ciclo técnico funciona así:

  1. El usuario hace clic en el botón: comienzas a capturar audio con MediaRecorder o AudioWorklet
  2. El audio capturado se convierte a PCM en base64 y se envía al Agente de Voz a través de WebSocket
  3. El VAD del lado del servidor detecta el final del habla y genera una respuesta
  4. Los fragmentos de audio de la respuesta llegan mediante response.output_audio.delta
  5. Los decodificas y los reproduces con AudioContext

El problema rara vez proviene de este bucle; proviene del propio navegador. Safari exige que el AudioContext se cree dentro de un manejador de eventos de usuario. Crèalo en el primer clic del botón del micrófono, no cuando se carga la página, o te encontrarás con un contexto suspendido y silencio total. La política de reproducción automática apunta en la misma dirección: ninguna reproducción de audio comienza sin una interacción previa del usuario, lo que descarta un saludo que se reproduzca automáticamente cuando alguien aterriza en la página. Para los formatos de salida, quédate con PCM o MP3, ya que los navegadores no pueden reproducir mulaw ni alaw de forma nativa. Y la clave de API nunca va en el código del cliente: se queda en tu servidor, y el navegador utiliza un token efímero en su lugar (lección 13).

La captura también necesita ajustes:

const stream = await navigator.mediaDevices.getUserMedia({
  audio: {
    sampleRate: 24000,
    channelCount: 1,
    echoCancellation: true,
    noiseSuppression: true
  }
});

La cancelación de eco y la supresión de ruido no son extras. Sin ellas, el micrófono capta la respuesta del asistente que sale de los altavoces, el VAD la confunde con el habla del usuario y el agente se interrumpe constantemente. Prueba siempre sin auriculares: esa es la configuración donde aparece la retroalimentación.

El asistente móvil

Con React Native o Flutter, el principio es el mismo, pero el entorno se vuelve más hostil. Utiliza las API de captura nativas (AVAudioEngine en iOS, AudioRecord en Android) en lugar de una abstracción genérica: la calidad de la señal de entrada afecta directamente al reconocimiento. Implementa una reconexión automática, porque el WebSocket se cae en cuanto la aplicación pasa a segundo plano, lo cual ocurre en el momento en que llega una notificación durante una conversación.

Dos aspectos suelen escaparse en las pruebas internas. El primero es el enrutamiento de audio: altavoz o auricular; el comportamiento esperado difiere según si el usuario sostiene el teléfono junto a la oreja o lo deja sobre una mesa. El segundo es el Bluetooth, cuya latencia propia se suma a la de la red y a la del modelo; una conversación que fluye sin problemas con el micrófono integrado a veces se vuelve entrecortada con auriculares inalámbricos.

El quiosco interactivo

Para un quiosco en una tienda, la recepción de un hotel o una galería de museo, la restricción dominante pasa a ser el entorno sonoro. Un micrófono direccional cardioide limita la captación a la persona que está de pie frente al quiosco. No cuentes con un ajuste de sensibilidad para filtrar a la multitud: la detección de turnos del Agente de Voz solo expone su type y idle_timeout_ms, sin ningún umbral que elevar. Cuando el local es muy ruidoso, como el vestíbulo de una estación de tren o una feria comercial, el sistema de «pulsar para hablar» con un botón físico es más fiable que cualquier detección automática.

Por último, recuerda cerrar las sesiones tras dos o tres minutos de inactividad. De lo contrario, un visitante que se marcha a mitad de la conversación deja una sesión abierta que consume tus recursos y ocupa uno de tus espacios simultáneos.

Patrones comunes a las tres arquitecturas

El Agente de Voz mantiene el historial de la conversación durante toda la sesión. Puedes prepararlo antes de la primera palabra inyectando contexto útil, como la identidad del cliente conectado o un pedido en curso, con conversation.item.create:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "system",
    "content": [
      {
        "type": "text",
        "text": "El cliente conectado es Sarah Miller, número de cliente C-4521. Tiene un pedido en curso, CMD-8834."
      }
    ]
  }
}

El agente deja entonces de pedir a los usuarios información que tu aplicación ya posee, lo que ahorra unos buenos diez segundos en cada conversación.

Para que el asistente hable primero, inserta un mensaje inicial y luego activa la respuesta:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "user",
    "content": [{ "type": "text", "text": "Hola" }]
  }
}

Un { "type": "response.create" } enviado justo después activa el saludo.

Solo queda la retroalimentación visual, que suele tratarse al final aunque pesa mucho en la sensación que transmite el producto. Muestra un indicador mientras el agente está hablando (una onda de sonido, un avatar animado) y otro mientras estás capturando audio. Sin esa señal, los usuarios no saben si deben hablar, si se les está escuchando o si la aplicación se ha bloqueado, y acaban hablando encima del agente.

Puntos clave

  • Tres arquitecturas principales: web, móvil y quiosco, cada una con sus propias restricciones
  • El audio en el navegador requiere cuidado (AudioContext de Safari, política de reproducción automática)
  • Rellena previamente el contexto de la conversación con conversation.item.create para personalizar la experiencia
  • Un saludo y la retroalimentación visual mejoran significativamente la experiencia del usuario