Ir al contenido principal
Español— Elegir un idioma
Menú

Inferencia por lotes: por qué, cuándo y ahorro de costes

Lección 1 de 16 Actualizado el 3 de noviembre de 2026 Avanzado
En esta página
  1. Comprensión de la inferencia por lotes
  2. ¿Cuándo utilizar la inferencia por lotes?
  3. Endpoints compatibles
  4. Dos modos de envío
  5. Ahorro concreto
  6. Puntos clave

Actualización 2 de noviembre de 2026 — Modelos. Mistral Large 3 (mistral-large-2512) y Mistral Medium 3.5 quedaron obsoletos el 31 de octubre de 2026 y se retirarán el 30 de abril de 2027. Su sucesor designado, Mistral Large 4 (mistral-large-4), está en vista previa pública desde el 6 de octubre. Los ejemplos de este curso utilizan el alias mistral-large-latest, que actualmente apunta a Mistral Large 3 según su ficha técnica oficial (verificado el 3 de noviembre de 2026). De igual forma, mistral-medium-latest apunta a Mistral Medium 3.5. Estos alias seguirán siendo válidos hasta el 30 de abril de 2027. Para nuevos proyectos, prueba mistral-large-4, su sucesor designado.

Comprensión de la inferencia por lotes

Una vez que despliegas un modelo de lenguaje en producción, te enfrentas a una disyuntiva: necesitas procesar volúmenes masivos de solicitudes sin que los costes se disparen. La inferencia por lotes resuelve exactamente este problema. En lugar de llamar a la API solicitud por solicitud, agrupas tus peticiones y las ejecutas en paralelo a una tarifa reducida en comparación con las llamadas individuales.

El flujo de trabajo sigue un patrón asíncrono estándar: reúnes tus solicitudes en un archivo, envías el lote, pasas a otras tareas y recuperas los resultados una vez finalizado el procesamiento. Esta latencia aceptable es precisamente lo que genera valor: otorga a Mistral AI la libertad de programar el trabajo de forma óptima en sus recursos de GPU, y las ganancias de eficiencia resultantes se trasladan a ti como una reducción de precio.

1M
Solicitudes máximas por lote
-50%
Reducción típica de costes
8
Endpoints compatibles
∞
Retención de resultados

¿Cuándo utilizar la inferencia por lotes?

El criterio de decisión se reduce a una pregunta: ¿es crítica la latencia de respuesta individual? Si nadie está esperando frente a una pantalla, el modo por lotes es la opción correcta. Esto se aplica al procesamiento de grandes corpus: un servicio jurídico que necesita clasificar y resumir cuarenta mil contratos archivados no necesita una respuesta en dos segundos; necesita tener los cuarenta mil procesados antes del lunes a un coste sostenible.

La generación masiva de contenido sigue la misma lógica. Un catálogo de comercio electrónico con sesenta mil artículos que requieren descripciones de producto, o una campaña de correos electrónicos personalizados preparada el día anterior, son candidatos perfectos para un envío nocturno. La evaluación y los benchmarks también encajan aquí: cuando mides el rendimiento de un modelo en un conjunto de datos de prueba, cada solicitud es independiente de las demás y solo lees el veredicto una vez que se ha ejecutado todo el conjunto.

Las canalizaciones ETL y el enriquecimiento de datos constituyen un tercer territorio natural. Tomas una base de datos existente y añades metadatos extraídos por IA (sentimiento, categorización, entidades nombradas), y el procesamiento se integra en una cadena ya asíncrona. Por último, la moderación a gran escala, donde debes filtrar millones de contenidos generados por usuarios para detectar infracciones, obtiene la mayor parte de su beneficio económico de este modo de envío.

Por el contrario, si tu aplicación debe responder mientras el usuario observa —chatbot, asistente interactivo, autocompletado—, la inferencia por lotes queda descartada. Estos casos de uso pertenecen a la API síncrona estándar, y tratar de forzarlos al modo por lotes solo genera frustración.

Endpoints compatibles

La inferencia por lotes admite ocho endpoints de la API de Mistral:

  • /v1/chat/completions — Generación de texto conversacional
  • /v1/embeddings — Cálculo de vectores semánticos
  • /v1/fim/completions — Completado de código (fill-in-the-middle)
  • /v1/moderations — Moderación de contenido
  • /v1/ocr — Reconocimiento óptico de caracteres
  • /v1/classifications — Clasificación de texto
  • /v1/conversations — Conversaciones multiturno
  • /v1/audio/transcriptions — Transcripción de audio

Esta cobertura cambia la forma en que diseñas tus tareas de procesamiento masivo: la indexación semántica de una base documental, la digitalización de archivos en papel y la transcripción de un fondo de grabaciones telefónicas pasan todas por el mismo mecanismo unificado, con las mismas mecánicas de envío y recuperación.

Dos modos de envío

Mistral ofrece dos enfoques para enviar tus solicitudes por lotes, y la elección depende esencialmente del volumen. El lote por archivo escala hasta un millón de solicitudes: preparas un archivo JSONL, lo subes a la plataforma y luego creas un trabajo que apunta a ese archivo. Este es el método recomendado en cuanto los volúmenes se vuelven importantes, especialmente porque el archivo permanece reutilizable y trazable.

El lote en línea tiene un límite de diez mil solicitudes y elimina el paso del archivo: pasas las solicitudes directamente en el cuerpo de la llamada a la API. Para un script que genera sus peticiones sobre la marcha y no tiene motivo para escribir un intermedio en disco, esto es significativamente más rápido de configurar. Detallaremos cada uno de estos enfoques en las siguientes lecciones.

Ahorro concreto

La tarificación de la inferencia por lotes difiere de la de la API estándar. En volúmenes típicos de producción, a partir de cien mil solicitudes diarias, el ahorro alcanza el 50 % o más en comparación con las llamadas síncronas individuales; lo suficiente para hacer viables tratamientos que una tarifa en tiempo real haría simplemente imposibles de presupuestar. Se añade una comodidad operativa a menudo subestimada: los resultados no caducan. Puedes volver a descargarlos en cualquier momento después de que finalice el procesamiento, lo que dispensa de la necesidad de construir una copia local como precaución.

Puntos clave

  • La inferencia por lotes agrupa tus solicitudes para un procesamiento asíncrono a un coste reducido
  • Admite ocho endpoints diferentes, cubriendo casi todos los casos de uso
  • Existen dos modos: lote por archivo (hasta 1M de solicitudes) y lote en línea (hasta 10K)
  • Los resultados son persistentes y descargables sin límite de tiempo
  • Este modo no es adecuado para aplicaciones que requieren respuestas en tiempo real