Introducción al autoalojamiento
En esta página
Por qué autoalojar un modelo de Mistral
El autoalojamiento consiste en desplegar modelos de Mistral en tu propia infraestructura, ya sea un servidor local (on-premise), una nube privada o GPUs alquiladas. Este enfoque te otorga control total, pero introduce una complejidad significativa. Antes de sumergirte en los motores de inferencia que cubriremos en las próximas lecciones, determina si esta es realmente la decisión correcta para tu caso de uso. Se trata de una decisión arquitectónica que no puedes revertir en una tarde.
Las motivaciones para el autoalojamiento
La razón más habitual es la soberanía de los datos: tus solicitudes nunca abandonan tu infraestructura y ninguna transita por los servidores de Mistral ni por un proveedor de nube de terceros. Esto suele ser un requisito normativo en defensa y administración pública para datos clasificados, en sanidad para datos de pacientes sujetos a la certificación HDS (hébergement de données de santé en Francia) o HIPAA, en finanzas para datos de negociación e información de clientes, y en el ámbito jurídico para expedientes confidenciales. En estos escenarios, la cuestión no es si el autoalojamiento resulta rentable, sino si la alternativa está siquiera permitida.
A continuación está el control de costes a gran escala. Con volúmenes bajos, la API de Mistral es más barata: solo pagas por lo que consumes, sin máquinas funcionando en vacío. Más allá de cierto umbral de solicitudes, el coste por token de una infraestructura dedicada cae por debajo de la tarifa de pago por uso, porque la GPU ya está en marcha y cada token adicional cuesta casi nada. El punto de equilibrio depende de tu volumen mensual de tokens, del modelo utilizado (Small o Large), de tus costes de GPU (alquilados o propios) y de los gastos operativos, incluido el personal de DevOps y la electricidad.
La tercera motivación es la personalización total. El autoalojamiento te da acceso a los pesos brutos del modelo, lo que permite la cuantización FP8 o INT4 para reducir el uso de memoria de la GPU, la optimización del tamaño de lote y la planificación, el despliegue de modelos ajustados (fine-tuned) no disponibles mediante la API y la configuración precisa de los parámetros de inferencia. Por último, está la latencia: la red se limita a tu infraestructura interna. Para un chatbot que apunta a un tiempo hasta el primer byte (TTFB) inferior a 100 ms, atravesar internet hasta una API remota consume ya una parte significativa de tu presupuesto; un despliegue local ofrece un rendimiento que de otro modo sería inalcanzable.
Los desafíos, cara a cara
La complejidad operativa es el primer obstáculo. Te responsabilizas de instalar y actualizar el motor de inferencia, gestionar las GPUs (controladores NVIDIA, CUDA, memoria), supervisar y configurar alertas, garantizar la alta disponibilidad y la conmutación por error, y manejar la seguridad de red y los certificados. Cada una de estas áreas es una especialidad en sí misma; combinarlas dentro de un equipo de tres desarrolladores backend rara vez da como resultado un servicio fiable.
El coste inicial no es solo una partida mensual; es una inversión que hay que amortizar, y el cálculo debe ser exhaustivo:
Infraestructura de GPU (alquiler o compra)
+ Almacenamiento (los modelos pesan entre 15 y 140 GB)
+ Ancho de banda de red
+ Tiempo de ingeniería para configuración y mantenimiento
= Coste Total de Propiedad (TCO)
Las competencias requeridas constituyen la tercera barrera, a menudo la más difícil de cubrir con rapidez: administración de Linux y Docker, controladores NVIDIA y CUDA, motores de inferencia (vLLM, TensorRT-LLM, TGI), y supervisión y observabilidad. Si ninguno de estos dominios está ya cubierto internamente, el autoalojamiento comenzará con un proceso de contratación.
Modelos de pesos abiertos de Mistral
La mayoría de los modelos de Mistral están disponibles como pesos abiertos bajo la licencia Apache 2.0. Mistral 7B es el modelo fundamental, con 7 mil millones de parámetros; Mixtral 8x7B adopta una arquitectura de mezcla de expertos (Mixture-of-Experts) que suma un total de 46,7 mil millones de parámetros; Mistral Nemo es un modelo versátil de 12 mil millones; y Codestral está especializado en código. Puedes recuperar los pesos desde Hugging Face con una cuenta y un token:
# Descargar un modelo mediante la CLI de Hugging Face
pip install huggingface_hub
huggingface-cli login # Requiere un token de HF
# La descarga se produce automáticamente en el primer lanzamiento del motor
Los tres motores de inferencia
Mistral recomienda tres motores para el autoalojamiento. vLLM es la opción predeterminada: un motor Python de código abierto muy activo que expone una API compatible con OpenAI directamente, utiliza PagedAttention para una gestión óptima de la memoria y admite de forma nativa los modelos de Mistral. TensorRT-LLM, el marco de optimización de NVIDIA, apunta al máximo rendimiento en GPUs NVIDIA a costa de una configuración más compleja; está diseñado para producción con un rendimiento muy elevado. TGI (Text Generation Inference), el conjunto de herramientas de Hugging Face, aporta cuantización integrada, paralelismo de tensores, transmisión (streaming) y lotes nativos. Las próximas lecciones detallarán cada uno de estos motores.
Decidir en cuatro preguntas
Aborda estas preguntas en orden, porque la primera que se responda con «sí» suele zanjar el debate. ¿Están tus datos sujetos a restricciones normativas estrictas? Si es así, el autoalojamiento se vuelve probable independientemente de otros factores. Si no, observa el volumen: más allá de 100 millones de tokens al mes, la ecuación económica se inclina a favor de la infraestructura dedicada; por debajo de esa cifra, la API probablemente siga siendo más barata. ¿Cuentas con un equipo competente de DevOps o MLOps? Sin uno, quédate con la API o una nube gestionada. Por último, ¿necesitas latencias inferiores a 100 ms? Este es el único argumento que ninguna API remota puede igualar.
Una PYME que procesa 5 millones de tokens al mes para un asistente interno responde «no» cuatro veces: ahorraría unos pocos cientos de euros en tarifas de API solo para gastar varios miles en GPUs y tiempo de ingeniería. Un hospital que analiza informes médicos, en cambio, se detiene en la primera pregunta.
Puntos clave
- El autoalojamiento ofrece soberanía, control de costes y personalización total
- La complejidad operativa y el coste inicial son las principales barreras
- Los modelos de pesos abiertos de Mistral están disponibles gratuitamente en Hugging Face
- Tres motores recomendados: vLLM (recomendado), TensorRT-LLM (rendimiento), TGI (Hugging Face)
- El autoalojamiento no siempre es la respuesta correcta: evalúa tus restricciones reales antes de empezar