Alojar Devstral en local
En esta página
Lección actualizada el 2 de noviembre de 2026 basándose en la página Using offline models de la documentación de Vibe: Devstral se ha eliminado de la API, pero Devstral Small 2 sigue disponible, junto con Mistral Small 4, como uno de los dos modelos abiertos recomendados para uso local. Se han retirado las estimaciones de costes sin fuente y la conexión de Vibe a un servidor local sigue ahora la sintaxis oficial de
config.toml. Fuente: Using offline models.
¿Por qué alojar Devstral en local?
Devstral Small 2 se publica con pesos abiertos bajo la licencia Apache 2.0 (Devstral 2, su hermano mayor de 123 mil millones de parámetros, utiliza una licencia MIT modificada). Aunque se eliminó de la API de Mistral el 31 de marzo de 2026, no ha desaparecido: puedes desplegarlo en tus propios servidores sin enviar ni una sola línea de código a una API externa, y la documentación de Vibe sigue recomendándolo para este fin.
Las motivaciones suelen solaparse. La privacidad es lo primero: tu código nunca sale de tu infraestructura, zanjando cualquier debate sobre los términos de uso de un proveedor. Le sigue la latencia, ya que no hay ningún viaje de ida y vuelta por la red a la API de Mistral entre tu pulsación de tecla y la sugerencia. La estructura de costes cambia: pagas un precio fijo por una GPU en lugar de una facturación basada en el uso, lo cual resulta ventajoso en cuanto todo un equipo consulta el modelo durante todo el día. Por último, está el cumplimiento normativo, exigido por ciertas regulaciones y sectores como la banca o la defensa, y la disponibilidad, puesto que ningún servicio de terceros puede interrumpir tu trabajo.
Modelos recomendados
La documentación de Vibe recomienda dos modelos abiertos para uso local:
- Devstral Small 2 (
mistralai/Devstral-Small-2-24B-Instruct-2512en Hugging Face): 24 mil millones de parámetros, denso, entrenado para tareas agentivas y de codificación, con la huella de hardware más ligera; - Mistral Small 4: 119 mil millones de parámetros en una arquitectura de mezcla de expertos, con 6,5 mil millones activos, un modelo híbrido de razonamiento y codificación con un contexto de 256.000 tokens, bajo la licencia Apache 2.0.
Requisitos de hardware
Para un rendimiento decente en contextos largos, la documentación recomienda un despliegue en FP8 con un contexto de unos 128.000 tokens:
| Configuración | Hardware | Precisión | Contexto |
|---|---|---|---|
| Recomendada | GPU H100 o A100 | FP8 | ~128.000 tokens |
| Estación de trabajo de desarrollo | RTX 4090 o cualquier GPU con 24 GB de VRAM | 4 bits | ~32.000 tokens |
| Sin GPU | Descarga a CPU, con suficiente RAM | — | — significativamente más lento |
Estas cifras se aplican a Devstral Small 2. Mistral Small 4 requiere mucha más memoria de vídeo para cargar sus pesos: cuenta con al menos una H100 de 80 GB en FP8, y más para contextos largos. Ajusta luego la precisión y la longitud del contexto a tu hardware.
Despliegue con vLLM
vLLM es el framework de inferencia recomendado por la documentación de Vibe para servir Devstral. La instalación requiere solo un comando.
pip install vllm
El servidor se inicia entonces en una sola línea, con las dos opciones que hacen usable el modelo en modo agente.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Tres variantes cubren la mayoría de situaciones reales: dividir el modelo entre varias GPUs, reducir la precisión cuando la VRAM es escasa o recortar el contexto por la misma razón.
# Multi-GPU (si tienes 2+ GPUs)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
# Precisión reducida (para GPUs con menos VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# Contexto reducido (para ahorrar VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 32768 \
--port 8080
Esto es lo que controla cada indicador:
--tool-call-parser mistral— habilita el análisis de llamadas a herramientas en formato Mistral--enable-auto-tool-choice— permite que el modelo decida cuándo llamar a una herramienta--tensor-parallel-size— divide el modelo entre varias GPUs--dtype— controla la precisión (float16, bfloat16, float32)--max-model-len— limita el tamaño del contexto para ahorrar VRAM
Los dos primeros merecen una atención especial: omitirlos te da un servidor que funciona perfectamente para la conversación, pero falla en silencio en cuanto un agente intenta llamar a una herramienta. Esta es la causa más frecuente de que un despliegue local se juzgue «decepcionante».
Uso del servidor local
Una vez que vLLM está en ejecución, el puerto 8080 expone una API compatible con OpenAI. El SDK de Mistral se conecta a él simplemente cambiando la URL del servidor; la clave ya no es necesaria.
from mistralai.client import Mistral
# Apuntar al servidor local
client = Mistral(
api_key="dummy", # No se necesita clave en local
server_url="http://localhost:8080",
)
response = client.chat.complete(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Analiza este código y sugiere mejoras."}
],
)
El SDK de OpenAI funciona igual de bien, lo que te permite cambiar el código existente a Devstral local sin reescribirlo.
from openai import OpenAI
client = OpenAI(
api_key="dummy",
base_url="http://localhost:8080/v1",
)
response = client.chat.completions.create(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Explica este código."}
],
)
Frameworks alternativos
vLLM no es el único camino: Devstral funciona con cualquier framework de inferencia que exponga una API compatible con OpenAI. La documentación de Vibe cita llama.cpp, adecuado para configuraciones con poca VRAM gracias a sus modelos cuantizados GGUF, LM Studio, que ofrece una interfaz gráfica sin línea de comandos, y Ollama. Comprueba el nombre exacto del modelo y la cuantización en cada herramienta antes de comparar resultados.
Conexión de Vibe al servidor local
Vibe no incluye un modelo local: una vez que tu servidor está en marcha, declaras un proveedor y una preconfiguración de modelo en config.toml. Para un servidor compatible con OpenAI en el puerto 8080:
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Tres precauciones extraídas de la documentación: mantén active_model por encima del primer array [[...]], o TOML lo adjuntará a ese array; establece max_context_length en la preconfiguración para indicar el contexto de tu servidor; y verifica que el servidor devuelva el uso de tokens en las respuestas en streaming (stream_options.include_usage). Vibe también proporciona un proveedor predefinido, llamacpp, que apunta a http://127.0.0.1:8080/v1 sin clave: en ese caso, simplemente escribe provider = "llamacpp" en la preconfiguración. El comando /model alterna entonces entre el modelo local y los modelos alojados.
Para un funcionamiento totalmente sin conexión, desactiva también la telemetría y las comprobaciones de actualizaciones:
enable_telemetry = false
enable_update_checks = false
Con estos ajustes y un proveedor local, la CLI ya no contacta con mistral.ai. Las habilidades, los servidores MCP y los conectores que alcanzan sistemas externos deben desactivarse por separado.
Puntos clave
- Devstral se ha eliminado de la API, pero Devstral Small 2 (24B, Apache 2.0) sigue recomendado para uso local, junto con Mistral Small 4
- vLLM es el framework recomendado;
--tool-call-parser mistraly--enable-auto-tool-choiceson esenciales para un agente - H100 o A100 en FP8 con ~128k de contexto; una GPU de 24 GB en 4 bits con ~32k
- El servidor expone una API compatible con OpenAI, usable con el SDK de Mistral o el SDK de OpenAI
- Vibe se conecta al servidor mediante una preconfiguración en
config.toml(o el proveedorllamacpp); desactiva la telemetría y las actualizaciones para uso sin conexión