Alternativas locales: llama.cpp, LM Studio, Ollama
En esta página
Lección actualizada el 2 de noviembre de 2026 basándose en la página Using offline models de la documentación de Vibe. Devstral se ha eliminado de la API de Mistral, pero sus pesos siguen publicados: Devstral Small 2 y Mistral Small 4 son los dos modelos abiertos recomendados para uso local. Vibe no incluye ningún modelo local: debes conectarlo a un servidor compatible con OpenAI mediante un preajuste en
config.tomly cambiar entre ellos usando/model. Fuente: Using offline models.
Más allá de vLLM
vLLM es el marco que la documentación de Vibe recomienda para servir Devstral, pero no es la única opción. Tres alternativas cubren escenarios donde vLLM encuentra dificultades: un Mac con Apple Silicon, una máquina Windows donde la instalación se atasca, o el deseo de probar un modelo en cinco minutos. Todas comparten lo único que importa: exponen una API compatible con OpenAI, lo que las hace intercambiables desde la perspectiva de Vibe.
llama.cpp: máxima portabilidad
llama.cpp es un motor de inferencia escrito en C/C++ puro, diseñado para ejecutarse en tantas plataformas como sea posible con dependencias mínimas. Esta restricción es su punto fuerte: funciona en Linux, macOS y Windows, incluyendo ARM, tanto en Apple Silicon como en Raspberry Pi. Su cuantización nativa GGUF en Q4, Q5 o Q8 lo hace especialmente adecuado para GPU de consumo donde la VRAM es limitada. No requiere ni Python ni un kit de herramientas CUDA completo, y su rendimiento en Apple Silicon mediante Metal, así como en NVIDIA, es excelente. La contrapartida es un paso de compilación.
# Clonar y compilar
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1 # Con soporte CUDA
# Iniciar el servidor
./llama-server \
-m devstral-small-2-24b-instruct.Q4_K_M.gguf \
--port 8080 \
-ngl 99 \
-c 32768
Marcadores clave:
-m: ruta al modelo en formato GGUF-ngl 99: número de capas descargadas a la GPU (99 = todas)-c 32768: tamaño de la ventana de contexto--port 8080: puerto de la API
En la práctica, debes ajustar -ngl: si el modelo se niega a cargarse, reduce el número de capas enviadas a la GPU. Elige llama.cpp si usas un Mac con Apple Silicon (M1 a M4), quieres evitar cualquier dependencia de Python, necesitas la cuantización más agresiva para una GPU pequeña o trabajas en ARM, ya sea un servidor Graviton o una Raspberry Pi.
LM Studio: todo con el ratón
LM Studio es una aplicación de escritorio que reduce el despliegue local a unos pocos clics. Su interfaz gestiona la descarga, la configuración y el lanzamiento; su catálogo te permite navegar y obtener modelos de Hugging Face sin usar la línea de comandos; su servidor de API compatible con OpenAI integrado no requiere ajustes. La aplicación se ejecuta en Windows, macOS y Linux. La configuración se realiza íntegramente en la interfaz:
- Abre LM Studio
- Descarga Devstral Small 2 desde el catálogo
- Carga el modelo
- Activa el servidor local (botón “Start Server”)
- En Vibe: declara el servidor de LM Studio como un proveedor compatible con OpenAI en
config.toml(su dirección aparece en LM Studio) y selecciona el modelo con/model
Presta atención al puerto: LM Studio escucha por defecto en el 1234. Si tu Vibe espera el puerto 8080, ajusta la configuración de LM Studio o la de Vibe; esta es la causa más frecuente del error “Vibe can’t find the server” aunque el modelo esté cargado. LM Studio es para ti si eres nuevo en los modelos locales, prefieres una interfaz gráfica a la línea de comandos, quieres probar varios modelos rápidamente o estás en Windows y la instalación de vLLM te está dando problemas.
Ollama: la configuración más rápida
Ollama toma prestada la ergonomía de Docker: un comando para obtener un modelo, otro para ejecutarlo. La instalación requiere una sola línea, la gestión usa ollama pull, ollama run y ollama list, la API compatible con OpenAI está integrada y activa por defecto, y los modelos se actualizan como las imágenes de Docker.
# Instalar Ollama
curl -fsSL https://ollama.com/install.sh | sh
# Descargar y ejecutar Devstral Small 2
ollama pull devstral-small-2
# Lanzar el modelo (el servidor de API se inicia automáticamente)
ollama run devstral-small-2
El servidor escucha en el puerto 11434, con el punto final compatible con OpenAI en http://localhost:11434/v1/: este es el api_base que debes declarar en el proveedor de Vibe, con name = "devstral-small-2" en el preajuste del modelo. Elige Ollama si quieres empezar lo antes posible, manejar múltiples modelos para probarlos, te sientes cómodo con los flujos de trabajo de Docker o quieres un servidor de inferencia ejecutándose permanentemente en segundo plano.
Elegir, y por qué la elección importa poco
Cada marco ocupa un nicho distinto. vLLM ofrece el mejor rendimiento en producción con soporte nativo para múltiples GPU: es la elección para servidores dedicados equipados con H100 o A100. llama.cpp gana en portabilidad, destaca en Apple Silicon y GPU de consumo, y prescinde de Python. LM Studio gana en ergonomía, con una interfaz gráfica completa ideal para descubrir modelos locales. Ollama ofrece la configuración más rápida y una gestión simplificada de modelos, perfecta para pruebas y prototipos. Sin embargo, esta elección importa poco, porque todos exponen la misma API en formato OpenAI; este denominador común permite que Vibe se conecte sin saber nada sobre el motor que se ejecuta detrás.
GET /v1/models # Listar modelos disponibles
POST /v1/chat/completions # Completado de chat (principal)
GET /health # Estado del servidor (vLLM)
Por tanto, la configuración en Vibe es idéntica en todos los marcos: solo cambia el puerto.
vLLM → http://localhost:8080
LM Studio → http://localhost:1234
Ollama → http://localhost:11434
llama.cpp → http://localhost:8080
Puedes empezar con Ollama para familiarizarte, migrar a llama.cpp para optimizar la cuantización y luego cambiar a vLLM el día que tu equipo comparta un servidor GPU, sin tocar tu configuración de Vibe.
Resumen del curso
Este recorrido te ha llevado por el ecosistema avanzado de Mistral Vibe. Has aprendido a controlar quién ejecuta tus tareas y con qué permisos, mediante agentes integrados y luego agentes personalizados, y a calibrar el riesgo con bloqueos reales: listas de herramientas, permisos por herramienta y carpetas de confianza, sirviendo el campo safety solo como una etiqueta visual. Los modos unificados agrupan herramientas, permisos y comportamientos en perfiles activables; los subagentes delegan tareas especializadas de forma independiente. A continuación, has creado componentes reutilizables con habilidades y su SKILL.md, lanzados mediante comandos de barra en un solo gesto, y has ensamblado modos adaptados a tu ciclo de desarrollo: revisión, despliegue, lint. La clarificación de opción múltiple te ha mostrado cómo Vibe pregunta antes de actuar cuando las cosas son ambiguas, y el modo local con Devstral ha abierto el camino a un entorno confidencial, sin conexión y soberano. Ahora tienes todas las herramientas para construir un entorno de desarrollo asistido por IA que respete tus restricciones de seguridad, rendimiento y soberanía.
Puntos clave
- llama.cpp: C++ puro, multiplataforma, excelente en Apple Silicon
- LM Studio: Interfaz gráfica, ideal para principiantes
- Ollama: Configuración más rápida, flujo de trabajo tipo Docker
- vLLM: Recomendado para producción con GPU de servidor
- Todos exponen una API compatible con OpenAI: Vibe se conecta de forma transparente
- Elige tu marco según tu hardware y nivel de comodidad
Pon a prueba tus conocimientos
Agentes, habilidades, modos, local: Vibe avanzado en cinco puntos.
1. ¿Qué permiten los agentes personalizados en TOML?
Respuesta: Definir tus propios agentes (instrucciones, herramientas, comportamiento) en un archivo TOML: el agente especializado de tu equipo se convierte en un artefacto versionado.
2. ¿El campo safety de un agente (safe, neutral, destructive, smart, yolo) limita sus acciones?
Respuesta: No. Es una indicación visual que colorea el borde de la entrada. Lo que realmente limita a un agente son enabled_tools y disabled_tools, los permisos [tools.<tool>] (always, ask, never), el ámbito del directorio de trabajo y las carpetas de confianza.
3. Habilidades y comandos de barra: ¿cómo funcionan juntos?
Respuesta: Una habilidad (SKILL.md) encapsula un procedimiento reutilizable; el comando de barra la activa en un solo gesto: el descubrimiento, la activación y la prioridad gestionan el catálogo.
4. ¿Para qué sirven los subagentes?
Respuesta: Para delegar subtareas especializadas en agentes dedicados: el agente principal orquesta, los subagentes ejecutan su especialidad.
5. ¿Cómo ejecutar Vibe completamente en local?
Respuesta: Sirviendo un modelo abierto recomendado (Devstral Small 2 o Mistral Small 4) con vLLM o una alternativa (llama.cpp, LM Studio, Ollama), declarándolo como proveedor en config.toml y desactivando la telemetría y las comprobaciones de actualización (enable_telemetry = false, enable_update_checks = false).
Agentes declarados, seguridad graduada, habilidades equipadas, local posible: Vibe avanzado es una plataforma; configúrala para que se adapte a tu equipo.