Alternatives locales : llama.cpp, LM Studio, Ollama
Ezen az oldalon
Leçon mise à jour le 2 novembre 2026 sur la base de la page Using offline models de la documentation Vibe. Devstral a été retiré de l’API Mistral, mais ses poids restent publiés : Devstral Small 2 et Mistral Small 4 sont les deux modèles ouverts recommandés pour une utilisation locale. Vibe ne bundle aucun modèle local : tu le connectes à un serveur compatible OpenAI via un préréglage dans
config.toml, puis tu bascules avec/model. Source : Using offline models.
Au-delà de vLLM
vLLM est le framework que la documentation Vibe recommande pour servir Devstral, mais ce n’est pas la seule option. Trois alternatives couvrent les scénarios où vLLM peine : un Mac Apple Silicon, une machine Windows où l’installation bloque, ou l’envie de tester un modèle en cinq minutes. Ils partagent tous l’essentiel : ils exposent une API compatible OpenAI, les rendant interchangeables du point de vue de Vibe.
llama.cpp : Portabilité maximale
llama.cpp est un moteur d’inférence écrit en pur C/C++, conçu pour fonctionner sur un maximum de plateformes avec un minimum de dépendances. Cette contrainte fait sa force : il tourne sous Linux, macOS et Windows, y compris sur ARM – Apple Silicon comme Raspberry Pi. Sa quantification native GGUF en Q4, Q5 ou Q8 le rend particulièrement adapté aux GPU grand public où la VRAM est limitée. Il ne nécessite ni Python ni toolkit CUDA complet, et ses performances sur Apple Silicon via Metal, ainsi que sur NVIDIA, sont excellentes. Le compromis est une étape de compilation.
# Cloner et compiler
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1 # Avec support CUDA
# Lancer le serveur
./llama-server \
-m devstral-small-2-24b-instruct.Q4_K_M.gguf \
--port 8080 \
-ngl 99 \
-c 32768
Drapeaux clés :
-m: chemin vers le modèle au format GGUF-ngl 99: nombre de couches déléguées au GPU (99 = toutes)-c 32768: taille de la fenêtre de contexte--port 8080: port de l’API
En pratique, tu ajustes -ngl : si le modèle refuse de se charger, réduis le nombre de couches envoyées au GPU. Choisis llama.cpp si tu es sur un Mac Apple Silicon (M1 à M4), si tu veux éviter toute dépendance Python, si tu as besoin de la quantification la plus agressive pour un petit GPU, ou si tu travailles sur ARM – serveur Graviton, Raspberry Pi.
LM Studio : Tout à la souris
LM Studio est une application de bureau qui réduit le déploiement local à quelques clics. Son interface gère le téléchargement, la configuration et le lancement ; son catalogue te permet de parcourir et récupérer des modèles depuis Hugging Face sans ligne de commande ; son serveur API compatible OpenAI intégré ne demande aucun réglage. L’appli tourne sous Windows, macOS et Linux. La configuration se fait entièrement dans l’interface :
- Ouvre LM Studio
- Télécharge Devstral Small 2 depuis le catalogue
- Charge le modèle
- Active le serveur local (bouton „Start Server“)
- Dans Vibe : déclare le serveur LM Studio comme fournisseur compatible OpenAI dans
config.toml(son adresse s’affiche dans LM Studio), puis sélectionne le modèle avec/model
Surveille le port : LM Studio écoute par défaut sur 1234. Si ton Vibe attend le port 8080, ajuste soit la configuration de LM Studio, soit celle de Vibe – c’est la cause la plus fréquente du message „Vibe ne trouve pas le serveur“ alors que le modèle est chargé. LM Studio te convient si tu débutes avec les modèles locaux, si tu préfères une interface graphique à la ligne de commande, si tu veux tester rapidement plusieurs modèles, ou si tu es sous Windows et que l’installation de vLLM te pose problème.
Ollama : Configuration la plus rapide
Ollama emprunte l’ergonomie de Docker : une commande pour récupérer un modèle, une autre pour le lancer. L’installation tient en une ligne, la gestion utilise ollama pull, ollama run et ollama list, l’API compatible OpenAI est intégrée et active par défaut, et les modèles se mettent à jour comme des images Docker.
# Installer Ollama
curl -fsSL https://ollama.com/install.sh | sh
# Télécharger et exécuter Devstral Small 2
ollama pull devstral-small-2
# Lancer le modèle (le serveur API démarre automatiquement)
ollama run devstral-small-2
Le serveur écoute sur le port 11434, avec le point de terminaison compatible OpenAI à http://localhost:11434/v1/ : c’est l’api_base à déclarer dans le fournisseur Vibe, avec name = "devstral-small-2" dans le préréglage du modèle. Choisis Ollama si tu veux démarrer le plus vite possible, jongler avec plusieurs modèles pour tester, si tu es à l’aise avec les workflows Docker, ou si tu veux un serveur d’inférence tournant en permanence en arrière-plan.
Choisir, et pourquoi ce choix importe peu
Chaque framework occupe une niche distincte. vLLM offre les meilleures performances en production avec un support natif multi-GPU : c’est le choix pour les serveurs dédiés équipés de H100 ou A100. llama.cpp l’emporte sur la portabilité, brille sur Apple Silicon et les GPU grand public, et se passe de Python. LM Studio gagne sur l’ergonomie, avec une interface graphique complète idéale pour découvrir les modèles locaux. Ollama propose la configuration la plus rapide et une gestion simplifiée des modèles, parfait pour les tests et le prototypage. Pourtant, ce choix importe peu, car ils exposent tous la même API au format OpenAI – ce dénominateur commun permet à Vibe de se connecter sans rien savoir du moteur qui tourne derrière.
GET /v1/models # Lister les modèles disponibles
POST /v1/chat/completions # Complétion de chat (principal)
GET /health # État du serveur (vLLM)
La configuration dans Vibe est donc identique quel que soit le framework : seul le port change.
vLLM → http://localhost:8080
LM Studio → http://localhost:1234
Ollama → http://localhost:11434
llama.cpp → http://localhost:8080
Tu peux commencer avec Ollama pour te faire la main, migrer vers llama.cpp pour optimiser la quantification, puis basculer sur vLLM le jour où ton équipe partage un serveur GPU – sans toucher à ta configuration Vibe.
Récapitulatif du cours
Ce parcours t’a fait découvrir l’écosystème avancé de Mistral Vibe. Tu as appris à contrôler qui exécute tes tâches et avec quelles permissions, via des agents intégrés puis des agents personnalisés, et à calibrer le risque avec de vrais verrous : listes d’outils, permissions par outil et dossiers de confiance, le champ safety ne servant que d’étiquette visuelle. Les modes unifiés regroupent outils, permissions et comportements en profils activables ; les sous-agents délèguent des tâches spécialisées de manière indépendante. Tu as ensuite construit des composants réutilisables avec les compétences et leur SKILL.md, lancés par des commandes slash en un seul geste, et assemblé des modes adaptés à ton cycle de développement – revue, déploiement, lint. La clarification à choix multiples t’a montré comment Vibe demande avant d’agir quand les choses sont ambiguës, et le mode local avec Devstral a ouvert la voie à un environnement confidentiel, hors ligne et souverain. Tu disposes désormais de tous les outils pour bâtir un environnement de développement assisté par IA qui respecte tes contraintes de sécurité, de performance et de souveraineté.
Főbb megállapítások
- llama.cpp : Pur C++, multiplateforme, excellent sur Apple Silicon
- LM Studio : Interface graphique, idéal pour les débutants
- Ollama : Configuration la plus rapide, workflow style Docker
- vLLM : Recommandé pour la production avec des GPU serveur
- Tous exposent une API compatible OpenAI – Vibe se connecte transparentement
- Choisis ton framework selon ton matériel et ton niveau de confort
Teste tes connaissances
Agents, compétences, modes, local : Vibe avancé en cinq points.
1. Que permettent les agents personnalisés en TOML ?
Réponse : Définir tes propres agents – instructions, outils, comportement – dans un fichier TOML : l’agent spécialisé de ton équipe devient un artifact versionné.
2. Le champ safety d'un agent (safe, neutral, destructive, smart, yolo) limite-t-il ses actions ?
Réponse : Non. C’est un indicateur visuel qui colore la bordure de la saisie. Ce qui limite réellement un agent, ce sont enabled_tools et disabled_tools, les permissions [tools.<tool>] (always, ask, never), le périmètre du répertoire de travail et les dossiers de confiance.
3. Compétences et commandes slash : comment fonctionnent-elles ensemble ?
Réponse : Une compétence (SKILL.md) encapsule une procédure réutilisable ; la commande slash la déclenche en un geste – découverte, activation et priorité gèrent le catalogue.
4. À quoi servent les sous-agents ?
Réponse : À déléguer des sous-tâches spécialisées à des agents dédiés – l’agent principal orchestre, les sous-agents exécutent leur spécialité.
5. Comment exécuter Vibe entièrement en local ?
Réponse : En servant un modèle ouvert recommandé (Devstral Small 2 ou Mistral Small 4) avec vLLM ou une alternative (llama.cpp, LM Studio, Ollama), en le déclarant comme fournisseur dans config.toml, puis en désactivant la télémétrie et les vérifications de mise à jour (enable_telemetry = false, enable_update_checks = false).
Agents déclarés, sécurité graduée, compétences outillées, local possible : Vibe avancé est une plateforme – configure-la pour qu’elle corresponde à ton équipe.