Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Alternatives locales : llama.cpp, LM Studio, Ollama

Lekce 14 z 14 Aktualizováno 2. listopadu 2026 Pokročilý
Na této stránce
  1. Au-delà de vLLM
  2. llama.cpp : Portabilité maximale
  3. LM Studio : Tout à la souris
  4. Ollama : Configuration la plus rapide
  5. Choisir, et pourquoi ce choix importe peu
  6. Récapitulatif du cours
  7. Klíčové poznatky
  8. Teste tes connaissances

Leçon mise à jour le 2 novembre 2026 sur la base de la page Using offline models de la documentation Vibe. Devstral a été retiré de l’API Mistral, mais ses poids restent publiés : Devstral Small 2 et Mistral Small 4 sont les deux modèles ouverts recommandés pour un usage local. Vibe n’embarque pas de modèle local : tu le connectes à un serveur compatible OpenAI via un préréglage dans config.toml, puis tu bascules avec /model. Source : Using offline models.

Au-delà de vLLM

vLLM est le framework que la documentation Vibe recommande pour servir Devstral, mais ce n’est pas la seule option. Trois alternatives couvrent les scénarios où vLLM peine : un Mac Apple Silicon, une machine Windows où l’installation bloque, ou l’envie de tester un modèle en cinq minutes. Ils partagent tous l’essentiel : ils exposent une API compatible OpenAI, les rendant interchangeables du point de vue de Vibe.

llama.cpp : Portabilité maximale

llama.cpp est un moteur d’inférence écrit en pur C/C++, conçu pour fonctionner sur un maximum de plateformes avec un minimum de dépendances. Cette contrainte fait sa force : il tourne sous Linux, macOS et Windows, y compris sur ARM – Apple Silicon comme Raspberry Pi. Sa quantification native GGUF en Q4, Q5 ou Q8 le rend particulièrement adapté aux GPU grand public où la VRAM est limitée. Il ne nécessite ni Python ni toolkit CUDA complet, et ses performances sur Apple Silicon via Metal, ainsi que sur NVIDIA, sont excellentes. Le compromis est une étape de compilation.

# Cloner et compiler
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1  # Avec support CUDA

# Lancer le serveur
./llama-server \
  -m devstral-small-2-24b-instruct.Q4_K_M.gguf \
  --port 8080 \
  -ngl 99 \
  -c 32768

Drapeaux clés :

  • -m : chemin vers le modèle au format GGUF
  • -ngl 99 : nombre de couches déléguées au GPU (99 = toutes)
  • -c 32768 : taille de la fenêtre de contexte
  • --port 8080 : port de l’API

En pratique, tu ajustes -ngl : si le modèle refuse de se charger, réduis le nombre de couches envoyées au GPU. Choisis llama.cpp si tu es sur un Mac Apple Silicon (M1 à M4), si tu veux éviter toute dépendance Python, si tu as besoin de la quantification la plus agressive pour un petit GPU, ou si tu travailles sur ARM – serveur Graviton, Raspberry Pi.

LM Studio : Tout à la souris

LM Studio est une application de bureau qui réduit le déploiement local à quelques clics. Son interface gère le téléchargement, la configuration et le lancement ; son catalogue te permet de parcourir et récupérer des modèles depuis Hugging Face sans ligne de commande ; son serveur API compatible OpenAI intégré ne demande aucun réglage. L’application tourne sous Windows, macOS et Linux. La configuration se fait entièrement dans l’interface :

  1. Ouvre LM Studio
  2. Télécharge Devstral Small 2 depuis le catalogue
  3. Charge le modèle
  4. Active le serveur local (bouton “Start Server”)
  5. Dans Vibe : déclare le serveur LM Studio comme fournisseur compatible OpenAI dans config.toml (son adresse s’affiche dans LM Studio), puis sélectionne le modèle avec /model

Surveille le port : LM Studio écoute par défaut sur 1234. Si ton Vibe attend le port 8080, ajuste soit la configuration de LM Studio, soit celle de Vibe – c’est la cause la plus fréquente du message “Vibe can’t find the server” alors que le modèle est chargé. LM Studio te convient si tu débutes avec les modèles locaux, si tu préfères une interface graphique à la ligne de commande, si tu veux tester rapidement plusieurs modèles, ou si tu es sous Windows et que l’installation de vLLM te pose problème.

Ollama : Configuration la plus rapide

Ollama emprunte l’ergonomie de Docker : une commande pour récupérer un modèle, une autre pour l’exécuter. L’installation tient en une ligne, la gestion utilise ollama pull, ollama run et ollama list, l’API compatible OpenAI est intégrée et active par défaut, et les modèles se mettent à jour comme des images Docker.

# Installer Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Télécharger et exécuter Devstral Small 2
ollama pull devstral-small-2

# Lancer le modèle (le serveur API démarre automatiquement)
ollama run devstral-small-2

Le serveur écoute sur le port 11434, avec le point de terminaison compatible OpenAI à http://localhost:11434/v1/ : c’est l’api_base à déclarer dans le fournisseur Vibe, avec name = "devstral-small-2" dans le préréglage du modèle. Choisis Ollama si tu veux démarrer le plus vite possible, jongler avec plusieurs modèles pour tester, si tu es à l’aise avec les workflows Docker, ou si tu veux un serveur d’inférence tournant en permanence en arrière-plan.

Choisir, et pourquoi ce choix importe peu

Chaque framework occupe une niche distincte. vLLM offre les meilleures performances en production avec un support natif multi-GPU : c’est le choix pour les serveurs dédiés équipés de H100 ou A100. llama.cpp gagne en portabilité, excelle sur Apple Silicon et les GPU grand public, et se passe de Python. LM Studio l’emporte sur l’ergonomie, avec une interface graphique complète idéale pour découvrir les modèles locaux. Ollama propose la configuration la plus rapide et une gestion simplifiée des modèles, parfaite pour les tests et le prototypage. Pourtant, ce choix importe peu, car ils exposent tous la même API au format OpenAI – ce dénominateur commun permet à Vibe de se connecter sans rien savoir du moteur qui tourne derrière.

GET  /v1/models              # Lister les modèles disponibles
POST /v1/chat/completions    # Complétion de chat (principal)
GET  /health                 # État du serveur (vLLM)

La configuration dans Vibe est donc identique quel que soit le framework : seul le port change.

vLLM      → http://localhost:8080
LM Studio → http://localhost:1234
Ollama    → http://localhost:11434
llama.cpp → http://localhost:8080

Tu peux commencer avec Ollama pour te faire la main, migrer vers llama.cpp pour optimiser la quantification, puis basculer sur vLLM le jour où ton équipe partage un serveur GPU – sans toucher à ta configuration Vibe.

Récapitulatif du cours

Ce parcours t’a fait découvrir l’écosystème avancé de Mistral Vibe. Tu as appris à contrôler qui exécute tes tâches et avec quelles permissions, via des agents intégrés puis des agents personnalisés, et à calibrer le risque avec de vrais verrous : listes d’outils, permissions par outil et dossiers de confiance, le champ safety ne servant que d’étiquette visuelle. Les modes unifiés regroupent outils, permissions et comportements en profils activables ; les sous-agents délèguent des tâches spécialisées de manière indépendante. Tu as ensuite construit des composants réutilisables avec les compétences et leur SKILL.md, lancés par des commandes slash en un seul geste, et assemblé des modes adaptés à ton cycle de développement – revue, déploiement, lint. La clarification à choix multiples t’a montré comment Vibe demande avant d’agir quand les choses sont ambiguës, et le mode local avec Devstral a ouvert la voie à un environnement confidentiel, hors ligne et souverain. Tu disposes désormais de tous les outils pour construire un environnement de développement assisté par IA qui respecte tes contraintes de sécurité, de performance et de souveraineté.

Klíčové poznatky

  • llama.cpp : Pur C++, multiplateforme, excellent sur Apple Silicon
  • LM Studio : Interface graphique, idéal pour les débutants
  • Ollama : Configuration la plus rapide, workflow style Docker
  • vLLM : Recommandé pour la production avec GPU serveur
  • Tous exposent une API compatible OpenAI – Vibe se connecte transparentement
  • Choisis ton framework selon ton matériel et ton niveau de confort

Teste tes connaissances

Agents, compétences, modes, local : Vibe avancé en cinq points.

1. Que permettent les agents personnalisés en TOML ?

Réponse : Définir tes propres agents – instructions, outils, comportement – dans un fichier TOML : l’agent spécialisé de ton équipe devient un artifact versionné.

2. Le champ safety d'un agent (safe, neutral, destructive, smart, yolo) limite-t-il ses actions ?

Réponse : Non. C’est un indicateur visuel qui colore la bordure de saisie. Ce qui limite réellement un agent, ce sont enabled_tools et disabled_tools, les permissions [tools.<tool>] (always, ask, never), le périmètre du répertoire de travail et les dossiers de confiance.

3. Compétences et commandes slash : comment fonctionnent-elles ensemble ?

Réponse : Une compétence (SKILL.md) encapsule une procédure réutilisable ; la commande slash la déclenche en un geste – découverte, activation et priorité gèrent le catalogue.

4. À quoi servent les sous-agents ?

Réponse : À déléguer des sous-tâches spécialisées à des agents dédiés – l’agent principal orchestre, les sous-agents exécutent leur spécialité.

5. Comment exécuter Vibe entièrement en local ?

Réponse : En servant un modèle ouvert recommandé (Devstral Small 2 ou Mistral Small 4) avec vLLM ou une alternative (llama.cpp, LM Studio, Ollama), en le déclarant comme fournisseur dans config.toml, puis en désactivant la télémétrie et les vérifications de mise à jour (enable_telemetry = false, enable_update_checks = false).

Agents déclarés, sécurité graduée, compétences outillées, local possible : Vibe avancé est une plateforme – configure-la pour qu’elle corresponde à ton équipe.