Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Héberger Devstral en local

Lektion 13 av 14 Uppdaterad 2 november 2026 Utvecklare
På denna sida
  1. Pourquoi héberger Devstral en local ?
  2. Modèles recommandés
  3. Prérequis matériels
  4. Déploiement avec vLLM
  5. Utilisation du serveur local
  6. Frameworks alternatifs
  7. Connexion de Vibe au serveur local
  8. Viktiga punkter

Leçon mise à jour le 2 novembre 2026 sur la base de la page Using offline models de la documentation Vibe : Devstral a été retiré de l’API, mais Devstral Small 2 reste disponible, aux côtés de Mistral Small 4, comme l’un des deux modèles ouverts recommandés pour une utilisation locale. Les estimations de coûts non sourcées ont été supprimées et la connexion de Vibe à un serveur local suit désormais la syntaxe officielle config.toml. Source : Using offline models.

Pourquoi héberger Devstral en local ?

Devstral Small 2 est publié avec des poids ouverts sous licence Apache 2.0 (Devstral 2, son grand frère de 123 milliards de paramètres, utilise une licence MIT modifiée). Bien qu’il ait été retiré de l’API Mistral le 31 mars 2026, il n’a pas disparu : tu peux le déployer sur tes propres serveurs sans envoyer une seule ligne de code vers une API externe, et la documentation Vibe le recommande toujours dans ce but.

Les motivations se recoupent souvent. La confidentialité passe en premier : ton code ne quitte jamais ton infrastructure, coupant court à tout débat sur les conditions d’utilisation d’un fournisseur. Vient ensuite la latence, car aucun aller-retour réseau vers l’API Mistral ne s’intercale entre ta frappe et la suggestion. La structure des coûts change : tu paies un prix fixe pour un GPU au lieu d’une facturation à l’usage, ce qui devient avantageux dès qu’une équipe entière interroge le modèle toute la journée. Enfin, il y a la conformité, exigée par certaines réglementations et secteurs comme la banque ou la défense, ainsi que la disponibilité, puisqu’aucun service tiers ne peut interrompre ton travail.

Modèles recommandés

La documentation Vibe recommande deux modèles ouverts pour une utilisation locale :

  • Devstral Small 2 (mistralai/Devstral-Small-2-24B-Instruct-2512 sur Hugging Face) : 24 milliards de paramètres, dense, entraîné pour les tâches agentiques et le codage, avec l’empreinte matérielle la plus légère ;
  • Mistral Small 4 : 119 milliards de paramètres dans une architecture de mélange d’experts, dont 6,5 milliards actifs, un modèle hybride de raisonnement et de codage avec un contexte de 256 000 jetons, sous licence Apache 2.0.

Prérequis matériels

Pour des performances correctes sur des contextes longs, la documentation recommande un déploiement en FP8 avec un contexte d’environ 128 000 jetons :

ConfigurationMatérielPrécisionContexte
RecommandéGPU H100 ou A100FP8~128 000 jetons
Poste de développementRTX 4090 ou tout GPU 24 Go VRAM4 bits~32 000 jetons
Sans GPUDélestage CPU, avec assez de RAM—— nettement plus lent

Ces chiffres s’appliquent à Devstral Small 2. Mistral Small 4 nécessite beaucoup plus de mémoire vidéo pour charger ses poids : compte au moins un H100 de 80 Go en FP8, et davantage pour des contextes longs. Ajuste ensuite la précision et la longueur du contexte à ton matériel.

Déploiement avec vLLM

vLLM est le framework d’inférence recommandé par la documentation Vibe pour servir Devstral. L’installation ne requiert qu’une seule commande.

pip install vllm

Le serveur démarre ensuite en une seule ligne, avec les deux options qui rendent le modèle utilisable en mode agent.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Trois variantes couvrent la plupart des situations réelles : répartir le modèle sur plusieurs GPU, réduire la précision lorsque la VRAM est limitée, ou réduire le contexte pour la même raison.

# Multi-GPU (si tu as 2 GPU ou plus)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

# Précision réduite (pour les GPU avec moins de VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# Contexte réduit (pour économiser la VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 32768 \
  --port 8080

Voici ce que contrôle chaque indicateur :

  • --tool-call-parser mistral — active l’analyse des appels d’outils au format Mistral
  • --enable-auto-tool-choice — permet au modèle de décider quand appeler un outil
  • --tensor-parallel-size — répartit le modèle sur plusieurs GPU
  • --dtype — contrôle la précision (float16, bfloat16, float32)
  • --max-model-len — limite la taille du contexte pour économiser la VRAM

Les deux premiers méritent une attention particulière : les omettre te donne un serveur qui fonctionne parfaitement pour la conversation, mais échoue silencieusement dès qu’un agent tente d’appeler un outil. C’est la cause la plus fréquente pour laquelle un déploiement local est jugé « décevant ».

Utilisation du serveur local

Une fois vLLM en cours d’exécution, le port 8080 expose une API compatible OpenAI. Le SDK Mistral s’y connecte en changeant simplement l’URL du serveur ; la clé n’est plus nécessaire.

from mistralai.client import Mistral

# Pointer vers le serveur local
client = Mistral(
    api_key="dummy",  # Aucune clé nécessaire en local
    server_url="http://localhost:8080",
)

response = client.chat.complete(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Analyse ce code et suggère des améliorations."}
    ],
)

Le SDK OpenAI fonctionne tout aussi bien, te permettant de basculer du code existant vers Devstral local sans le réécrire.

from openai import OpenAI

client = OpenAI(
    api_key="dummy",
    base_url="http://localhost:8080/v1",
)

response = client.chat.completions.create(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Explique ce code."}
    ],
)

Frameworks alternatifs

vLLM n’est pas la seule voie : Devstral fonctionne avec tout framework d’inférence exposant une API compatible OpenAI. La documentation Vibe cite llama.cpp, adapté aux configurations à faible VRAM grâce à ses modèles quantifiés GGUF, LM Studio, qui offre une interface graphique sans ligne de commande, et Ollama. Vérifie le nom exact du modèle et la quantification dans chaque outil avant de comparer les résultats.

Connexion de Vibe au serveur local

Vibe n’embarque pas de modèle local : une fois ton serveur en marche, tu déclares un fournisseur et un préréglage de modèle dans config.toml. Pour un serveur compatible OpenAI sur le port 8080 :

active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Trois précautions issues de la documentation : garde active_model au-dessus du premier tableau [[...]], sinon TOML l’attachera à ce tableau ; définis max_context_length dans le préréglage pour indiquer le contexte de ton serveur ; et vérifie que le serveur renvoie l’utilisation des jetons dans les réponses en streaming (stream_options.include_usage). Vibe fournit également un fournisseur prédéfini, llamacpp, qui pointe vers http://127.0.0.1:8080/v1 sans clé : dans ce cas, écris simplement provider = "llamacpp" dans le préréglage. La commande /model permet alors de basculer entre le modèle local et les modèles hébergés.

Pour un fonctionnement entièrement hors ligne, désactive aussi la télémétrie et les vérifications de mise à jour :

enable_telemetry = false
enable_update_checks = false

Avec ces paramètres et un fournisseur local, la CLI ne contacte plus mistral.ai. Les compétences, serveurs MCP et connecteurs atteignant des systèmes externes doivent être désactivés séparément.

Viktiga punkter

  • Devstral est retiré de l’API, mais Devstral Small 2 (24B, Apache 2.0) reste recommandé pour une utilisation locale, aux côtés de Mistral Small 4
  • vLLM est le framework recommandé ; --tool-call-parser mistral et --enable-auto-tool-choice sont essentiels pour un agent
  • H100 ou A100 en FP8 avec ~128k de contexte ; un GPU 24 Go en 4 bits avec ~32k
  • Le serveur expose une API compatible OpenAI, utilisable avec le SDK Mistral ou le SDK OpenAI
  • Vibe se connecte au serveur via un préréglage dans config.toml (ou le fournisseur llamacpp) ; désactive la télémétrie et les mises à jour pour une utilisation hors ligne