Devstral lokal hosten
Auf dieser Seite
Lektion aktualisiert am 2. November 2026 basierend auf der Seite Using offline models in der Vibe-Dokumentation: Devstral wurde von der API entfernt, aber Devstral Small 2 bleibt zusammen mit Mistral Small 4 als eines der beiden empfohlenen offenen Modelle für den lokalen Einsatz bestehen. Unbelegte Kostenschätzungen wurden entfernt, und die Verbindung von Vibe zu einem lokalen Server folgt nun der offiziellen
config.toml-Syntax. Quelle: Using offline models.
Warum Devstral lokal hosten?
Devstral Small 2 wird unter der Apache 2.0-Lizenz mit offenen Gewichten veröffentlicht (Devstral 2, sein 123-Milliarden-Parameter-Großbruder, verwendet eine modifizierte MIT-Lizenz). Obwohl es am 31. März 2026 von der Mistral-API entfernt wurde, ist es nicht verschwunden: Sie können es auf Ihren eigenen Servern bereitstellen, ohne eine einzige Zeile Code an eine externe API zu senden, und die Vibe-Dokumentation empfiehlt es weiterhin für diesen Zweck.
Die Motivationen überschneiden sich oft. Datenschutz steht an erster Stelle: Ihr Code verlässt Ihre Infrastruktur nicht, was Debatten über die Nutzungsbedingungen eines Anbieters überflüssig macht. Latenz folgt daraus, da keine Netzwerk-Rundreise zur Mistral-API zwischen Ihren Tastatureingaben und der Vorschlag liegt. Die Kostenstruktur ändert sich: Sie zahlen einen festen Preis für eine GPU anstatt nutzungsbasierter Abrechnung, was vorteilhaft wird, sobald ein ganzes Team den Tag über das Modell abfragt. Schließlich gibt es Compliance-Anforderungen, die durch bestimmte Vorschriften und Sektoren wie Banken oder Verteidigung vorgeschrieben sind, sowie Verfügbarkeit, da kein Drittanbieterdienst Ihre Arbeit unterbrechen kann.
Empfohlene Modelle
Die Vibe-Dokumentation empfiehlt zwei offene Modelle für den lokalen Einsatz:
- Devstral Small 2 (
mistralai/Devstral-Small-2-24B-Instruct-2512auf Hugging Face): 24 Milliarden Parameter, dicht, für agentische Aufgaben und Programmierung trainiert, mit dem geringsten Hardware-Fußabdruck; - Mistral Small 4: 119 Milliarden Parameter in einer Mixture-of-Experts-Architektur, mit 6,5 Milliarden aktiv, ein hybrides Modell für Reasoning und Programmierung mit einem Kontextfenster von 256.000 Tokens, unter der Apache 2.0-Lizenz.
Hardware-Voraussetzungen
Für eine gute Leistung bei langen Kontexten empfiehlt die Dokumentation eine FP8-Bereitstellung mit einem Kontextfenster von etwa 128.000 Tokens:
| Konfiguration | Hardware | Präzision | Kontext |
|---|---|---|---|
| Empfohlen | H100 oder A100 GPU | FP8 | ~128.000 Tokens |
| Entwicklungs-Workstation | RTX 4090 oder jede GPU mit 24 GB VRAM | 4-bit | ~32.000 Tokens |
| Keine GPU | CPU-Offload, mit genügend RAM | — | — deutlich langsamer |
Diese Werte gelten für Devstral Small 2. Mistral Small 4 benötigt viel mehr Videogerätespeicher, um seine Gewichte zu laden: Rechnen Sie mit mindestens einer 80 GB H100 in FP8 und mehr für lange Kontexte. Passen Sie dann Präzision und Kontextlänge an Ihre Hardware an.
Bereitstellung mit vLLM
vLLM ist der Inferenzrahmen, den die Vibe-Dokumentation für die Bereitstellung von Devstral empfiehlt. Die Installation erfordert nur einen Befehl.
pip install vllm
Der Server startet dann in einer einzigen Zeile, mit den beiden Optionen, die das Modell im Agentenmodus nutzbar machen.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Drei Varianten decken die meisten realen Situationen ab: Aufteilung des Modells über mehrere GPUs, Reduzierung der Präzision bei knapper VRAM oder Kürzen des Kontextes aus demselben Grund.
# Multi-GPU (wenn Sie 2+ GPUs haben)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
# Reduzierte Präzision (für GPUs mit weniger VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# Reduzierter Kontext (um VRAM zu sparen)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 32768 \
--port 8080
Hier ist, was jede Flagge steuert:
--tool-call-parser mistral— ermöglicht das Parsen von Tool-Aufrufen im Mistral-Format--enable-auto-tool-choice— erlaubt dem Modell, zu entscheiden, wann ein Tool aufgerufen werden soll--tensor-parallel-size— teilt das Modell über mehrere GPUs auf--dtype— steuert die Präzision (float16, bfloat16, float32)--max-model-len— begrenzt die Kontextgröße, um VRAM zu sparen
Die ersten beiden verdienen besondere Aufmerksamkeit: Wenn diese weggelassen werden, erhalten Sie einen Server, der für Gespräche perfekt funktioniert, aber stumm versagt, sobald ein Agent versucht, ein Tool aufzurufen. Dies ist die häufigste Ursache dafür, dass eine lokale Bereitstellung als „enttäuschend” bewertet wird.
Nutzung des lokalen Servers
Sobald vLLM läuft, stellt Port 8080 eine OpenAI-kompatible API bereit. Das Mistral SDK verbindet sich damit, indem es einfach die Server-URL ändert; der Schlüssel ist lokal nicht mehr erforderlich.
from mistralai.client import Mistral
# Auf den lokalen Server zeigen
client = Mistral(
api_key="dummy", # Lokal kein Schlüssel erforderlich
server_url="http://localhost:8080",
)
response = client.chat.complete(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Analysieren Sie diesen Code und schlagen Sie Verbesserungen vor."}
],
)
Das OpenAI SDK funktioniert ebenso gut und ermöglicht es Ihnen, bestehenden Code auf lokales Devstral umzustellen, ohne ihn neu schreiben zu müssen.
from openai import OpenAI
client = OpenAI(
api_key="dummy",
base_url="http://localhost:8080/v1",
)
response = client.chat.completions.create(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Erklären Sie diesen Code."}
],
)
Alternative Frameworks
vLLM ist nicht der einzige Weg: Devstral funktioniert mit jedem Inferenzframework, das eine OpenAI-kompatible API bereitstellt. Die Vibe-Dokumentation zitiert llama.cpp, das sich dank seiner GGUF-quantisierten Modelle für Low-VRAM-Einrichtungen eignet, LM Studio, das eine grafische Oberfläche ohne Kommandozeile bietet, und Ollama. Prüfen Sie den genauen Modellnamen und die Quantisierung in jedem Tool, bevor Sie Ergebnisse vergleichen.
Verbindung von Vibe mit dem lokalen Server
Vibe bündelt kein lokales Modell: Sobald Ihr Server läuft, deklarieren Sie einen Anbieter und ein Modell-Vorlage in config.toml. Für einen OpenAI-kompatiblen Server auf Port 8080:
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Drei Vorsichtsmaßnahmen aus der Dokumentation: Halten Sie active_model oberhalb des ersten [[...]]-Arrays, sonst wird TOML es diesem Array zuordnen; setzen Sie max_context_length in der Vorlage, um den Kontext Ihres Servers anzugeben; und überprüfen Sie, dass der Server die Token-Nutzung in Streaming-Antworten zurückgibt (stream_options.include_usage). Vibe bietet zudem einen vordefinierten Anbieter, llamacpp, der auf http://127.0.0.1:8080/v1 ohne Schlüssel zeigt: In diesem Fall schreiben Sie einfach provider = "llamacpp" in der Vorlage. Der /model-Befehl wechselt dann zwischen dem lokalen Modell und gehosteten Modellen.
Für den vollständigen Offline-Betrieb deaktivieren Sie auch Telemetrie und Aktualisierungsprüfungen:
enable_telemetry = false
enable_update_checks = false
Mit diesen Einstellungen und einem lokalen Anbieter kontaktiert die CLI nicht mehr mistral.ai. Fähigkeiten, MCP-Server und Verbindungen, die externe Systeme erreichen, müssen separat deaktiviert werden.
Kernaussagen
- Devstral wurde von der API entfernt, aber Devstral Small 2 (24B, Apache 2.0) bleibt zusammen mit Mistral Small 4 für den lokalen Einsatz empfohlen
- vLLM ist der empfohlene Rahmen;
--tool-call-parser mistralund--enable-auto-tool-choicesind für einen Agenten unerlässlich - H100 oder A100 in FP8 mit ~128k Kontext; eine 24 GB GPU in 4-bit mit ~32k
- Der Server stellt eine OpenAI-kompatible API bereit, die mit dem Mistral SDK oder dem OpenAI SDK genutzt werden kann
- Vibe verbindet sich mit dem Server über eine Vorlage in
config.toml(oder denllamacpp-Anbieter); deaktivieren Sie Telemetrie und Updates für den Offline-Einsatz