Lokale Alternativen: llama.cpp, LM Studio, Ollama — Mistral Vibe Advanced: Agents, Skills und Local Mode

Lektion aktualisiert am 2. November 2026 basierend auf der Seite Using offline models in der Vibe-Dokumentation. Devstral wurde von der Mistral-API entfernt, seine Gewichte bleiben jedoch veröffentlicht: Devstral Small 2 und Mistral Small 4 sind die beiden empfohlenen offenen Modelle für den lokalen Einsatz. Vibe bündelt kein lokales Modell: Sie verbinden es über einen Preset in config.toml mit einem kompatiblen OpenAI-Server und wechseln dann mit /model. Quelle: Using offline models.

Jenseits von vLLM

vLLM ist der von der Vibe-Dokumentation empfohlene Rahmenwerk zum Bereitstellen von Devstral, doch es ist nicht die einzige Option. Drei Alternativen decken Szenarien ab, in denen vLLM an seine Grenzen stößt: ein Apple-Silicon-Mac, ein Windows-Rechner, bei dem die Installation hängen bleibt, oder der Wunsch, ein Modell innerhalb von fünf Minuten zu testen. Sie alle teilen das eine, was zählt: Sie stellen eine OpenAI-kompatible API bereit und sind somit aus Sicht von Vibe austauschbar.

llama.cpp: Maximale Portabilität

llama.cpp ist ein Inferenz-Engine, geschrieben in reinem C/C++, entwickelt, um auf so vielen Plattformen wie möglich mit minimalen Abhängigkeiten zu laufen. Diese Einschränkung ist seine Stärke: Es funktioniert auf Linux, macOS und Windows, einschließlich ARM – sowohl Apple Silicon als auch Raspberry Pi. Die native GGUF-Quantisierung in Q4, Q5 oder Q8 macht es besonders geeignet für Consumer-GPUs, bei denen der VRAM begrenzt ist. Es wird weder Python noch ein vollständiges CUDA-Toolkit benötigt, und die Leistung auf Apple Silicon über Metal sowie auf NVIDIA ist hervorragend. Der Kompromiss ist ein Kompilierungsschritt.

# Klonen und Kompilieren
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1  # Mit CUDA-Unterstützung

# Server starten
./llama-server \
  -m devstral-small-2-24b-instruct.Q4_K_M.gguf \
  --port 8080 \
  -ngl 99 \
  -c 32768

Wichtige Flags:

-m: Pfad zum Modell im GGUF-Format
-ngl 99: Anzahl der Schichten, die auf die GPU ausgelagert werden (99 = alle)
-c 32768: Kontextfenstergröße
--port 8080: API-Port

In der Praxis passen Sie -ngl an: Wenn das Modell sich weigert zu laden, reduzieren Sie die Anzahl der Schichten, die an die GPU gesendet werden. Wählen Sie llama.cpp, wenn Sie auf einem Apple-Silicon-Mac (M1 bis M4) sind, keine Python-Abhängigkeiten vermeiden möchten, die aggressivste Quantisierung für eine kleine GPU benötigen oder auf ARM – Graviton-Server, Raspberry Pi – arbeiten.

LM Studio: Alles mit der Maus

LM Studio ist eine Desktop-Anwendung, die den lokalen Einsatz auf wenige Klicks reduziert. Seine Oberfläche übernimmt das Herunterladen, die Konfiguration und den Start; sein Katalog ermöglicht es Ihnen, Modelle von Hugging Face zu durchsuchen und zu laden, ohne die Kommandozeile zu nutzen; sein integrierter OpenAI-kompatibler API-Server erfordert keine Anpassungen. Die Anwendung läuft auf Windows, macOS und Linux. Die Einrichtung erfolgt vollständig über die Oberfläche:

LM Studio öffnen
Devstral Small 2 aus dem Katalog herunterladen
Das Modell laden
Den lokalen Server aktivieren (“Start Server”-Button)
In Vibe: Den LM Studio-Server als OpenAI-kompatiblen Anbieter in config.toml deklarieren (die Adresse erscheint in LM Studio), dann das Modell mit /model auswählen

Achten Sie auf den Port: LM Studio lauscht standardmäßig auf 1234. Wenn Vibe den Port 8080 erwartet, passen Sie entweder die Konfiguration von LM Studio oder die von Vibe an – dies ist die häufigste Ursache für die Meldung “Vibe kann den Server nicht finden”, obwohl das Modell geladen ist. LM Studio eignet sich für Sie, wenn Sie neu im Bereich lokaler Modelle sind, eine GUI der Kommandozeile vorziehen, mehrere Modelle schnell testen möchten oder auf Windows sind und die Installation von vLLM Probleme bereitet.

Ollama: Schnellste Einrichtung

Ollama übernimmt die Ergonomie von Docker: Ein Befehl zum Herunterladen eines Modells, ein weiterer zum Starten. Die Installation erfolgt in einer Zeile, die Verwaltung nutzt ollama pull, ollama run und ollama list, die OpenAI-kompatible API ist integriert und standardmäßig aktiv, und Modelle aktualisieren sich wie Docker-Images.

# Ollama installieren
curl -fsSL https://ollama.com/install.sh | sh

# Devstral Small 2 herunterladen und ausführen
ollama pull devstral-small-2

# Modell starten (API-Server startet automatisch)
ollama run devstral-small-2

Der Server lauscht auf Port 11434, mit dem OpenAI-kompatiblen Endpunkt bei http://localhost:11434/v1/: Dies ist das api_base, das Sie im Vibe-Anbieter deklarieren, mit name = "devstral-small-2" im Modell-Preset. Wählen Sie Ollama, wenn Sie so schnell wie möglich starten möchten, mehrere Modelle zum Testen verwalten möchten, sich mit Docker-Workflows auskennen oder einen Inferenz-Server dauerhaft im Hintergrund laufen lassen möchten.

Wählen und warum die Wahl wenig zählt

Jedes Framework besetzt eine eigene Nische. vLLM liefert die beste Produktionsleistung mit nativer Multi-GPU-Unterstützung: Es ist die Wahl für dedizierte Server, die mit H100s oder A100s ausgestattet sind. llama.cpp gewinnt an Portabilität, glänzt auf Apple Silicon und Consumer-GPUs und überspringt Python. LM Studio gewinnt an Ergonomie, mit einer vollständigen GUI, die ideal zur Entdeckung lokaler Modelle ist. Ollama bietet die schnellste Einrichtung und vereinfachtes Modellmanagement, hervorragend zum Testen und Prototypisieren. Doch diese Wahl ist von geringer Bedeutung, da sie alle dieselbe OpenAI-format-API bereitstellen – dieser gemeinsame Nenner ermöglicht es Vibe, sich zu verbinden, ohne etwas über den Motor zu wissen, der dahinter läuft.

GET  /v1/models              # Verfügbare Modelle auflisten
POST /v1/chat/completions    # Chat-Vervollständigung (Hauptfunktion)
GET  /health                 # Serverstatus (vLLM)

Die Konfiguration in Vibe ist daher über alle Frameworks hinweg identisch: Nur der Port ändert sich.

vLLM      → http://localhost:8080
LM Studio → http://localhost:1234
Ollama    → http://localhost:11434
llama.cpp → http://localhost:8080

Sie können mit Ollama beginnen, um sich einzuarbeiten, zu llama.cpp migrieren, um die Quantisierung zu optimieren, und dann an den Tag wechseln, an dem Ihr Team einen GPU-Server teilt – ohne Ihre Vibe-Konfiguration zu berühren.

Kurs-Übersicht

Diese Reise hat Sie durch das erweiterte Ökosystem von Mistral Vibe geführt. Sie haben gelernt, wer Ihre Aufgaben ausführt und mit welchen Berechtigungen, über integrierte Agenten und dann benutzerdefinierte Agenten, und das Risiko mit echten Sperren zu kalibrieren: Werkzeuglisten, pro-Werkzeug-Berechtigungen und vertrauenswürdige Ordner, wobei das Feld safety nur als visueller Label dient. Unified Modes bündeln Werkzeuge, Berechtigungen und Verhaltensweisen in aktivierbare Profile; Subagenten delegieren spezialisierte Aufgaben unabhängig. Sie haben dann wiederverwendbare Komponenten mit Fähigkeiten und deren SKILL.md erstellt, die mit einem Schrägstrich-Befehl in einer einzigen Geste gestartet werden, und Modi zusammengestellt, die auf Ihren Entwicklungszyklus zugeschnitten sind – Review, Deploy, Lint. Mehrfachauswahl-Klärung hat gezeigt, wie Vibe fragt, bevor es handelt, wenn Dinge unklar sind, und der lokale Modus mit Devstral öffnete den Weg zu einer vertraulichen, offline und souveränen Umgebung. Sie haben nun alle Werkzeuge, um eine KI-gestützte Entwicklungsumgebung zu erstellen, die Ihre Sicherheits-, Leistungs- und Souveränitätsanforderungen respektiert.

Wichtige Erkenntnisse

llama.cpp: Reines C++, plattformübergreifend, hervorragend auf Apple Silicon
LM Studio: Graphische Oberfläche, ideal für Einsteiger
Ollama: Schnellste Einrichtung, Docker-ähnlicher Workflow
vLLM: Empfohlen für Produktion mit Server-GPUs
Alle stellen eine OpenAI-kompatible API bereit – Vibe verbindet sich transparent
Wählen Sie Ihr Framework basierend auf Ihrer Hardware und Ihrem Komfortniveau

Wissen testen

Agenten, Fähigkeiten, Modi, lokal: Erweitertes Vibe in fünf Punkten.

1. Was erlauben benutzerdefinierte Agenten in TOML?

Antwort: Definieren Sie Ihre eigenen Agenten – Anweisungen, Werkzeuge, Verhalten – in einer TOML-Datei: Ihr spezialisiertes Agenten-Team wird zu einem versionierten Artefakt.

2. Begrenzt das Sicherheitsfeld eines Agenten (safe, neutral, destructive, smart, yolo) seine Aktionen?

Antwort: Nein. Es ist ein visueller Hinweis, der den Eingabegrenzen eine Farbe verleiht. Was einen Agenten tatsächlich begrenzt, sind enabled_tools und disabled_tools, die [tools.<tool>]-Berechtigungen (always, ask, never), der Arbeitsverzeichnisbereich und vertrauenswürdige Ordner.

3. Fähigkeiten und Schrägstrich-Befehle: Wie funktionieren sie zusammen?

Antwort: Eine Fähigkeit (SKILL.md) kapselt ein wiederverwendbares Verfahren; der Schrägstrich-Befehl aktiviert ihn in einer einzigen Geste – Entdeckung, Aktivierung und Priorität verwalten den Katalog.

4. Wozu dienen Subagenten?

Antwort: Delegation spezialisierter Unteraufgaben an dedizierte Agenten – der Hauptagent orchestriert, Subagenten führen ihre Spezialität aus.

5. Wie führen Sie Vibe vollständig lokal aus?

Antwort: Indem Sie ein empfohlenes offenes Modell (Devstral Small 2 oder Mistral Small 4) mit vLLM oder einer Alternative (llama.cpp, LM Studio, Ollama) bereitstellen, es als Anbieter in config.toml deklarieren und Telemetrie sowie Aktualisierungskontrollen deaktivieren (enable_telemetry = false, enable_update_checks = false).

Agenten deklariert, Sicherheit bewertet, Fähigkeiten gewerkelt, lokal möglich: Erweitertes Vibe ist eine Plattform – konfigurieren Sie sie, um Ihr Team zu entsprechen.