Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

Lokale alternatieven: llama.cpp, LM Studio, Ollama

Les 14 van 14 Bijgewerkt op 2 november 2026 Gevorderd
Op deze pagina
  1. Voorbij vLLM
  2. llama.cpp: Maximale portabiliteit
  3. LM Studio: Alles met de muis
  4. Ollama: Snelste setup
  5. Kiezen, en waarom de keuze weinig uitmaakt
  6. Samenvatting van de cursus
  7. Belangrijkste punten
  8. Test uw kennis

Les bijgewerkt op 2 november 2026 op basis van de pagina Using offline models in de Vibe-documentatie. Devstral is verwijderd uit de Mistral API, maar de gewichten blijven beschikbaar: Devstral Small 2 en Mistral Small 4 zijn de twee aanbevolen open modellen voor lokaal gebruik. Vibe bundelt geen lokaal model: u verbindt het met een compatibele OpenAI-server via een preset in config.toml en schakelt vervolgens over met /model. Bron: Using offline models.

Voorbij vLLM

vLLM is het framework dat de Vibe-documentatie aanbeveelt voor het hosten van Devstral, maar het is niet de enige optie. Drie alternatieven dekken scenario’s waarin vLLM tekortschiet: een Apple Silicon Mac, een Windows-machine waar de installatie vastloopt, of de wens om een model binnen vijf minuten te testen. Ze hebben allemaal één ding gemeen dat er toe doet: ze bieden een OpenAI-compatibele API, waardoor ze vanuit het perspectief van Vibe uitwisselbaar zijn.

llama.cpp: Maximale portabiliteit

llama.cpp is een inferentie-engine geschreven in puur C/C++, ontworpen om op zoveel mogelijk platforms te draaien met minimale afhankelijkheden. Deze beperking is zijn kracht: het werkt op Linux, macOS en Windows, inclusief ARM—zowel Apple Silicon als Raspberry Pi. De native GGUF-kwantisatie in Q4, Q5 of Q8 maakt het bijzonder geschikt voor consumenten-GPU’s waar VRAM beperkt is. Het vereist noch Python, noch een volledige CUDA-toolkit, en de prestaties op Apple Silicon via Metal, evenals op NVIDIA, zijn uitstekend. Het nadeel is een compilatiestap.

# Clone en compileer
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1  # Met CUDA-ondersteuning

# Start de server
./llama-server \
  -m devstral-small-2-24b-instruct.Q4_K_M.gguf \
  --port 8080 \
  -ngl 99 \
  -c 32768

Belangrijke flags:

  • -m: pad naar het model in GGUF-formaat
  • -ngl 99: aantal lagen dat naar de GPU wordt verplaatst (99 = allemaal)
  • -c 32768: grootte van het contextvenster
  • --port 8080: API-poort

In de praktijk past u -ngl aan: als het model weigert te laden, vermindert u het aantal lagen dat naar de GPU wordt gestuurd. Kies llama.cpp als u op een Apple Silicon Mac werkt (M1 tot M4), Python-afhankelijkheden wilt vermijden, de meest agressieve kwantisatie nodig hebt voor een kleine GPU, of op ARM werkt—Graviton-server, Raspberry Pi.

LM Studio: Alles met de muis

LM Studio is een desktopapplicatie die lokale implementatie reduceert tot een paar klikken. De interface regelt downloaden, configuratie en starten; de catalogus laat u modellen browsen en ophalen van Hugging Face zonder de commandoregel; de ingebouwde OpenAI-compatibele API-server vereist geen aanpassingen. De app draait op Windows, macOS en Linux. De setup gebeurt volledig in de interface:

  1. Open LM Studio
  2. Download Devstral Small 2 uit de catalogus
  3. Laad het model
  4. Schakel de lokale server in (knop “Start Server”)
  5. In Vibe: declareer de LM Studio-server als een OpenAI-compatibele provider in config.toml (het adres verschijnt in LM Studio), selecteer vervolgens het model met /model

Let op de poort: LM Studio luistert standaard op 1234. Als uw Vibe poort 8080 verwacht, pas dan de configuratie van LM Studio of Vibe aan—dit is de meest voorkomende oorzaak van “Vibe kan de server niet vinden”, ook al is het model geladen. LM Studio is geschikt voor u als u nieuw bent met lokale modellen, de voorkeur geeft aan een GUI boven de commandoregel, snel meerdere modellen wilt testen, of op Windows werkt en de installatie van vLLM problemen geeft.

Ollama: Snelste setup

Ollama leent de ergonomie van Docker: één commando om een model op te halen, een ander om het uit te voeren. Installatie kost één regel, beheer gebruikt ollama pull, ollama run en ollama list, de OpenAI-compatibele API is ingebouwd en standaard actief, en modellen updaten net als Docker-images.

# Installeer Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Download en start Devstral Small 2
ollama pull devstral-small-2

# Start het model (API-server start automatisch)
ollama run devstral-small-2

De server luistert op poort 11434, met het OpenAI-compatibele eindpunt op http://localhost:11434/v1/: dit is de api_base die u in de Vibe-provider moet declareren, met name = "devstral-small-2" in de model-preset. Kies Ollama als u zo snel mogelijk wilt beginnen, meerdere modellen wilt beheren om te testen, vertrouwd bent met Docker-workflows, of een inferentieserver permanent op de achtergrond wilt draaien.

Kiezen, en waarom de keuze weinig uitmaakt

Elk framework bezet een eigen niche. vLLM levert de beste productieprestaties met native multi-GPU-ondersteuning: het is de keuze voor dedicated servers uitgerust met H100’s of A100’s. llama.cpp wint op portabiliteit, blinkt uit op Apple Silicon en consumenten-GPU’s, en slaat Python over. LM Studio wint op ergonomie, met een volledige GUI die ideaal is voor het ontdekken van lokale modellen. Ollama biedt de snelste setup en vereenvoudigd modelbeheer, geweldig voor testen en prototyping. Toch doet deze keuze er weinig toe, omdat ze allemaal dezelfde API in OpenAI-formaat bieden—deze gemeenschappelijke noemer laat Vibe verbinden zonder iets te weten over de engine die erachter draait.

GET  /v1/models              # Beschikbare modellen lijst
POST /v1/chat/completions    # Chat completion (hoofd)
GET  /health                 # Serverstatus (vLLM)

De configuratie in Vibe is daarom identiek across frameworks: alleen de poort verandert.

vLLM      → http://localhost:8080
LM Studio → http://localhost:1234
Ollama    → http://localhost:11434
llama.cpp → http://localhost:8080

U kunt beginnen met Ollama om de smaak te pakken, overstappen naar llama.cpp om de kwantisatie te optimaliseren, en vervolgens switchen naar vLLM op de dag dat uw team een GPU-server deelt—zonder uw Vibe-configuratie aan te raken.

Samenvatting van de cursus

Deze reis heeft u door het geavanceerde ecosysteem van Mistral Vibe geleid. U leerde controleren wie uw taken uitvoert en met welke rechten, via ingebouwde agents en vervolgens aangepaste agents, en risico’s te kalibreren met echte vergrendelingen: tool-lijsten, per-tool rechten en vertrouwde mappen, waarbij het veld safety slechts dient als visueel label. Geünificeerde modi bundelen tools, rechten en gedragingen tot activeerbare profielen; sub-agents delegeren gespecialiseerde taken onafhankelijk. Vervolgens bouwde u herbruikbare componenten met skills en hun SKILL.md, gestart door slash-commando’s in één gebaar, en stelde u modi samen op maat van uw ontwikkelcyclus—review, deploy, lint. Verduidelijking met meerkeuzeopties liet zien hoe Vibe vraagt voordat het handelt wanneer dingen ambigu zijn, en lokale modus met Devstral opende de weg naar een vertrouwelijke, offline, soevereine omgeving. U heeft nu alle tools om een AI-ondersteunde ontwikkelomgeving te bouwen die uw beperkingen op het gebied van beveiliging, prestaties en soevereiniteit respecteert.

Belangrijkste punten

  • llama.cpp: Puur C++, cross-platform, uitstekend op Apple Silicon
  • LM Studio: Grafische interface, ideaal voor beginners
  • Ollama: Snelste setup, Docker-achtige workflow
  • vLLM: Aanbevolen voor productie met server-GPU’s
  • Alle bieden een OpenAI-compatibele API—Vibe verbindt transparant
  • Kies uw framework op basis van uw hardware en comfortniveau

Test uw kennis

Agents, skills, modi, lokaal: geavanceerde Vibe in vijf punten.

1. Wat maken aangepaste agents in TOML mogelijk?

Antwoord: Definieer uw eigen agents—instructies, tools, gedrag—in een TOML-bestand: de gespecialiseerde agent van uw team wordt een geversioneerd artefact.

2. Beperkt het safety-veld van een agent (safe, neutral, destructive, smart, yolo) zijn acties?

Antwoord: Nee. Het is een visuele aanwijzing die de rand van de input kleurt. Wat een agent daadwerkelijk beperkt, zijn enabled_tools en disabled_tools, de [tools.<tool>]-rechten (always, ask, never), het bereik van de werkmap en vertrouwde mappen.

3. Skills en slash-commando's: hoe werken ze samen?

Antwoord: Een skill (SKILL.md) kapselt een herbruikbare procedure in; het slash-commando activeert deze in één gebaar—ontdekking, activering en prioriteit beheren de catalogus.

4. Waar dienen sub-agents voor?

Antwoord: Het delegeren van gespecialiseerde subtaken aan toegewijde agents—de hoofd-agent orchestreert, sub-agents voeren hun specialiteit uit.

5. Hoe draait u Vibe volledig lokaal?

Antwoord: Door een aanbevolen open model (Devstral Small 2 of Mistral Small 4) te hosten met vLLM of een alternatief (llama.cpp, LM Studio, Ollama), dit te declareren als provider in config.toml, en vervolgens telemetrie en update-controles uit te schakelen (enable_telemetry = false, enable_update_checks = false).

Agents gedeclareerd, beveiliging gegradeerd, skills uitgerust, lokaal mogelijk: geavanceerde Vibe is een platform—configureer het zodat het bij uw team past.