Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Lokale alternativer: llama.cpp, LM Studio, Ollama

Lektion 14 af 14 Opdateret 2. november 2026 Avanceret
På denne side
  1. Ud over vLLM
  2. llama.cpp: Maksimal portabilitet
  3. LM Studio: Alt med musen
  4. Ollama: Hurtigst opsætning
  5. Valg, og hvorfor valget betyder lidt
  6. Opsamling på kurset
  7. Vigtige pointer
  8. Test din viden

Lektionen opdateret 2. november 2026 baseret på siden Using offline models i Vibe-dokumentationen. Devstral er fjernet fra Mistral API, men deres vægte forbliver offentliggjorte: Devstral Small 2 og Mistral Small 4 er de to anbefalede åbne modeller til lokal brug. Vibe leverer ikke en lokal model: du forbinder det til en kompatibel OpenAI-server via et forudindstillet profil i config.toml og skifter derefter ved hjælp af /model. Kilde: Using offline models.

Ud over vLLM

vLLM er det framework, Vibe-dokumentationen anbefaler til at serve Devstral, men det er ikke den eneste mulighed. Tre alternativer dækker scenarier, hvor vLLM har svært ved at fungere: en Mac med Apple Silicon, en Windows-maskine hvor installationen hænger fast, eller ønsket om at teste en model på fem minutter. De deler alle én ting, der betyder noget – de eksponerer en OpenAI-kompatibel API, hvilket gør dem udskiftelige fra Vibes perspektiv.

llama.cpp: Maksimal portabilitet

llama.cpp er en inferensmotor skrevet i ren C/C++, designet til at køre på så mange platforme som muligt med minimale afhængigheder. Denne begrænsning er dens styrke: den virker på Linux, macOS og Windows, inklusive ARM – både Apple Silicon og Raspberry Pi. Dens native GGUF-kvantificering i Q4, Q5 eller Q8 gør den særligt velegnet til forbruger-GPU’er, hvor VRAM er begrænset. Den kræver hverken Python eller et komplet CUDA-toolkit, og dens ydeevne på Apple Silicon via Metal samt på NVIDIA er fremragende. Kompromiset er et kompileringstrin.

# Klon og kompilér
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1  # Med CUDA-understøttelse

# Start serveren
./llama-server \
  -m devstral-small-2-24b-instruct.Q4_K_M.gguf \
  --port 8080 \
  -ngl 99 \
  -c 32768

Vigtige flag:

  • -m: sti til modellen i GGUF-format
  • -ngl 99: antal lag offloadet til GPU’en (99 = alle)
  • -c 32768: størrelse på kontekstvinduet
  • --port 8080: API-port

I praksis justerer du -ngl: hvis modellen nægter at indlæse, skal du reducere antallet af lag, der sendes til GPU’en. Vælg llama.cpp, hvis du har en Mac med Apple Silicon (M1 til M4), vil undgå Python-afhængigheder, har brug for den mest aggressive kvantificering til en lille GPU, eller arbejder på ARM – Graviton-server eller Raspberry Pi.

LM Studio: Alt med musen

LM Studio er et skrivebordsprogram, der reducerer lokal implementering til få klik. Dens grænseflade håndterer download, konfiguration og start; dens katalog lader dig gennemse og hente modeller fra Hugging Face uden kommandolinjen; dens indbyggede OpenAI-kompatible API-server kræver ingen justering. Appen kører på Windows, macOS og Linux. Opsætningen sker udelukkende i grænsefladen:

  1. Åbn LM Studio
  2. Download Devstral Small 2 fra kataloget
  3. Indlæs modellen
  4. Aktiver den lokale server (knappen „Start Server”)
  5. I Vibe: erklær LM Studio-serveren som en OpenAI-kompatibel udbyder i config.toml (dens adresse vises i LM Studio), og vælg derefter modellen med /model

Hold øje med porten: LM Studio lytter standard på 1234. Hvis din Vibe forventer port 8080, skal du justere enten LM Studios konfiguration eller Vibes – dette er den hyppigste årsag til „Vibe kan ikke finde serveren”, selvom modellen er indlæst. LM Studio passer til dig, hvis du er ny til lokale modeller, foretrækker en GUI frem for kommandolinjen, hurtigt vil teste flere modeller, eller er på Windows, hvor vLLM-installationen giver problemer.

Ollama: Hurtigst opsætning

Ollama låner Docker-ergonomi: én kommando for at hente en model, en anden for at køre den. Installationen tager én linje, styringen bruger ollama pull, ollama run og ollama list, den OpenAI-kompatible API er indbygget og aktiv som standard, og modeller opdateres ligesom Docker-images.

# Installer Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Download og kør Devstral Small 2
ollama pull devstral-small-2

# Start modellen (API-serveren starter automatisk)
ollama run devstral-small-2

Serveren lytter på port 11434, med det OpenAI-kompatible endpoint på http://localhost:11434/v1/: dette er den api_base, du skal erklære i Vibe-udbyderen, med name = "devstral-small-2" i model-forudindstillingen. Vælg Ollama, hvis du vil komme i gang så hurtigt som muligt, jonglere med flere modeller til test, er fortrolig med Docker-workflows, eller vil have en inferensserver kørende permanent i baggrunden.

Valg, og hvorfor valget betyder lidt

Hvert framework optager en distinkt niche. vLLM leverer den bedste produktionsydeevne med native multi-GPU-understøttelse: det er valget for dedikerede servere udstyret med H100’er eller A100’er. llama.cpp vinder på portabilitet, stråler på Apple Silicon og forbruger-GPU’er og springer Python over. LM Studio vinder på ergonomi med en fuld GUI, der er ideel til at opdage lokale modeller. Ollama tilbyder den hurtigste opsætning og forenklet modelstyring, perfekt til test og prototyping. Alligevel betyder dette valg lidt, fordi de alle eksponerer den samme API i OpenAI-format – denne fællesnævner lader Vibe forbinde uden at vide noget om motoren, der kører bagved.

GET  /v1/models              # List tilgængelige modeller
POST /v1/chat/completions    # Chat-fuldførelse (hovedfunktion)
GET  /health                 # Serverstatus (vLLM)

Konfigurationen i Vibe er derfor identisk på tværs af frameworks: kun porten ændrer sig.

vLLM      → http://localhost:8080
LM Studio → http://localhost:1234
Ollama    → http://localhost:11434
llama.cpp → http://localhost:8080

Du kan starte med Ollama for at få føling med tingene, migrere til llama.cpp for at optimere kvantificeringen og derefter skifte til vLLM den dag, dit team deler en GPU-server – uden at røre din Vibe-konfiguration.

Opsamling på kurset

Denne rejse har ført dig gennem Mistral Vibes avancerede økosystem. Du har lært at styre, hvem der udfører dine opgaver, og med hvilke tilladelser, via indbyggede agenter og derefter brugerdefinerede agenter, samt at kalibrere risiko med ægte låse: værktøjslister, tilladelser pr. værktøj og betroede mapper, hvor feltet safety kun fungerer som et visuelt mærke. Unificerede tilstande samler værktøjer, tilladelser og adfærd i aktiverbare profiler; underagenter delegerer specialiserede opgaver uafhængigt. Derefter byggede du genanvendelige komponenter med færdigheder og deres SKILL.md, lanceret af skråstregskommandoer i én enkelt bevægelse, og samlede tilstande skræddersyet til din udviklingscyklus – gennemgang, deploy, lint. Afklaring med flere valgmuligheder viste dig, hvordan Vibe spørger før handling, når ting er tvetydige, og lokal tilstand med Devstral åbnede vejen til et fortroligt, offline og suverænt miljø. Du har nu alle værktøjer til at bygge et AI-assisteret udviklingsmiljø, der respekterer dine begrænsninger for sikkerhed, ydeevne og suverænitet.

Vigtige pointer

  • llama.cpp: Ren C++, på tværs af platforme, fremragende på Apple Silicon
  • LM Studio: Grafisk grænseflade, ideel til begyndere
  • Ollama: Hurtigst opsætning, Docker-lignende workflow
  • vLLM: Anbefalet til produktion med server-GPU’er
  • Alle eksponerer en OpenAI-kompatibel API – Vibe forbinder transparent
  • Vælg dit framework baseret på dit hardware og dit komfortniveau

Test din viden

Agenter, færdigheder, tilstande, lokalt: avanceret Vibe på fem punkter.

1. Hvad tillader brugerdefinerede agenter i TOML?

Svar: Definer dine egne agenter – instrukser, værktøjer, adfærd – i en TOML-fil: dit teams specialiserede agent bliver en versioneret artefakt.

2. Begrænser en agents safety-felt (safe, neutral, destructive, smart, yolo) dens handlinger?

Svar: Nej. Det er et visuelt signal, der farver input-kanten. Det, der faktisk begrænser en agent, er enabled_tools og disabled_tools, tilladelserne [tools.<tool>] (always, ask, never), scope for arbejdsmappen og betroede mapper.

3. Færdigheder og skråstregskommandoer: hvordan virker de sammen?

Svar: En færdighed (SKILL.md) kapsler en genanvendelig procedure ind; skråstregskommandoen udløser den i én bevægelse – opdagelse, aktivering og prioritet styrer kataloget.

4. Hvad bruges underagenter til?

Svar: Til at delegere specialiserede delopgaver til dedikerede agenter – hovedagenten orchestrerer, underagenterne udfører deres specialitet.

5. Hvordan kører du Vibe fuldstændigt lokalt?

Svar: Ved at serve en anbefalet åben model (Devstral Small 2 eller Mistral Small 4) med vLLM eller et alternativ (llama.cpp, LM Studio, Ollama), erklære den som en udbyder i config.toml og derefter deaktivere telemetri og opdateringskontroller (enable_telemetry = false, enable_update_checks = false).

Agenter erklæret, sikkerhed graderet, færdigheder udstyret med værktøjer, lokalt muligt: avanceret Vibe er en platform – konfigurér den, så den matcher dit team.