Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Alternativ lokala: llama.cpp, LM Studio, Ollama

Lektion 14 av 14 Uppdaterad 2 november 2026 Avancerad
På denna sida
  1. Utöver vLLM
  2. llama.cpp: Maximal portabilitet
  3. LM Studio: Allt med musen
  4. Ollama: Snabbaste installationen
  5. Att välja, och varför valet spelar liten roll
  6. Sammanfattning av kursen
  7. Viktiga punkter
  8. Testa dina kunskaper

Lektionen uppdaterad 2 november 2026 baserat på sidan Using offline models i Vibe-dokumentationen. Devstral har tagits bort från Mistral API, men dess vikter finns fortfarande publicerade: Devstral Small 2 och Mistral Small 4 är de två rekommenderade öppna modellerna för lokal användning. Vibe levereras inte med en lokal modell: du kopplar den till en kompatibel OpenAI-server via en förinställning i config.toml, och byter sedan med /model. Källa: Using offline models.

Utöver vLLM

vLLM är ramverket som Vibe-dokumentationen rekommenderar för att serva Devstral, men det är inte det enda alternativet. Tre alternativ täcker scenarier där vLLM har svårt: en Mac med Apple Silicon, en Windows-dator där installationen fastnar, eller önskan att testa en modell på fem minuter. De delar alla en sak som spelar roll – de exponerar ett OpenAI-kompatibelt API, vilket gör dem utbytbara ur Vibes perspektiv.

llama.cpp: Maximal portabilitet

llama.cpp är en inferensmotor skriven i ren C/C++, designad för att köras på så många plattformar som möjligt med minimala beroenden. Denna begränsning är dess styrka: den fungerar på Linux, macOS och Windows, inklusive ARM – både Apple Silicon och Raspberry Pi. Den inbyggda GGUF-kvantiseringsstödet i Q4, Q5 eller Q8 gör den särskilt lämpad för konsument-GPU:er där VRAM är begränsat. Den kräver varken Python eller ett fullständigt CUDA-toolkit, och dess prestanda på Apple Silicon via Metal, såväl som på NVIDIA, är utmärkt. Kompromissen är ett kompileringssteg.

# Klona och kompilera
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1  # Med CUDA-stöd

# Starta servern
./llama-server \
  -m devstral-small-2-24b-instruct.Q4_K_M.gguf \
  --port 8080 \
  -ngl 99 \
  -c 32768

Viktiga flaggor:

  • -m: sökväg till modellen i GGUF-format
  • -ngl 99: antal lager som offloadas till GPU:n (99 = alla)
  • -c 32768: storlek på kontextfönstret
  • --port 8080: API-port

I praktiken justerar du -ngl: om modellen vägrar laddas, minska antalet lager som skickas till GPU:n. Välj llama.cpp om du har en Mac med Apple Silicon (M1 till M4), vill undvika alla Python-beroenden, behöver den mest aggressiva kvantiseringen för ett litet GPU-minne, eller arbetar på ARM – Graviton-server eller Raspberry Pi.

LM Studio: Allt med musen

LM Studio är ett skrivbordsprogram som reducerar lokal distribution till några få klick. Gränssnittet hanterar nedladdning, konfiguration och start; katalogen låter dig bläddra och hämta modeller från Hugging Face utan kommandoraden; den inbyggda OpenAI-kompatibla API-servern kräver ingen finjustering. Appen körs på Windows, macOS och Linux. Installationen sker helt i gränssnittet:

  1. Öppna LM Studio
  2. Ladda ner Devstral Small 2 från katalogen
  3. Ladda modellen
  4. Aktivera den lokala servern (knappen “Start Server”)
  5. I Vibe: deklarera LM Studio-servern som en OpenAI-kompatibel leverantör i config.toml (adressen visas i LM Studio), välj sedan modellen med /model

Håll koll på porten: LM Studio lyssnar som standard på 1234. Om din Vibe förväntar sig port 8080, justera antingen LM Studios konfiguration eller Vibes – detta är den vanligaste orsaken till att “Vibe kan inte hitta servern” även om modellen är laddad. LM Studio passar dig om du är nybörjare på lokala modeller, föredrar ett grafiskt gränssnitt framför kommandoraden, snabbt vill testa flera modeller, eller har Windows och installationen av vLLM ställer till problem.

Ollama: Snabbaste installationen

Ollama lånar Dockers användarvänlighet: ett kommando för att hämta en modell, ett annat för att köra den. Installationen tar en rad, hantering sker med ollama pull, ollama run och ollama list, det OpenAI-kompatibla API:t är inbyggt och aktivt som standard, och modeller uppdateras som Docker-images.

# Installera Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Ladda ner och kör Devstral Small 2
ollama pull devstral-small-2

# Starta modellen (API-servern startar automatiskt)
ollama run devstral-small-2

Servern lyssnar på port 11434, med OpenAI-kompatibel endpoint på http://localhost:11434/v1/: detta är api_base att deklarera i Vibe-leverantören, med name = "devstral-small-2" i modellförinställningen. Välj Ollama om du vill komma igång så snabbt som möjligt, jonglera med flera modeller för testning, är bekväm med Docker-arbetsflöden, eller vill ha en inferensserver som körs permanent i bakgrunden.

Att välja, och varför valet spelar liten roll

Varje ramverk upptar en egen nisch. vLLM levererar bäst prestanda för produktion med inbyggt stöd för flera GPU:er: det är valet för dedikerade servrar utrustade med H100 eller A100. llama.cpp vinner på portabilitet, glänser på Apple Silicon och konsument-GPU:er, och hoppar över Python. LM Studio vinner på ergonomi, med ett helt grafiskt gränssnitt idealiskt för att utforska lokala modeller. Ollama erbjuder snabbaste installationen och förenklad modellhantering, perfekt för testning och prototyping. Ändå spelar detta val liten roll, eftersom de alla exponerar samma API i OpenAI-format – denna gemensamma nämnare låter Vibe ansluta utan att veta något om motorn som körs bakom kulisserna.

GET  /v1/models              # Lista tillgängliga modeller
POST /v1/chat/completions    # Chat-komplettering (huvud)
GET  /health                 # Serverstatus (vLLM)

Konfigurationen i Vibe är därför identisk över alla ramverk: bara porten ändras.

vLLM      → http://localhost:8080
LM Studio → http://localhost:1234
Ollama    → http://localhost:11434
llama.cpp → http://localhost:8080

Du kan börja med Ollama för att testa vattnet, migrera till llama.cpp för att optimera kvantisering, och sedan byta till vLLM den dag ditt team delar en GPU-server – utan att röra din Vibe-konfiguration.

Sammanfattning av kursen

Denna resa har tagit dig genom Mistral Vibes avancerade ekosystem. Du har lärt dig att styra vem som utför dina uppgifter och med vilka behörigheter, via inbyggda agenter och sedan anpassade agenter, samt att kalibrera risk med verkliga lås: verktygslistor, behörigheter per verktyg och betrodda mappar, där fältet safety endast fungerar som en visuell etikett. Enifierade lägen buntar ihop verktyg, behörigheter och beteenden till aktiverbara profiler; underagenter delegerar specialiserade uppgifter självständigt. Du byggde sedan återanvändbara komponenter med färdigheter och deras SKILL.md, startade med snedstreckskommandon i en enda gest, och satte ihop lägen skräddarsydda för din utvecklingscykel – granskning, distribution, lintning. Förtydligande med flervalsalternativ visade dig hur Vibe frågar innan den agerar när saker är tvetydiga, och lokalt läge med Devstral öppnade vägen till en konfidentiell, offline, suverän miljö. Du har nu alla verktyg för att bygga en AI-assisterad utvecklingsmiljö som respekterar dina krav på säkerhet, prestanda och suveränitet.

Viktiga punkter

  • llama.cpp: Ren C++, plattformsoberoende, utmärkt på Apple Silicon
  • LM Studio: Grafiskt gränssnitt, idealiskt för nybörjare
  • Ollama: Snabbaste installationen, Docker-liknande arbetsflöde
  • vLLM: Rekommenderas för produktion med server-GPU:er
  • Alla exponerar ett OpenAI-kompatibelt API – Vibe ansluter transparent
  • Välj ditt ramverk baserat på din hårdvara och komfortnivå

Testa dina kunskaper

Agenter, färdigheter, lägen, lokalt: avancerad Vibe på fem punkter.

1. Vad möjliggör anpassade agenter i TOML?

Svar: Definiera dina egna agenter – instruktioner, verktyg, beteende – i en TOML-fil: ditt teams specialiserade agent blir en versionshanterad artefakt.

2. Begränsar en agents safety-fält (safe, neutral, destructive, smart, yolo) dess åtgärder?

Svar: Nej. Det är en visuell ledtråd som färgar inmatningsramen. Det som faktiskt begränsar en agent är enabled_tools och disabled_tools, behörigheterna [tools.<tool>] (always, ask, never), omfattningen av arbetskatalogen och betrodda mappar.

3. Färdigheter och snedstreckskommandon: hur fungerar de tillsammans?

Svar: En färdighet (SKILL.md) kapslar in en återanvändbar procedur; snedstreckskommandot utlöser den i en enda gest – upptäckt, aktivering och prioritet hanterar katalogen.

4. Vad används underagenter till?

Svar: För att delegera specialiserade deluppgifter till dedikerade agenter – huvudagenten orkestrerar, underagenterna utför sin specialitet.

5. Hur kör du Vibe helt lokalt?

Svar: Genom att serva en rekommenderad öppen modell (Devstral Small 2 eller Mistral Small 4) med vLLM eller ett alternativ (llama.cpp, LM Studio, Ollama), deklarera den som en leverantör i config.toml, och sedan inaktivera telemetri och uppdateringskontroller (enable_telemetry = false, enable_update_checks = false).

Agenter deklarerade, säkerhet graderad, färdigheter utrustade, lokalt möjligt: avancerad Vibe är en plattform – konfigurera den så att den matchar ditt team.