Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Host Devstral lokalt

Lektion 13 af 14 Opdateret 2. november 2026 Udvikler
På denne side
  1. Hvorfor hoste Devstral lokalt?
  2. Anbefalede modeller
  3. Hardwarekrav
  4. Deployment med vLLM
  5. Brug af den lokale server
  6. Alternative frameworks
  7. Tilslutning af Vibe til den lokale server
  8. Vigtige pointer

Lektionen opdateret 2. november 2026 baseret på siden Using offline models i Vibe-dokumentationen: Devstral er fjernet fra API’et, men Devstral Small 2 findes stadig og anbefales sammen med Mistral Small 4 som en af de to åbne modeller til lokal brug. Udocumenterede omkostningsestimater er fjernet, og tilslutning af Vibe til en lokal server følger nu den officielle config.toml-syntaks. Kilde: Using offline models.

Hvorfor hoste Devstral lokalt?

Devstral Small 2 udgives med åbne vægte under Apache 2.0-licensen (Devstral 2, dens storebror med 123 milliarder parametre, bruger en modificeret MIT-licens). Selvom modellen blev fjernet fra Mistral API den 31. marts 2026, er den ikke forsvundet: Du kan deploye den på dine egne servere uden at sende en eneste linje kode til et eksternt API, og Vibe-dokumentationen anbefaler den stadig til dette formål.

Motivationerne overlapper ofte. Privatliv kommer først: Din kode forlader aldrig din infrastruktur, hvilket afbryder enhver debat om en udbyders brugsvilkår. Derefter kommer latens, da ingen netværksrundtur til Mistral API står mellem dine tastetryk og forslaget. Omkostningsstrukturen ændrer sig: Du betaler en fast pris for en GPU i stedet for brugsbaseret fakturering, hvilket bliver en fordel, så snart et helt team spørger modellen hele dagen. Endelig er der compliance, som kræves af visse regler og sektorer som bank eller forsvar, samt tilgængelighed, da ingen tredjepartstjeneste kan afbryde dit arbejde.

Anbefalede modeller

Vibe-dokumentationen anbefaler to åbne modeller til lokal brug:

  • Devstral Small 2 (mistralai/Devstral-Small-2-24B-Instruct-2512 på Hugging Face): 24 milliarder parametre, dense, trænet til agentopgaver og kodning med det letteste hardware-footprint;
  • Mistral Small 4: 119 milliarder parametre i en mixture-of-experts-arkitektur, hvoraf 6,5 milliarder er aktive; en hybrid model til ræsonnement og kodning med en kontekst på 256.000 tokens under Apache 2.0-licensen.

Hardwarekrav

For decent ydeevne ved lange kontekster anbefaler dokumentationen en FP8-deployment med en kontekst på ca. 128.000 tokens:

KonfigurationHardwarePræcisionKontekst
AnbefaletH100 eller A100 GPUFP8~128.000 tokens
UdviklingsworkstationRTX 4090 eller enhver GPU med 24 GB VRAM4-bit~32.000 tokens
Ingen GPUCPU-offload med tilstrækkelig RAM—— betydeligt langsommere

Disse tal gælder for Devstral Small 2. Mistral Small 4 kræver meget mere videomemory for at indlæse sine vægte: Regn med mindst én 80 GB H100 i FP8 og mere til lange kontekster. Justér derefter præcision og kontekstlængde til din hardware.

Deployment med vLLM

vLLM er det inferens-framework, som Vibe-dokumentationen anbefaler til at serve Devstral. Installationen kræver kun én kommando.

pip install vllm

Serveren startes derefter på én linje med de to indstillinger, der gør modellen brugbar i agenttilstand.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Tre varianter dækker de fleste virkelige situationer: Opdeling af modellen på tværs af flere GPU’er, reduktion af præcision når VRAM er knap, eller beskæring af konteksten af samme årsag.

# Multi-GPU (hvis du har 2+ GPU'er)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

# Reduceret præcision (til GPU'er med mindre VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# Reduceret kontekst (for at spare VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 32768 \
  --port 8080

Her er hvad hvert flag styrer:

  • --tool-call-parser mistral — aktiverer parsing af tool-kald i Mistral-format
  • --enable-auto-tool-choice — tillader modellen at beslutte, hvornår den skal kalde et tool
  • --tensor-parallel-size — opdeler modellen på tværs af flere GPU’er
  • --dtype — styrer præcision (float16, bfloat16, float32)
  • --max-model-len — begrænser kontekststørrelsen for at spare VRAM

De to første fortjener særlig opmærksomhed: Udelader du dem, får du en server, der fungerer perfekt til samtale, men som fejler stille, så snart en agent forsøger at kalde et tool. Dette er den hyppigste årsag til, at en lokal deployment bliver vurderet som “skuffende”.

Brug af den lokale server

Når vLLM kører, eksponerer port 8080 et OpenAI-kompatibelt API. Mistral SDK’en forbinder sig til den ved blot at ændre server-URL’en; nøglen er ikke længere nødvendig.

from mistralai.client import Mistral

# Peg på den lokale server
client = Mistral(
    api_key="dummy",  # Ingen nøgle nødvendig lokalt
    server_url="http://localhost:8080",
)

response = client.chat.complete(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Analyser denne kode og foreslå forbedringer."}
    ],
)

OpenAI SDK’en fungerer lige så godt, så du kan skifte eksisterende kode til lokal Devstral uden at omskrive den.

from openai import OpenAI

client = OpenAI(
    api_key="dummy",
    base_url="http://localhost:8080/v1",
)

response = client.chat.completions.create(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Forklar denne kode."}
    ],
)

Alternative frameworks

vLLM er ikke den eneste vej: Devstral fungerer med ethvert inferens-framework, der eksponerer et OpenAI-kompatibelt API. Vibe-dokumentationen nævner llama.cpp, der egner sig til opsætninger med lav VRAM takket være dens GGUF-kvantiserede modeller, LM Studio, der tilbyder en grafisk grænseflade uden kommandolinjen, og Ollama. Tjek det nøjagtige modelnavn og kvantisering i hvert værktøj, før du sammenligner resultater.

Tilslutning af Vibe til den lokale server

Vibe medleverer ikke en lokal model: Når din server kører, definerer du en udbyder og en model-preset i config.toml. For en OpenAI-kompatibel server på port 8080:

active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Tre forholdsregler fra dokumentationen: Hold active_model over det første [[...]]-array, ellers vil TOML knytte det til dette array; sæt max_context_length i presetten for at angive din servers kontekst; og verificér, at serveren returnerer token-brug i streaming-svar (stream_options.include_usage). Vibe leverer også en fordefineret udbyder, llamacpp, der peger på http://127.0.0.1:8080/v1 uden en nøgle: I så fald skal du blot skrive provider = "llamacpp" i presetten. Kommandoen /model skifter derefter mellem den lokale model og hostede modeller.

For fuldt offline-drift skal du også deaktivere telemetri og opdateringskontroller:

enable_telemetry = false
enable_update_checks = false

Med disse indstillinger og en lokal udbyder kontakter CLI’en ikke længere mistral.ai. Færdigheder, MCP-servere og konnektorer, der når ud til eksterne systemer, skal deaktiveres separat.

Vigtige pointer

  • Devstral er fjernet fra API’et, men Devstral Small 2 (24B, Apache 2.0) anbefales stadig til lokal brug sammen med Mistral Small 4
  • vLLM er det anbefalede framework; --tool-call-parser mistral og --enable-auto-tool-choice er essentielle for en agent
  • H100 eller A100 i FP8 med ~128k kontekst; en 24 GB GPU i 4-bit med ~32k
  • Serveren eksponerer et OpenAI-kompatibelt API, brugbart med Mistral SDK eller OpenAI SDK
  • Vibe forbinder til serveren via en preset i config.toml (eller llamacpp-udbyderen); deaktivér telemetri og opdateringer til offline-brug