Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Deployér Devstral lokalt med vLLM

Lektion 13 af 14 Opdateret 2. november 2026 Avanceret
På denne side
  1. Forbered deploymenten
  2. Hvad dit hardware tillader
  3. Installer vLLM
  4. Start serveren
  5. Tilpas kommandoen til din maskine
  6. Forbind Vibe og verificér
  7. De tre problemer, du vil støde på
  8. Vigtige pointer

Lektionen opdateret 2. november 2026 baseret på siden Using offline models i Vibe-dokumentationen. Devstral er fjernet fra Mistral API, men deres vægte forbliver offentliggjorte: Devstral Small 2 og Mistral Small 4 er de to anbefalede åbne modeller til lokal brug. Vibe medfølger ikke en lokal model: du forbinder den til en OpenAI-kompatibel server via et preset i config.toml og skifter derefter ved hjælp af /model. Kilde: Using offline models.

Forbered deploymenten

At deploye Devstral lokalt betyder, at du kører en inferensserver på din maskine, der eksponerer en OpenAI-kompatibel API. Vibe forbinder sig derefter til den, præcis som om den talte med Mistral-clouden. Denne grænsefladekompatibilitet gør skiftet sømløst; dine værktøjer har ingen grund til at vide, hvor svarerne kommer fra. Det anbefalede framework til denne rolle er vLLM, en højtydende inferensmotor udviklet af open source-fællesskabet.

Hvad dit hardware tillader

Før du installerer noget, skal du tjekke dit GPU. Det bestemmer den brugbare præcision og dermed størrelsen på det kontekstvindue, du vil have til rådighed.

Konfiguration GPU VRAM Præcision Kontekst
Anbefalet NVIDIA H100 / A100 80 GB FP8 ~128K tokens
Alternativ RTX 4090 / RTX 6000 24–48 GB 4-bit (kvantiseret) ~32K tokens
Kun CPU Intet GPU 64+ GB RAM - Langsom (anbefales ikke)

Vigtig bemærkning: Konfigurationen med kun CPU er funktionel, men ekstremt langsom for en 24B-model. Den egner sig kun til test, ikke til daglig brug. Med andre ord lader den dig verificere, at kæden virker, men ikke at du kan arbejde med den.

Installer vLLM

Softwarekravet er minimalt: Python 3.10 eller højere, efterfulgt af en pip install.

# Python 3.10+ kræves
python3 --version

# Installer vLLM
pip install vllm

Tjek derefter, at NVIDIA-drivere og CUDA er installeret og fungerer. Denne kommando er den bedste end-to-end-test: hvis den viser dit GPU og en CUDA-version, er lavniveaulaget sundt, og eventuelle efterfølgende fejl vil stamme fra et andet sted.

nvidia-smi
# Skal vise dit GPU og CUDA-versionen

Start serveren

Startkommandoen passer i fire argumenter, hvoraf to er essentielle for at arbejde med Vibe.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Lad os gennemgå flagene:

  • mistralai/Devstral-Small-2-24B-Instruct-2512: Hugging Face-modellen, der skal indlæses
  • --tool-call-parser mistral: Aktiverer parsing af værktøjskald i Mistral-format
  • --enable-auto-tool-choice: Tillader modellen automatisk at vælge sine værktøjer
  • --port 8080: Serverens lytteport

De to flag relateret til værktøjer fortjener opmærksomhed. Uden dem ville serveren besvare dine spørgsmål, men modellen kunne ikke længere læse en fil eller køre en kommando. Vibe ville blive til en simpel chatbot, hvilket ikke er målet.

Tilpas kommandoen til din maskine

Hvis du har flere GPU’er, fordeler tensor-parallelisme modellen på tværs af alle kort. Den kombinerede VRAM muliggør derefter et bredere kontekstvindue.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

På en mere beskeden konfiguration skal du sænke præcisionen. En H100 eller A100 håndterer FP8; en RTX 4090 vil bruge 4-bit kvantisering med AWQ, på bekostning af et lille kvalitetstab, der mere end opvejes af, at modellen endelig passer i hukommelsen.

# FP8 på H100/A100
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# 4-bit på RTX 4090
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --quantization awq \
  --port 8080

Den sidste løftestang, når VRAM stadig er utilstrækkelig, er at reducere den maksimale kontekstlængde. Opmærksomhedscachen forbruger hukommelse proportionalt med konteksten, og et fald til 16.384 tokens frigør ofte det, der manglede for at starte.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 16384 \
  --port 8080

Forbind Vibe og verificér

Serveren kører; nu skal du fortælle Vibe, at den skal bruge den. Vibe medfølger ikke en lokal model: erklær en udbyder og et model-preset i config.toml.

# ~/.vibe/config.toml
active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Hold active_model over den første [[...]]-tabel, ellers vil TOML knytte den til den tabel. Sæt max_context_length i presetet for at angive din servers kontekst, som også skal returnere brug i tokens i streaming-svar (stream_options.include_usage). Kortere variant: Vibe leverer en foruddefineret udbyder, llamacpp, som peger på http://127.0.0.1:8080/v1 uden en nøgle; skriv i så fald provider = "llamacpp" i presetet uden en [[providers]]-blok. I en session skifter /model mellem den lokale model og hostede modeller.

Test kæden på to niveauer: først den rå API, hvilket bekræfter, at modellen er indlæst, derefter en rigtig anmodning i Vibe for at validere, at værktøjskald fungerer.

# Direkte API-test
curl http://localhost:8080/v1/models

# Test i Vibe (ask-agenten anmoder før hvert værktøj)
vibe --agent ask
> List files in the current directory

Til daglig brug bliver manuel genstart af kommandoen hurtigt kedelig. En systemd-tjeneste starter serveren ved opstart og genstarter den i tilfælde af nedbrud.

# Opret en systemd-tjeneste
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target

[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl enable --now vllm-devstral

De tre problemer, du vil støde på

En fejl CUDA out of memory betyder, at modellen ikke passer: reducer --max-model-len eller skift til 4-bit kvantisering. Langsomhed ved den allerførste start er normal og ikke et symptom – den indledende start downloader og indlæser modellen, ca. 14 GB, og efterfølgende starter drager fordel af cachen. Hvis Vibe endelig ikke kan finde den lokale server, skal du blot tjekke, at port 8080 lytter, før du leder videre.

curl http://localhost:8080/health

Vigtige pointer

  • vLLM er det anbefalede framework til at serve Devstral lokalt
  • Flagene --tool-call-parser mistral og --enable-auto-tool-choice er obligatoriske
  • En H100/A100 tilbyder FP8 og 128K kontekst; en RTX 4090 tilbyder 4-bit og 32K
  • Reducer --max-model-len, hvis VRAM er utilstrækkelig
  • Forbind Vibe via en udbyder og et model-preset i config.toml (eller den foruddefinerede llamacpp-udbyder), og brug derefter /model
  • Kør vLLM som en systemd-tjeneste til daglig brug