Găzduirea locală a Devstral
Pe această pagină
Lecție actualizată la 2 noiembrie 2026 pe baza paginii Using offline models din documentația Vibe: Devstral a fost eliminat din API, dar Devstral Small 2 rămâne disponibil, alături de Mistral Small 4, ca unul dintre cele două modele open-source recomandate pentru utilizarea locală. Estimările de costuri fără surse au fost eliminate, iar conectarea Vibe la un server local respectă acum sintaxa oficială
config.toml. Sursă: Using offline models.
De ce să găzduiți Devstral local?
Devstral Small 2 este lansat cu weights deschise sub licența Apache 2.0 (Devstral 2, fratele său mai mare cu 123 de miliarde de parametri, utilizează o licență MIT modificată). Deși a fost eliminat din API-ul Mistral la 31 martie 2026, nu a dispărut: îl puteți implementa pe propriile servere fără a trimite niciun rând de cod către un API extern, iar documentația Vibe îl recomandă în continuare în acest scop.
Motivațiile se suprapun adesea. Confidențialitatea vine pe primul loc: codul dumneavoastră nu părăsește niciodată infrastructura, punând capăt oricăror dezbateri privind termenii de utilizare ai unui furnizor. Latența urmează, deoarece niciun dus-întors prin rețea către API-ul Mistral nu se interpune între tastele dumneavoastră și sugestia oferită. Structura costurilor se schimbă: plătiți un preț fix pentru un GPU în loc de o facturare bazată pe utilizare, ceea ce devine avantajos imediat ce o echipă întreagă interoghează modelul toată ziua. În final, există conformitatea, cerută de anumite reglementări și sectoare precum banking-ul sau apărarea, și disponibilitatea, deoarece niciun serviciu terț nu vă poate întrerupe activitatea.
Modele recomandate
Documentația Vibe recomandă două modele open-source pentru utilizarea locală:
- Devstral Small 2 (
mistralai/Devstral-Small-2-24B-Instruct-2512pe Hugging Face): 24 de miliarde de parametri, dens, antrenat pentru sarcini agentice și coding, cu cea mai redusă amprentă hardware; - Mistral Small 4: 119 miliarde de parametri într-o arhitectură mixture-of-experts, cu 6,5 miliarde activi, un model hibrid de raționament și coding cu un context de 256.000 de tokeni, sub licența Apache 2.0.
Prerechizite hardware
Pentru performanțe decente pe contexte lungi, documentația recomandă o implementare FP8 cu un context de aproximativ 128.000 de tokeni:
| Configurație | Hardware | Precizie | Context |
|---|---|---|---|
| Recomandat | GPU H100 sau A100 | FP8 | ~128.000 tokeni |
| Stație de lucru dezvoltare | RTX 4090 sau orice GPU cu 24 GB VRAM | 4-bit | ~32.000 tokeni |
| Fără GPU | Offload pe CPU, cu suficientă RAM | — | — semnificativ mai lent |
Aceste cifre se aplică pentru Devstral Small 2. Mistral Small 4 necesită mult mai multă memorie video pentru a încărca weights-urile sale: contați pe cel puțin un H100 de 80 GB în FP8, și mai mult pentru contexte lungi. Apoi ajustați precizia și lungimea contextului în funcție de hardware-ul dumneavoastră.
Implementare cu vLLM
vLLM este framework-ul de inferență recomandat de documentația Vibe pentru servirea Devstral. Instalarea necesită o singură comandă.
pip install vllm
Serverul pornește apoi într-o singură linie, cu cele două opțiuni care fac modelul utilizabil în mod agent.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Trei variante acoperă majoritatea situațiilor din lumea reală: divizarea modelului pe mai multe GPU-uri, reducerea preciziei când VRAM-ul este limitat sau tăierea contextului din același motiv.
# Multi-GPU (dacă aveți 2+ GPU-uri)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
# Precizie redusă (pentru GPU-uri cu mai puțin VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# Context redus (pentru a economisi VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 32768 \
--port 8080
Iată ce controlează fiecare flag:
--tool-call-parser mistral— activează parsarea apelurilor de tool-uri în format Mistral--enable-auto-tool-choice— permite modelului să decidă când să apeleze un tool--tensor-parallel-size— divizează modelul pe mai multe GPU-uri--dtype— controlează precizia (float16, bfloat16, float32)--max-model-len— limitează dimensiunea contextului pentru a economisi VRAM
Primele două merită o atenție specială: omiterea lor vă oferă un server care funcționează perfect pentru conversație, dar eșuează silențios imediat ce un agent încearcă să apeleze un tool. Aceasta este cea mai frecventă cauză pentru care o implementare locală este judecată ca fiind „dezamăgitoare“.
Utilizarea serverului local
Odată ce vLLM rulează, portul 8080 expune un API compatibil OpenAI. SDK-ul Mistral se conectează la acesta schimbând pur și simplu URL-ul serverului; cheia nu mai este necesară.
from mistralai.client import Mistral
# Indicați către serverul local
client = Mistral(
api_key="dummy", # Nu este necesară nicio cheie local
server_url="http://localhost:8080",
)
response = client.chat.complete(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Analizează acest cod și sugerează îmbunătățiri."}
],
)
SDK-ul OpenAI funcționează la fel de bine, permițându-vă să migrați codul existent către Devstral local fără a-l rescrie.
from openai import OpenAI
client = OpenAI(
api_key="dummy",
base_url="http://localhost:8080/v1",
)
response = client.chat.completions.create(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Explică acest cod."}
],
)
Framework-uri alternative
vLLM nu este singura cale: Devstral funcționează cu orice framework de inferență care expune un API compatibil OpenAI. Documentația Vibe citează llama.cpp, potrivit pentru configurări cu VRAM redus datorită modelelor sale quantizate GGUF, LM Studio, care oferă o interfață grafică fără linie de comandă, și Ollama. Verificați numele exact al modelului și quantizarea în fiecare tool înainte de a compara rezultatele.
Conectarea Vibe la serverul local
Vibe nu include un model local: odată ce serverul dumneavoastră rulează, declarați un provider și un preset de model în config.toml. Pentru un server compatibil OpenAI pe portul 8080:
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Trei precauții din documentație: mențineți active_model deasupra primului array [[...]], sau TOML îl va atașa acelui array; setați max_context_length în preset pentru a indica contextul serverului dumneavoastră; și verificați dacă serverul returnează utilizarea tokenilor în răspunsurile streaming (stream_options.include_usage). Vibe oferă, de asemenea, un provider predefinit, llamacpp, care indică spre http://127.0.0.1:8080/v1 fără o cheie: în acest caz, scrieți doar provider = "llamacpp" în preset. Comanda /model comută apoi între modelul local și modelele găzduite.
Pentru o funcționare complet offline, dezactivați, de asemenea, telemetria și verificările de actualizare:
enable_telemetry = false
enable_update_checks = false
Cu aceste setări și un provider local, CLI-ul nu mai contactează mistral.ai. Abilitățile, serverele MCP și conectorii care ating sisteme externe trebuie dezactivați separat.
Puncte cheie
- Devstral este eliminat din API, dar Devstral Small 2 (24B, Apache 2.0) rămâne recomandat pentru utilizarea locală, alături de Mistral Small 4
- vLLM este framework-ul recomandat;
--tool-call-parser mistralși--enable-auto-tool-choicesunt esențiale pentru un agent - H100 sau A100 în FP8 cu context ~128k; un GPU de 24 GB în 4-bit cu context ~32k
- Serverul expune un API compatibil OpenAI, utilizabil cu SDK-ul Mistral sau SDK-ul OpenAI
- Vibe se conectează la server printr-un preset în
config.toml(sau provider-ulllamacpp); dezactivați telemetria și actualizările pentru utilizarea offline