Salt la conținutul principal
Română— Alege o limbă
Meniu

Găzduirea locală a Devstral

Lecția 13 din 14 Actualizată 2 noiembrie 2026 Dezvoltator
Pe această pagină
  1. De ce să găzduiți Devstral local?
  2. Modele recomandate
  3. Prerechizite hardware
  4. Implementare cu vLLM
  5. Utilizarea serverului local
  6. Framework-uri alternative
  7. Conectarea Vibe la serverul local
  8. Puncte cheie

Lecție actualizată la 2 noiembrie 2026 pe baza paginii Using offline models din documentația Vibe: Devstral a fost eliminat din API, dar Devstral Small 2 rămâne disponibil, alături de Mistral Small 4, ca unul dintre cele două modele open-source recomandate pentru utilizarea locală. Estimările de costuri fără surse au fost eliminate, iar conectarea Vibe la un server local respectă acum sintaxa oficială config.toml. Sursă: Using offline models.

De ce să găzduiți Devstral local?

Devstral Small 2 este lansat cu weights deschise sub licența Apache 2.0 (Devstral 2, fratele său mai mare cu 123 de miliarde de parametri, utilizează o licență MIT modificată). Deși a fost eliminat din API-ul Mistral la 31 martie 2026, nu a dispărut: îl puteți implementa pe propriile servere fără a trimite niciun rând de cod către un API extern, iar documentația Vibe îl recomandă în continuare în acest scop.

Motivațiile se suprapun adesea. Confidențialitatea vine pe primul loc: codul dumneavoastră nu părăsește niciodată infrastructura, punând capăt oricăror dezbateri privind termenii de utilizare ai unui furnizor. Latența urmează, deoarece niciun dus-întors prin rețea către API-ul Mistral nu se interpune între tastele dumneavoastră și sugestia oferită. Structura costurilor se schimbă: plătiți un preț fix pentru un GPU în loc de o facturare bazată pe utilizare, ceea ce devine avantajos imediat ce o echipă întreagă interoghează modelul toată ziua. În final, există conformitatea, cerută de anumite reglementări și sectoare precum banking-ul sau apărarea, și disponibilitatea, deoarece niciun serviciu terț nu vă poate întrerupe activitatea.

Modele recomandate

Documentația Vibe recomandă două modele open-source pentru utilizarea locală:

  • Devstral Small 2 (mistralai/Devstral-Small-2-24B-Instruct-2512 pe Hugging Face): 24 de miliarde de parametri, dens, antrenat pentru sarcini agentice și coding, cu cea mai redusă amprentă hardware;
  • Mistral Small 4: 119 miliarde de parametri într-o arhitectură mixture-of-experts, cu 6,5 miliarde activi, un model hibrid de raționament și coding cu un context de 256.000 de tokeni, sub licența Apache 2.0.

Prerechizite hardware

Pentru performanțe decente pe contexte lungi, documentația recomandă o implementare FP8 cu un context de aproximativ 128.000 de tokeni:

ConfigurațieHardwarePrecizieContext
RecomandatGPU H100 sau A100FP8~128.000 tokeni
Stație de lucru dezvoltareRTX 4090 sau orice GPU cu 24 GB VRAM4-bit~32.000 tokeni
Fără GPUOffload pe CPU, cu suficientă RAM—— semnificativ mai lent

Aceste cifre se aplică pentru Devstral Small 2. Mistral Small 4 necesită mult mai multă memorie video pentru a încărca weights-urile sale: contați pe cel puțin un H100 de 80 GB în FP8, și mai mult pentru contexte lungi. Apoi ajustați precizia și lungimea contextului în funcție de hardware-ul dumneavoastră.

Implementare cu vLLM

vLLM este framework-ul de inferență recomandat de documentația Vibe pentru servirea Devstral. Instalarea necesită o singură comandă.

pip install vllm

Serverul pornește apoi într-o singură linie, cu cele două opțiuni care fac modelul utilizabil în mod agent.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Trei variante acoperă majoritatea situațiilor din lumea reală: divizarea modelului pe mai multe GPU-uri, reducerea preciziei când VRAM-ul este limitat sau tăierea contextului din același motiv.

# Multi-GPU (dacă aveți 2+ GPU-uri)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

# Precizie redusă (pentru GPU-uri cu mai puțin VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# Context redus (pentru a economisi VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 32768 \
  --port 8080

Iată ce controlează fiecare flag:

  • --tool-call-parser mistral — activează parsarea apelurilor de tool-uri în format Mistral
  • --enable-auto-tool-choice — permite modelului să decidă când să apeleze un tool
  • --tensor-parallel-size — divizează modelul pe mai multe GPU-uri
  • --dtype — controlează precizia (float16, bfloat16, float32)
  • --max-model-len — limitează dimensiunea contextului pentru a economisi VRAM

Primele două merită o atenție specială: omiterea lor vă oferă un server care funcționează perfect pentru conversație, dar eșuează silențios imediat ce un agent încearcă să apeleze un tool. Aceasta este cea mai frecventă cauză pentru care o implementare locală este judecată ca fiind „dezamăgitoare“.

Utilizarea serverului local

Odată ce vLLM rulează, portul 8080 expune un API compatibil OpenAI. SDK-ul Mistral se conectează la acesta schimbând pur și simplu URL-ul serverului; cheia nu mai este necesară.

from mistralai.client import Mistral

# Indicați către serverul local
client = Mistral(
    api_key="dummy",  # Nu este necesară nicio cheie local
    server_url="http://localhost:8080",
)

response = client.chat.complete(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Analizează acest cod și sugerează îmbunătățiri."}
    ],
)

SDK-ul OpenAI funcționează la fel de bine, permițându-vă să migrați codul existent către Devstral local fără a-l rescrie.

from openai import OpenAI

client = OpenAI(
    api_key="dummy",
    base_url="http://localhost:8080/v1",
)

response = client.chat.completions.create(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Explică acest cod."}
    ],
)

Framework-uri alternative

vLLM nu este singura cale: Devstral funcționează cu orice framework de inferență care expune un API compatibil OpenAI. Documentația Vibe citează llama.cpp, potrivit pentru configurări cu VRAM redus datorită modelelor sale quantizate GGUF, LM Studio, care oferă o interfață grafică fără linie de comandă, și Ollama. Verificați numele exact al modelului și quantizarea în fiecare tool înainte de a compara rezultatele.

Conectarea Vibe la serverul local

Vibe nu include un model local: odată ce serverul dumneavoastră rulează, declarați un provider și un preset de model în config.toml. Pentru un server compatibil OpenAI pe portul 8080:

active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Trei precauții din documentație: mențineți active_model deasupra primului array [[...]], sau TOML îl va atașa acelui array; setați max_context_length în preset pentru a indica contextul serverului dumneavoastră; și verificați dacă serverul returnează utilizarea tokenilor în răspunsurile streaming (stream_options.include_usage). Vibe oferă, de asemenea, un provider predefinit, llamacpp, care indică spre http://127.0.0.1:8080/v1 fără o cheie: în acest caz, scrieți doar provider = "llamacpp" în preset. Comanda /model comută apoi între modelul local și modelele găzduite.

Pentru o funcționare complet offline, dezactivați, de asemenea, telemetria și verificările de actualizare:

enable_telemetry = false
enable_update_checks = false

Cu aceste setări și un provider local, CLI-ul nu mai contactează mistral.ai. Abilitățile, serverele MCP și conectorii care ating sisteme externe trebuie dezactivați separat.

Puncte cheie

  • Devstral este eliminat din API, dar Devstral Small 2 (24B, Apache 2.0) rămâne recomandat pentru utilizarea locală, alături de Mistral Small 4
  • vLLM este framework-ul recomandat; --tool-call-parser mistral și --enable-auto-tool-choice sunt esențiale pentru un agent
  • H100 sau A100 în FP8 cu context ~128k; un GPU de 24 GB în 4-bit cu context ~32k
  • Serverul expune un API compatibil OpenAI, utilizabil cu SDK-ul Mistral sau SDK-ul OpenAI
  • Vibe se conectează la server printr-un preset în config.toml (sau provider-ul llamacpp); dezactivați telemetria și actualizările pentru utilizarea offline