Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Hostja Devstral Lokament

Lezzjoni 13 / 14 Aġġornat 2 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Għaliex tospita Devstral lokament?
  2. Mudelli rrakkomandati
  3. Prerekwiżiti tal-Hardware
  4. Dispjegament b’vLLM
  5. Użu tas-server lokali
  6. Qafas alternattivi
  7. Konnessjoni ta’ Vibe mas-server lokali
  8. Punti Ewlenin

Lezzjoni aġġornata fit-2 ta’ Novembru, 2026 abbażi tal-paġna Using offline models fid-dokumentazzjoni ta’ Vibe: Devstral tneħħa mill-API, iżda Devstral Small 2 għadu hemm, flimkien ma’ Mistral Small 4, bħala wieħed miż-żewġ mudelli miftuħa rrakkomandati għall-użu lokali. Stimi tal-ispejjeż mingħajr sorsi tneħħew, u l-konnessjoni ta’ Vibe ma’ server lokali issa ssegwi s-sintassi uffiċjali ta’ config.toml. Sors: Using offline models.

Għaliex tospita Devstral lokament?

Devstral Small 2 ġie rilaxxat b’piżijiet miftuħa taħt il-liċenzja Apache 2.0 (Devstral 2, il-ħu l-kbir tiegħu b’123 biljun parametru, juża liċenzja MIT modifikata). Għalkemm tneħħa mill-Mistral API fil-31 ta’ Marzu, 2026, ma għabx: tista’ tiddispjegah fuq is-servers tiegħek stess mingħajr ma tibgħat linja waħda ta’ kodiċi lil API esterna, u d-dokumentazzjoni ta’ Vibe għadha tirrakkomandah għal dan l-iskop.

Il-motivazzjonijiet spiss jikkoinċidu. Il-privatezza tiġi l-ewwel: il-kodiċi tiegħek qatt ma joħroġ mill-infrastruttura tiegħek, u b’hekk jintemmu kwalunkwe dibattiti dwar it-termini tal-użu ta’ fornitur. Imbagħad hemm il-latency, peress li l-ebda vjaġġ tan-network lejn l-API ta’ Mistral ma jkun bejn it-tastiera tiegħek u s-suġġeriment. L-istruttura tal-ispejjeż tinbidel: tħallas prezz fiss għal GPU minflok fatturazzjoni bbażata fuq l-użu, li ssir vantaġġuża hekk kif tim sħiħ jikkonsulta l-mudell tul il-jum kollu. Fl-aħħar nett, hemm il-konformità, meħtieġa minn ċerti regolamenti u setturi bħall-bankarja jew id-difiża, u d-disponibbiltà, peress li l-ebda servizz ta’ parti terza ma jista’ jinterrompi x-xogħol tiegħek.

Mudelli rrakkomandati

Id-dokumentazzjoni ta’ Vibe tirrakkomanda żewġ mudelli miftuħa għall-użu lokali:

  • Devstral Small 2 (mistralai/Devstral-Small-2-24B-Instruct-2512 fuq Hugging Face): 24 biljun parametru, dens, imħarreġ għal kompiti aġentiċi u coding, bl-iżjed footprint ħafif tal-hardware;
  • Mistral Small 4: 119-il biljun parametru f’arkitettura ta’ mixture-of-experts, b’6.5 biljun attiv, mudell ibridu għar-raġunar u l-coding b’kuntest ta’ 256,000 token, taħt il-liċenzja Apache 2.0.

Prerekwiżiti tal-Hardware

Għal prestazzjoni deċenti fuq kuntesti twal, id-dokumentazzjoni tirrakkomanda dispjegament FP8 b’kuntest ta’ madwar 128,000 token:

KonfigurazzjoniHardwarePreċiżjoniKuntest
IrrakkomandatGPU H100 jew A100FP8~128,000 token
Workstation ta’ żviluppRTX 4090 jew kwalunkwe GPU b’24 GB VRAM4-bit~32,000 token
L-ebda GPUCPU offload, b’biżżejjed RAM—— ferm aktar bil-mod

Dawn iċ-ċifri japplikaw għal Devstral Small 2. Mistral Small 4 jeħtieġ ħafna aktar memorja tal-vidjo biex ittagħbja l-piżijiet tiegħu: għodd fuq mill-inqas H100 wieħed ta’ 80 GB f’FP8, u aktar għal kuntesti twal. Imbagħad aġġusta l-preċiżjoni u t-tul tal-kuntest skont l-hardware tiegħek.

Dispjegament b’vLLM

vLLM huwa l-qafas ta’ inferenza rrakkomandat mid-dokumentazzjoni ta’ Vibe biex isservi Devstral. L-installazzjoni teħtieġ kmand wieħed biss.

pip install vllm

Is-server imbagħad jibda f’linja waħda, biż-żewġ għażliet li jagħmlu l-mudell użabbli f’modalità aġent.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Tliet varjanti jkopru l-biċċa l-kbira tas-sitwazzjonijiet reali: tqassim tal-mudell fuq GPUs multipli, tnaqqis tal-preċiżjoni meta l-VRAM tkun limitata, jew tnaqqis tal-kuntest għall-istess raġuni.

# Multi-GPU (jekk għandek 2+ GPUs)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

# Preċiżjoni mnaqqsa (għal GPUs b'anqas VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# Kuntest imnaqqas (biex tiffranka VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 32768 \
  --port 8080

Hawnhekk hawn x’jikkontrolla kull flag:

  • --tool-call-parser mistral — jippermetti l-parsing ta’ sejħiet ta’ għodod (tool calls) fil-format ta’ Mistral
  • --enable-auto-tool-choice — jippermetti lill-mudell jiddeċiedi meta jsejjaħ għodda
  • --tensor-parallel-size — jaqsam il-mudell fuq GPUs multipli
  • --dtype — jikkontrolla l-preċiżjoni (float16, bfloat16, float32)
  • --max-model-len — jillimita d-daqs tal-kuntest biex tiffranka VRAM

L-ewwel żewġ flags jistħoqqilhom attenzjoni speċjali: jekk tonqoshom, ikollok server li jaħdem perfettament għall-konversazzjoni iżda jonqos b’mod silenzjuż hekk kif aġent jipprova jsejjaħ għodda. Din hija l-aktar kawża komuni li dispjegament lokali jiġi ġġudikat bħala “deludenti”.

Użu tas-server lokali

Ladarba vLLM ikun qed jaħdem, il-port 8080 jesponi API kompatibbli ma’ OpenAI. L-SDK ta’ Mistral jikkonnettja miegħu billi sempliċiment tbiddel l-URL tas-server; iċ-ċavetta ma għadhiex meħtieġa.

from mistralai.client import Mistral

# Indirizza lejn is-server lokali
client = Mistral(
    api_key="dummy",  # L-ebda ċavetta meħtieġa lokament
    server_url="http://localhost:8080",
)

response = client.chat.complete(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Analizza dan il-kodiċi u ssuġġerixxi titjib."}
    ],
)

L-SDK ta’ OpenAI jaħdem tajjeb daqskemm, u jħallik tibdel il-kodiċi eżistenti għal Devstral lokali mingħajr ma tiktbu mill-ġdid.

from openai import OpenAI

client = OpenAI(
    api_key="dummy",
    base_url="http://localhost:8080/v1",
)

response = client.chat.completions.create(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Spjega dan il-kodiċi."}
    ],
)

Qafas alternattivi

vLLM mhix l-unika triq: Devstral jaħdem ma’ kwalunkwe qafas ta’ inferenza li jesponi API kompatibbli ma’ OpenAI. Id-dokumentazzjoni ta’ Vibe tiċita llama.cpp, adattat għal setups b’VRAM baxxa grazzi għall-mudelli GGUF kwantizzati tiegħu, LM Studio, li joffri interfaċċa grafika mingħajr il-linja tal-kmand, u Ollama. Iċċekkja l-isem eżatt tal-mudell u l-kwantizzazzjoni f’kull għodda qabel ma tqabbel ir-riżultati.

Konnessjoni ta’ Vibe mas-server lokali

Vibe ma jiġix b’mudell lokali inkluż: ladarba s-server tiegħek ikun qed jaħdem, tiddikjara fornitur u preset tal-mudell f’config.toml. Għal server kompatibbli ma’ OpenAI fuq il-port 8080:

active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Tliet prekawzjonijiet mid-dokumentazzjoni: żomm active_model fuq l-ewwel array [[...]], inkella TOML se jwaħħalha ma’ dak l-array; issettja max_context_length fil-preset biex tindika l-kuntest tas-server tiegħek; u vverifika li s-server jirritorna l-użu tat-token f’reazzjonijiet streaming (stream_options.include_usage). Vibe jipprovdi wkoll fornitur predefinit, llamacpp, li jipponta lejn http://127.0.0.1:8080/v1 mingħajr ċavetta: f’dak il-każ, sempliċiment ikteb provider = "llamacpp" fil-preset. Il-kmand /model imbagħad ibiddel bejn il-mudell lokali u l-mudelli ospitati.

Għal operazzjoni kompletament offline, iddiżattiva wkoll it-telemetrija u l-kontrolli tal-aġġornament:

enable_telemetry = false
enable_update_checks = false

B’dawn l-issettjarji u fornitur lokali, il-CLI ma jikkuntattjax aktar lil mistral.ai. Il-ħiliet (skills), is-servers MCP, u l-konnetturi li jilħqu sistemi esterni jridu jiġu ddiżattivati separatament.

Punti Ewlenin

  • Devstral tneħħa mill-API, iżda Devstral Small 2 (24B, Apache 2.0) għadu rrakkomandat għall-użu lokali, flimkien ma’ Mistral Small 4
  • vLLM huwa l-qafas irrakkomandat; --tool-call-parser mistral u --enable-auto-tool-choice huma essenzjali għal aġent
  • H100 jew A100 f’FP8 b’kuntest ta’ ~128k; GPU ta’ 24 GB f’4-bit b’~32k
  • Is-server jesponi API kompatibbli ma’ OpenAI, użabbli mal-SDK ta’ Mistral jew l-SDK ta’ OpenAI
  • Vibe jikkonnettja mas-server permezz ta’ preset f’config.toml (jew il-fornitur llamacpp); iddiżattiva t-telemetrija u l-aġġornamenti għall-użu offline