Hostinimas „Devstral“ vietoje
Šiame puslapyje
Pamoka atnaujinta 2026 m. lapkričio 2 d. remiantis „Using offline models“ puslapiu „Vibe“ dokumentacijoje: „Devstral“ buvo pašalintas iš API, tačiau „Devstral Small 2“ lieka, kartu su „Mistral Small 4“, kaip vienas iš dviejų rekomenduojamų atvirų modelių vietiniam naudojimui. Nepagrįsti kainų įverčiai buvo pašalinti, o „Vibe“ prijungimas prie vietinio serverio dabar vykdoma laikantis oficialios
config.tomlsintaksės. Šaltinis: Using offline models.
Kodėl verta hostinti „Devstral“ vietoje?
„Devstral Small 2“ išleistas su atvirais svoriais pagal Apache 2.0 licenciją („Devstral 2“, jo 123 mlrd. parametrų didysis brolis, naudoja modifikuotą MIT licenciją). Nors 2026 m. kovo 31 d. jis buvo pašalintas iš „Mistral“ API, jis nedingo: gali jį diegti savo serveriuose neišsiųsdamas nė vienos kodo eilutės į išorinį API, o „Vibe“ dokumentacija jį tam vis dar rekomenduoja.
Motyvacijos dažnai persipina. Pirmiausia – privatumas: tavo kodas niekada nepalieka tavo infrastruktūros, taip nutraukiant bet kokias diskusijas apie teikėjo naudojimo sąlygas. Antra – delsos mažinimas, nes tarp tavo paspaudimų ir pasiūlymo nebelieka tinklo kelionės pirmyn ir atgal į „Mistral“ API. Kinta kainodara: mokate fiksuotą kainą už GPU, o ne pagal naudojimą, kas tampa naudinga, kai visas komandos nariai visą dieną siunčia užklausas modeliui. Galiausiai – atitiktis reikalavimams, kurių reikalauja tam tikri reglamentai ir sektoriai, pavyzdžiui, bankininkystė ar gynyba, bei prieinamumas, juk jokia trečioji šalis negali nutraukti tavo darbo.
Rekomenduojami modeliai
„Vibe“ dokumentacija vietiniam naudojimui rekomenduoja du atvirus modelius:
- „Devstral Small 2“ (
mistralai/Devstral-Small-2-24B-Instruct-2512„Hugging Face“): 24 mlrd. parametrų, tankus, mokytas agentinėms užduotims ir kodavimui, reikalaujantis mažiausiai techninės įrangos; - „Mistral Small 4“: 119 mlrd. parametrų mišrios ekspertų (mixture-of-experts) architektūroje, iš kurių aktyvūs 6,5 mlrd., hibridinis samprotavimo ir kodavimo modelis su 256 000 tokenų kontekstu, pagal Apache 2.0 licenciją.
Techninės įrangos reikalavimai
Geram našumui esant ilgam kontekstui, dokumentacija rekomenduoja FP8 diegimą su maždaug 128 000 tokenų kontekstu:
| Konfigūracija | Techninė įranga | Tikslumas | Kontekstas |
|---|---|---|---|
| Rekomenduojama | H100 arba A100 GPU | FP8 | ~128 000 tokenų |
| Kūrimo darbo stotis | RTX 4090 arba bet kuris 24 GB VRAM GPU | 4-bitų | ~32 000 tokenų |
| Be GPU | CPU iškrovimas, turint pakankamai RAM | — | — žymiai lėčiau |
Šie skaičiai taikomi „Devstral Small 2“. „Mistral Small 4“ reikalauja daug daugiau vaizdo atminties savo svoriams įkelti: skaičiuok bent vieną 80 GB H100 naudojant FP8, o ilgesniam kontekstui – dar daugiau. Tuomet pritaikyk tikslumą ir konteksto ilgį savo techninei įrangai.
Diegimas naudojant „vLLM“
„vLLM“ yra „Vibe“ dokumentacijos rekomenduojama išvedimo (inference) sistema „Devstral“ aptarnavimui. Diegimui užtenka vienos komandos.
pip install vllm
Tada serveris paleidžiamas viena eilute, naudojant dvi parinktis, kurios leidžia modelį naudoti agento režimu.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Trys variantai apima daugelį realių situacijų: modelio skaidymas per kelis GPU, tikslumo mažinimas, kai trūksta VRAM, arba konteksto trumpinimas dėl tos pačios priežasties.
# Keli GPU (jei turi 2+ GPU)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
# Sumažintas tikslumas (GPU su mažiau VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# Sumažintas kontekstas (VRAM taupymui)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 32768 \
--port 8080
Štai ką valdo kiekviena vėliavėlė:
--tool-call-parser mistral– įgalina įrankių kvietimų („tool calls“) analizę „Mistral“ formatu--enable-auto-tool-choice– leidžia modeliui pačiam nuspręsti, kada kviesti įrankį--tensor-parallel-size– išskaido modelį per kelis GPU--dtype– valdo tikslumą (float16, bfloat16, float32)--max-model-len– riboja konteksto dydį VRAM taupymui
Pirmosios dvi nusipelno ypatingo dėmesio: jų nepanaudojus gausi serverį, kuris puikiai veikia pokalbiams, bet tyliamai žlunga, kai agentas bando kviesti įrankį. Tai dažniausia priežastis, kodėl vietinis diegimas įvertinamas kaip „nuviliantis“.
Vietinio serverio naudojimas
Kai „vLLM“ veikia, 8080 prievadas atveria „OpenAI“ suderinamą API. „Mistral“ SDK prie jo prisijungia tiesiog pakeisdama serverio URL; raktas daugiau nereikalingas.
from mistralai.client import Mistral
# Nukreipimas į vietinį serverį
client = Mistral(
api_key="dummy", # Vietoje raktas nereikalingas
server_url="http://localhost:8080",
)
response = client.chat.complete(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Išanalizuok šį kodą ir pasiūlyk patobulinimų."}
],
)
„OpenAI“ SDK taip pat puikiai tinka, leisdamas perkelti esamą kodą į vietinį „Devstral“ jo neperrašant.
from openai import OpenAI
client = OpenAI(
api_key="dummy",
base_url="http://localhost:8080/v1",
)
response = client.chat.completions.create(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Paaiškink šį kodą."}
],
)
Alternatyvios sistemos
„vLLM“ nėra vienintelis kelias: „Devstral“ veikia su bet kuria išvedimo sistema, kuri atveria „OpenAI“ suderinamą API. „Vibe“ dokumentacija mini „llama.cpp“, tinkamą mažos VRAM sąrankoms dėka jos GGUF kvantuotų modelių, „LM Studio“, siūlančią grafinę sąsają be komandinės eilutės, ir „Ollama“. Prieš lygindamas rezultatus, kiekviename įrankyje patikrink tikslų modelio pavadinimą ir kvantavimą.
„Vibe“ prijungimas prie vietinio serverio
„Vibe“ neturi integruoto vietinio modelio: paleidus serverį, config.toml faile deklaruoji teikėją ir modelio išankstinį nustatymą. „OpenAI“ suderinamam serveriui 8080 prievade:
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Trys dokumentacijoje nurodytos atsargumo priemonės: active_model palik aukščiau nei pirmasis [[...]] masyvas, kitaip TOML jį priskirs tam masyvui; išankstiniame nustatyme nustatyk max_context_length, kad nurodytum savo serverio kontekstą; ir patikrink, ar serveris srautiniuose atsakymuose grąžina tokenų naudojimą (stream_options.include_usage). „Vibe“ taip pat teikia iš anksto apibrėžtą teikėją llamacpp, kuris nukreipia į http://127.0.0.1:8080/v1 be rakto: tokiu atveju išankstiniame nustatyme tiesiog parašyk provider = "llamacpp". Tada /model komanda perjungia tarp vietinio modelio ir hostinamų modelių.
Visiškam veikimui neprisijungus prie interneto, taip pat išjunk telemetriją ir atnaujinimų tikrinimą:
enable_telemetry = false
enable_update_checks = false
Su šiais nustatymais ir vietiniu teikėju CLI nebekontaktuoja su mistral.ai. Įgūdžius, MCP serverius ir jungtis, siekiančias išorinių sistemų, reikia išjungti atskirai.
Svarbiausi punktai
- „Devstral“ pašalintas iš API, tačiau „Devstral Small 2“ (24B, Apache 2.0) lieka rekomenduojamas vietiniam naudojimui, kartu su „Mistral Small 4“
- „vLLM“ yra rekomenduojama sistema;
--tool-call-parser mistralir--enable-auto-tool-choiceyra būtinos agentui - H100 arba A100 su FP8 ir ~128 tūkst. kontekstu; 24 GB GPU su 4 bitų ir ~32 tūkst.
- Serveris atveria „OpenAI“ suderinamą API, naudojamą su „Mistral“ SDK arba „OpenAI“ SDK
- „Vibe“ prisijungia prie serverio per išankstinį nustatymą faile
config.toml(arba naudojantllamacppteikėją); telemetriją ir atnaujinimus išjunk veikimui neprisijungus