Óstáil Devstral go Logánta
Ar an leathanach seo
An ceacht nuashonraithe an 2 Samhain, 2026 bunaithe ar an leathanach Using offline models i ndoiciméadú Vibe: Baineadh Devstral den API, ach fanann Devstral Small 2, in éineacht le Mistral Small 4, mar cheann den dá mhúnla oscailte a mholtar le haghaidh úsáide logánta. Baineadh meastacháin chostais gan fhoinse, agus leanann nascadh Vibe le freastalaí logánta an chomhréir oifigiúil
config.toml. Foinse: Using offline models.
Cén fáth Devstral a óstáil go logánta?
Scaoiltear Devstral Small 2 le meáchain oscailte faoi cheadúnas Apache 2.0 (úsáideann Devstral 2, a dheartháir mór 123 billiún paraiméadar, ceadúnas MIT modhnaithe). Cé gur baineadh é den Mistral API an 31 Márta, 2026, níor imigh sé: is féidir leat é a imlonnú ar do chuid freastalaithe féin gan aon líne cód a sheoladh chuig API seachtrach, agus molann doiciméadú Vibe é fós chun na críche sin.
Go minic, forluíonn na cúiseanna. Tagann príobháideacht ar dtús: ní fhágann do chód d’infreastruchtúr riamh, rud a chuireann deireadh le haon díospóireacht faoi théarmaí úsáide soláthraí. Tagann moill (latency) ina dhiaidh sin, ós rud é nach bhfuil aon turas líonra chuig an Mistral API idir do bhuillí méarchláir agus an moladh. Athraíonn an struchtúr costais: íocann tú praghas seasta as GPU seachas billeáil bunaithe ar úsáid, rud a éiríonn buntáisteach chomh luath agus a dhéanann foireann iomlán ceisteanna don mhúnla ar feadh an lae. Ar deireadh, tá comhlíonadh ann, a éilítear faoi rialacháin áirithe agus in earnálacha cosúil le baincéireacht nó cosaint, agus infhaighteacht, ós rud é nach féidir le seirbhís tríú páirtí do chuid oibre a chur ar ceal.
Múnlaí molta
Molann doiciméadú Vibe dhá mhúnla oscailte le haghaidh úsáide logánta:
- Devstral Small 2 (
mistralai/Devstral-Small-2-24B-Instruct-2512ar Hugging Face): 24 billiún paraiméadar, dlúth, oiliúnaithe do thascanna gníomhaireacha agus códú, leis an lorg crua-earraí is éadroime; - Mistral Small 4: 119 billiún paraiméadar i n-ailtireacht meascán saineolaithe (mixture-of-experts), le 6.5 billiún gníomhach, múnla réasúnaíochta agus códúcháin hibrideach le comhthéacs 256,000 token, faoi cheadúnas Apache 2.0.
Réamhriachtanais chrua-earraí
Chun feidhmíocht mhaith a fháil ar chomhthéacsanna fada, molann an doiciméadú imlonnú FP8 le comhthéacs thart ar 128,000 token:
| Cumraíocht | Crua-earraí | Cruinneas | Comhthéacs |
|---|---|---|---|
| Molta | GPU H100 nó A100 | FP8 | ~128,000 token |
| Stáisiún oibre forbartha | RTX 4090 nó aon GPU le 24 GB VRAM | 4-giotán | ~32,000 token |
| Gan GPU | Díluchtú CPU, le RAM dóthanach | — | — i bhfad níos moille |
Baineann na figiúirí seo le Devstral Small 2. Éilíonn Mistral Small 4 i bhfad níos mó cuimhne físeáin chun a mheáchain a lódáil: bíodh ar a laghad H100 amháin 80 GB agat in FP8, agus níos mó do chomhthéacsanna fada. Ansin, coigeartaigh an cruinneas agus fad an chomhthéacs de réir do chuid crua-earraí.
Imlonnú le vLLM
Is é vLLM an creatlach infearaince a mholann doiciméadú Vibe chun Devstral a sheirbhísiú. Ní theastaíonn ach ordú amháin le haghaidh suiteála.
pip install vllm
Ansin, tosaíonn an freastalaí in aon líne amháin, leis an dá rogha a dhéanann an múnla inúsáidte i mód gníomhaire.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Clúdaíonn trí leaganacha na cásanna is coitianta sa saol mór: an múnla a roinnt ar ghrúpaí GPU, an cruinneas a laghdú nuair atá VRAM gann, nó an comhthéacs a ghiorrú ar an gcúis chéanna.
# Il-GPU (má tá 2+ GPU agat)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
# Cruinneas laghdaithe (do GPUs le níos lú VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# Comhthéacs laghdaithe (chun VRAM a shábháil)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 32768 \
--port 8080
Seo a rialaíonn gach bratach:
--tool-call-parser mistral— cumasaíonn sé parsáil glaonna uirlisí i bhformáid Mistral--enable-auto-tool-choice— ligeann sé don mhúnla a chinneadh cathun uirlis a ghlaowh--tensor-parallel-size— roinneann sé an múnla ar ghrúpaí GPU--dtype— rialaíonn sé an cruinneas (float16, bfloat16, float32)--max-model-len— teorannaíonn sé méid an chomhthéacs chun VRAM a shábháil
Tuilleann an dá cheann chun tosaigh aird ar leith: má fhágann tú ar lár iad, gheobhaidh tú freastalaí a oibríonn go foirfe le haghaidh comhrá ach a theipeann go ciúin chomh luath agus a dhéanann gníomhaire iarracht uirlis a ghlaowh. Is é seo an chúis is coitianta go mbreithnítear imlonnú logánta mar “mhíshásúil”.
An freastalaí logánta a úsáid
Nuair atá vLLM ag rith, nochtann port 8080 API atá comhoiriúnach le OpenAI. Nascann an Mistral SDK leis trí URL an fhreastalaí a athrú go simplí; níl an eochair ag teastáil a thuilleadh.
from mistralai.client import Mistral
# Pointeáil chuig an bhfreastalaí logánta
client = Mistral(
api_key="dummy", # Níl aon eochair ag teastáil go logánta
server_url="http://localhost:8080",
)
response = client.chat.complete(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Déan anailís ar an gcód seo agus mol feabhsuithe."}
],
)
Oibríonn an OpenAI SDK chomh maith céanna, rud a ligeann duit cód atá ann cheana a aistriú chuig Devstral logánta gan é a athscríobh.
from openai import OpenAI
client = OpenAI(
api_key="dummy",
base_url="http://localhost:8080/v1",
)
response = client.chat.completions.create(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Mínigh an cód seo."}
],
)
Creatlacha malartacha
Ní hé vLLM an t-aon bhealach: oibríonn Devstral le haon chreatlach infearaince a nochtann API atá comhoiriúnach le OpenAI. Luaann doiciméadú Vibe llama.cpp, atá oiriúnach do shocruithe le VRAM íseal a bhuí le múnlaí GGUF candamaithe, LM Studio, a thairgeann comhéadan grafach gan an líne ordaithe, agus Ollama. Seiceáil ainm beacht an mhúnla agus an chandamú i ngach uirlis sula ndéanann tú comparáid idir torthaí.
Vibe a nascadh leis an bhfreastalaí logánta
Ní chuimsíonn Vibe múnla logánta: nuair atá do fhreastalaí ag rith, dearbhaíonn tú soláthraí agus réamhshocrú múnla i config.toml. Maidir le freastalaí atá comhoiriúnach le OpenAI ar phort 8080:
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Trí réamhchúram ón doiciméadú: coinnigh active_model os cionn an chéad eagair [[...]], nó ceanglóidh TOML leis an eagar sin é; socraigh max_context_length sa réamhshocrú chun comhthéacs do fhreastalaí a léiriú; agus fíoraigh go dtugann an freastalaí úsáid token ar ais i bhfreagairtí sruthaithe (stream_options.include_usage). Soláthraíonn Vibe soláthraí réamhshocraithe freisin, llamacpp, a phointeálann chuig http://127.0.0.1:8080/v1 gan eochair: sa chás sin, ní gá duit ach provider = "llamacpp" a scríobh sa réamhshocrú. Ansin, úsáideann an t-ordú /model chun aistriú idir an múnla logánta agus múnlaí óstáilte.
Chun oibriú go hiomlán as líne, díghníomhachtaigh teileiméadracht agus seiceálacha nuashonraithe freisin:
enable_telemetry = false
enable_update_checks = false
Leis na socruithe seo agus soláthraí logánta, ní dhéanann an CLI teagmháil le mistral.ai a thuilleadh. Caithfear scileanna, freastalaithe MCP, agus nascóirí a shroicheann córais sheachtracha a dhíchumasú ar leithligh.
Príomhphointí
- Baineadh Devstral den API, ach fanann Devstral Small 2 (24B, Apache 2.0) molta le haghaidh úsáide logánta, in éineacht le Mistral Small 4
- Is é vLLM an creatlach a moltar; tá
--tool-call-parser mistralagus--enable-auto-tool-choiceriachtanach do ghníomhaire - H100 nó A100 in FP8 le comhthéacs ~128k; GPU 24 GB i 4-giotán le comhthéacs ~32k
- Nochtann an freastalaí API atá comhoiriúnach le OpenAI, inúsáidte leis an Mistral SDK nó an OpenAI SDK
- Nascann Vibe leis an bhfreastalaí trí réamhshocrú i
config.toml(nó an soláthraíllamacpp); díghníomhachtaigh teileiméadracht agus nuashonruithe le haghaidh úsáide as líne