Roghanna Áitiúla: llama.cpp, LM Studio, Ollama
Ar an leathanach seo
An ceacht nuashonraithe an 2 Samhain, 2026 bunaithe ar an leathanach Using offline models i ndoiciméadú Vibe. Baineadh Devstral ón API Mistral, ach tá a mheáchain fós foilsithe: is iad Devstral Small 2 agus Mistral Small 4 an dá mhúnla oscailte a mholtaí le haghaidh úsáide áitiúla. Ní chuimsíonn Vibe múnla áitiúil: ceanglaíonn tú é le freastalaí OpenAI comhoiriúnach trí réamhshocrú in
config.toml, agus ansin déanann tú athrú ag baint úsáide as/model. Foinse: Using offline models.
Thar vLLM
Is é vLLM an creatlach a mholann doiciméadú Vibe chun Devstral a fhreastal, ach ní hé an t-aon rogha é. Clúdaíonn trí rogha eile cásanna ina mbíonn deacrachtaí ag vLLM: Mac le Silicon Apple, meaisín Windows ina mbíonn an suiteáil gafa, nó an mian chun múnla a thástáil laistigh de chúig nóiméad. Tá rud amháin ag teastáil acu go léir—nochtann siad API atá comhoiriúnach le OpenAI, rud a fhágann go bhfuil siad inmhalartaithe ó thaobh Vibe de.
llama.cpp: In-iomparthacht Uasta
Is inneall tátail é llama.cpp atá scríofa i C/C++ íon, deartha chun rith ar an oiread ardáin agus is féidir le híostais spleáchais. Is é an srian seo a neart: oibríonn sé ar Linux, macOS, agus Windows, lena n-áirítear ARM—Silicon Apple agus Raspberry Pi araon. Déanann a chandamú GGUF dúchasach i Q4, Q5, nó Q8 oiriúnach go háirithe é do GPUs tomhaltóirí áit a bhfuil VRAM teoranta. Ní éilíonn sé Python ná trealuais CUDA iomlán, agus tá a fheidhmíocht ar Silicon Apple trí Metal, chomh maith le NVIDIA, den scoth. Is é an malairt ná céim tiomsaithe.
# Clónáil agus tiomsaigh
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1 # Le tacaíocht CUDA
# Tosaigh an freastalaí
./llama-server \
-m devstral-small-2-24b-instruct.Q4_K_M.gguf \
--port 8080 \
-ngl 99 \
-c 32768
Bratacha tábhachtacha:
-m: conair chuig an múnla i bhformáid GGUF-ngl 99: líon na sraitheanna a dhíluchtaítear chuig an GPU (99 = iad go léir)-c 32768: méid na fuinneoige comhthéacs--port 8080: port an API
Go praiticiúil, coigeartaíonn tú -ngl: má dhiúltaíonn an múnla luchtú, laghdaigh líon na sraitheanna a sheoltar chuig an GPU. Roghnaigh llama.cpp má tá tú ar Mac le Silicon Apple (M1 go M4), más mian leat spleáchais Python a sheachaint, más gá duit an candamú is ionsaithí do GPU beag, nó má tá tú ag obair ar ARM—freastalaí Graviton, Raspberry Pi.
LM Studio: Gach Rud le Luch
Is feidhmchlár deisce é LM Studio a laghdaíonn imlonnú áitiúil go roinnt cliceanna. Láimhseálann a chomhéadan íoslódáil, cumraíocht, agus seoladh; ligeann a chatalóg duit samhlacha a bhrabhsáil agus a fháil ó Hugging Face gan an líne ordaithe; ní éilíonn a fhreastalaí API bunaithe atá comhoiriúnach le OpenAI aon choigeartú. Rithíonn an aip ar Windows, macOS, agus Linux. Tarlaíonn an tsuiteáil go hiomlán sa chomhéadan:
- Oscail LM Studio
- Íoslódáil Devstral Small 2 ón gcatagóir
- Luchtaigh an múnla
- Cumasaigh an freastalaí áitiúil (cnaipe “Start Server”)
- I Vibe: dearbhaigh freastalaí LM Studio mar sholáthraí atá comhoiriúnach le OpenAI in
config.toml(feictear a sheoladh i LM Studio), ansin roghnaigh an múnla le/model
Féach ar an bport: éisteann LM Studio le 1234 go réamhshocraithe. Má bhíonn súil ag do Vibe le port 8080, coigeartaigh cumraíocht LM Studio nó Vibe—is é seo an chúis is coitianta le “Ní féidir le Vibe an freastalaí a aimsiú” cé go bhfuil an múnla luchtaithe. Oireann LM Studio duitse má tá tú nua le samhlacha áitiúla, más fearr leat GUI ná an líne ordaithe, más mian leat roinnt samhlacha a thástáil go tapa, nó má tá tú ar Windows agus tá deacrachtaí ag baint le suiteáil vLLM.
Ollama: An Tsuiteáil is Tapúla
Ghlacann Ollama le héagónaíocht Docker: ordú amháin chun múnla a fháil, ceann eile chun é a rith. Tógann an tsuiteáil líne amháin, úsáideann an bhainistíocht ollama pull, ollama run, agus ollama list, tá an API atá comhoiriúnach le OpenAI built-in agus gníomhach go réamhshocraithe, agus déantar nuashonrú ar shamhlacha cosúil le híomhánna Docker.
# Suiteáil Ollama
curl -fsSL https://ollama.com/install.sh | sh
# Íoslódáil agus rith Devstral Small 2
ollama pull devstral-small-2
# Seol an múnla (tosaíonn freastalaí API go huathoibríoch)
ollama run devstral-small-2
Éisteann an freastalaí ar phort 11434, leis an bpointe deiridh atá comhoiriúnach le OpenAI ag http://localhost:11434/v1/: is é seo an api_base le dearbhú i soláthraí Vibe, le name = "devstral-small-2" sa réamhshocrú múnla. Roghnaigh Ollama más mian leat tosú chomh tapa agus is féidir, más mian leat iliomad samhlacha a láimhseáil le haghaidh tástála, má tá tú compordach le sreabha oibre Docker, nó más mian leat freastalaí tátail a bheith ag rith go buan sa chúlra.
Roghnú, agus Cén Fáth nach Mór an Difear a Dhéanann an Rogha
Líonann gach creatlach nideog ar leith. Soláthraíonn vLLM an fheidhmíocht táirgeachta is fearr le tacaíocht dúchasach il-GPU: is é an rogha é do fhreastalaithe tiomnaithe atá feistithe le H100s nó A100s. Buailann llama.cpp ar in-iomparthacht, bíonn sé ar fheabhas ar Silicon Apple agus ar GPUs tomhaltóirí, agus scipeálann sé Python. Buailann LM Studio ar éagónaíocht, le GUI iomlán atá idéalach chun samhlacha áitiúla a fhionnadh. Tairgeann Ollama an tsuiteáil is tapúla agus bainistíocht shimplithe samhlacha, iontach le haghaidh tástála agus prótatípaithe. Ach ní mórán difear a dhéanann an rogha seo, toisc go nochtann siad go léir an API céanna i bhformáid OpenAI—ligeann an t-ainmní coiteann seo do Vibe ceangal gan aon rud a bheith ar eolas aige faoin inneall atá ag rith taobh thiar de.
GET /v1/models # Liostaigh na samhlacha atá ar fáil
POST /v1/chat/completions # Críochnú comhrá (príomh)
GET /health # Stádas an fhreastalaí (vLLM)
Dá bhrí sin, tá an chumraíocht i Vibe comhionann ar fud na gcreatlach: ní athraíonn ach an port.
vLLM → http://localhost:8080
LM Studio → http://localhost:1234
Ollama → http://localhost:11434
llama.cpp → http://localhost:8080
Is féidir leat tosú le Ollama chun do chosa a fhliuchadh, aistriú go llama.cpp chun candamú a optamú, agus ansin athrú go vLLM an lá a roinneann do fhoireann freastalaí GPU—gan do chumraíocht Vibe a bhaint.
Achoimre ar an gCúrsa
Thug an turas seo tú trí éiceachóras casta Mistral Vibe. D’fhoghlaim tú a rialú cé a fheidhmíonn do thascanna agus le ceadanna cén cineál, trí ghníomhairí ionsuite agus ansin gníomhairí saincheaptha, agus chun riosca a chalabrú le glasanna fíor: liostaí uirlisí, ceadanna in aghaidh na huirlise, agus fillteáin iontaofa, leis an réimse safety ag freastal mar lipéad amhairc amháin. Cuimsíonn módanna aontaithe uirlisí, ceadanna, agus iompraíochtaí i bpróifílí is féidir a ghníomhachtú; tarmligean gníomhairí fochuideachta tascanna speisialaithe go neamhspleách. Ansin thóg tú comhpháirteanna in-athúsáidte le scileanna agus a gcuid SKILL.md, a sheoltar le horduithe slaise in aon ghaoth amháin, agus chuir tú módanna le chéile atá oiriúnaithe do do thimthriall forbartha—athbhreithniú, imlonnú, lint. Thaispeáin soiléiriú ilroghnacha duit conas a iarrann Vibe sula ndéanann sé gníomh nuair atá rudaí débhríoch, agus d’oscail mód áitiúil le Devstral an bealach chuig timpeallacht rúnda, as líne, ceannasach. Anois tá na huirlisí go léir agat chun timpeallacht forbartha faoi chúnamh AI a thógáil a urramaíonn do shrianta slándála, feidhmíochta agus ceannasachta.
Príomhphointí
- llama.cpp: C++ íon, tras-ardáin, ar fheabhas ar Silicon Apple
- LM Studio: Comhéadan grafach, idéalach do thosaitheoirí
- Ollama: An tsuiteáil is tapúla, sreabhadh oibre cosúil le Docker
- vLLM: Molta le haghaidh táirgeachta le GPUs freastalaí
- Nochtann siad go léir API atá comhoiriúnach le OpenAI—ceanglaíonn Vibe go trédhearcach
- Roghnaigh do chreatlach bunaithe ar do chrua-earraí agus do leibhéal compord
Tástáil do Chuid Eolais
Gníomhairí, scileanna, módanna, áitiúil: Vibe casta i gcúig phointe.
1. Cad a cheadaíonn gníomhairí saincheaptha i TOML?
Freagra: Sainigh do ghníomhairí féin—treoracha, uirlisí, iompraíocht—i gcomhad TOML: déantar ealaín leaganaithe de ghníomhaire speisialaithe do fhoirne.
2. An gcuireann réimse sábháilteachta gníomhaire (safe, neutral, destructive, smart, yolo) srian lena chuid gníomhartha?
Freagra: Ní dhéanann. Is leid amhairc é a dhathanna imeall an ionchuir. Is iad enabled_tools agus disabled_tools, ceadanna [tools.<tool>] (always, ask, never), scóip an chomhadlaoibre, agus fillteáin iontaofa a chuireann srian i ndáiríre ar ghníomhaire.
3. Scileanna agus orduithe slise: conas a oibríonn siad le chéile?
Freagra: Cuimsíonn scil (SKILL.md) nós imeachta in-athúsáidte; spreagann an t-ordú slise é in aon ghaoth amháin—bainistíonn fionnachtain, gníomhachtú agus tosaíocht an catalóg.
4. Cad iad gníomhairí fochuideachta?
Freagra: Tascanna speisialaithe fochuideachta a tharmligean chuig gníomhairí tiomnaithe—déanann an gníomhaire príomhúil stiúradh, feidhmíonn gníomhairí fochuideachta a speisialtacht.
5. Conas a rithfidh tú Vibe go hiomlán go háitiúil?
Freagra: Trí mhúnla oscailte molta (Devstral Small 2 nó Mistral Small 4) a fhreastal le vLLM nó le rogha eile (llama.cpp, LM Studio, Ollama), é a dhearbhú mar sholáthraí in config.toml, agus ansin teileiméadracht agus seiceálacha nuashonraithe a dhíchumasú (enable_telemetry = false, enable_update_checks = false).
Gníomhairí dearbhaithe, slándáil grádaithe, scileanna uirlisithe, áitiúil indéanta: is ardán é Vibe casta—cumraigh é chun freagairt do d’fhoireann.