Alternatyvos vietiniam diegimui: llama.cpp, LM Studio, Ollama
Šiame puslapyje
Pamoka atnaujinta 2026 m. lapkričio 2 d. remiantis Using offline models puslapiu Vibe dokumentacijoje. Devstral buvo pašalintas iš Mistral API, tačiau jo svoriai lieka prieinami: Devstral Small 2 ir Mistral Small 4 yra du rekomenduojami atviro kodo modeliai vietiniam naudojimui. Vibe nepateikia integruoto vietinio modelio: jį prijungi prie suderinamo OpenAI serverio naudodamas išankstinį nustatymą faile
config.toml, tada perjungai naudodamas/model. Šaltinis: Using offline models.
Anapus vLLM
vLLM yra sistema, kurią Vibe dokumentacija rekomenduoja paleisti Devstral, tačiau tai nėra vienintelis pasirinkimas. Trys alternatyvos apima scenarijus, kai vLLM stringa: „Apple Silicon“ Mac kompiuteris, „Windows“ mašina, kurioje diegimas užstringa, arba noras išbandyti modelį per penkias minutes. Jas visas sieja vienas svarbiausias dalykas – jos pateikia OpenAI suderinamą API, todėl Vibe požiūriu jos yra tarpusavyje keičiamos.
llama.cpp: maksimalus perkeliamumas
llama.cpp yra išvedimo variklis, parašytas grynu C/C++, sukurtas veikti kuo daugiau platformų su minimaliomis priklausomybėmis. Šis apribojimas yra jo stiprybė: jis veikia „Linux“, „macOS“ ir „Windows“ sistemose, įskaitant ARM architektūrą – tiek „Apple Silicon“, tiek „Raspberry Pi“. Gimtoji GGUF kvantavimas (Q4, Q5 arba Q8) daro jį ypač tinkamu vartotojų GPU, kuriuose VRAM yra ribotas. Jam nereikia nei „Python“, nei pilno „CUDA“ įrankių rinkinio, o jo našumas „Apple Silicon“ naudojant „Metal“, taip pat ir su „NVIDIA“, yra puikus. Kompromisas – kompiliavimo žingsnis.
# Klonuoti ir kompiliuoti
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1 # Su CUDA palaikymu
# Paleisti serverį
./llama-server \
-m devstral-small-2-24b-instruct.Q4_K_M.gguf \
--port 8080 \
-ngl 99 \
-c 32768
Pagrindiniai parametrai:
-m: kelias iki modelio GGUF formatu-ngl 99: GPU perduodamų sluoksnių skaičius (99 = visi)-c 32768: konteksto lango dydis--port 8080: API prievadas
Praktiškai koreguoji -ngl: jei modelis atsisako užsikrauti, sumažink GPU siunčiamų sluoksnių skaičių. Pasirink llama.cpp, jei naudoji „Apple Silicon“ Mac (nuo M1 iki M4), nori išvengti bet kokių „Python“ priklausomybių, tau reikia agresyviausio kvantavimo mažam GPU arba dirbi su ARM – „Graviton“ serveriu, „Raspberry Pi“.
LM Studio: viskas pelės pagalba
LM Studio yra darbalaukio programa, kuri vietinį diegimą sumažina iki kelių paspaudimų. Jos sąsaja tvarko atsisiuntimą, konfigūraciją ir paleidimą; jos katalogas leidžia naršyti ir gauti modelius iš „Hugging Face“ be komandinės eilutės; joje integruotas OpenAI suderinamas API serveris nereikalauja jokių derinimų. Programa veikia „Windows“, „macOS“ ir „Linux“ sistemose. Sąranka vyksta visiškai sąsajoje:
- Atidaryk LM Studio
- Atsisiųsk Devstral Small 2 iš katalogo
- Įkelk modelį
- Įjunk vietinį serverį (mygtukas „Start Server“)
- Vibe: deklaruok LM Studio serverį kaip OpenAI suderinamą tiekėją faile
config.toml(jo adresas rodomas LM Studio), tada pasirink modelį naudodamas/model
Stebėk prievadą: LM Studio pagal nutylėjimą klauso prievado 1234. Jei tavo Vibe tikisi prievado 8080, pakoreguok arba LM Studio konfigūraciją, arba Vibe nustatymus – tai dažniausia „Vibe neranda serverio“ klaidos priežastis, net kai modelis yra įkeltas. LM Studio tau tinka, jei esi naujokas vietiniuose modeliuose, pirmenybę teiki GUI, o ne komandinei eilutei, nori greitai išbandyti kelis modelius arba naudoji „Windows“, o vLLM diegimas tau kelia sunkumų.
Ollama: greičiausia sąranka
Ollama perima „Docker“ ergonomiką: viena komanda modelio atsisiuntimui, kita – jo paleidimui. Diegimas užtrunka vieną eilutę, valdymas vykdomas naudojant ollama pull, ollama run ir ollama list, OpenAI suderinamas API yra integruotas ir aktyvus pagal nutylėjimą, o modeliai atnaujinami kaip „Docker“ atvaizdai.
# Įdiegti Ollama
curl -fsSL https://ollama.com/install.sh | sh
# Atsisiųsti ir paleisti Devstral Small 2
ollama pull devstral-small-2
# Paleisti modelį (API serveris paleidžiamas automatiškai)
ollama run devstral-small-2
Serveris klauso prievado 11434, o OpenAI suderinamas galinis taškas yra http://localhost:11434/v1/: tai yra api_base, kurį reikia deklaruoti Vibe tiekėjui, su name = "devstral-small-2" modelio išankstiniame nustatyme. Pasirink Ollama, jei nori pradėti kuo greičiau, nori lengvai valdyti kelis modelius testavimui, esi įpratęs prie „Docker“ darbo eigų arba nori, kad išvedimo serveris veiktų nuolat fone.
Pasirinkimas ir kodėl jis mažai svarbus
Kiekviena sistema užima savo nišą. vLLM užtikrina geriausią našumą gamybinėje aplinkoje turėdama gimtąjį kelių GPU palaikymą: tai pasirinkimas skirtiems serveriams su H100 arba A100. llama.cpp laimi perkeliamumo srityje, puikiai veikia su „Apple Silicon“ ir vartotojų GPU, bei apeina „Python“. LM Studio laimi ergonomikos srityje, siūlydama pilną GUI, idealų vietinių modelių pažinimui. Ollama siūlo greičiausią sąranką ir supaprastintą modelių valdymą, puikiai tinkantį testavimui ir prototipų kūrimui. Visgi šis pasirinkimas mažai svarbus, nes jie visi pateikia tą patį OpenAI formato API – šis bendras vardiklis leidžia Vibe prisijungti nežinant nieko apie variklį, veikiantį fone.
GET /v1/models # Išvardyti galimus modelius
POST /v1/chat/completions # Pokalbio užbaigimas (pagrindinis)
GET /health # Serverio būsena (vLLM)
Konfigūracija Vibe todėl yra identiška visose sistemose: keičiasi tik prievadas.
vLLM → http://localhost:8080
LM Studio → http://localhost:1234
Ollama → http://localhost:11434
llama.cpp → http://localhost:8080
Gali pradėti nuo Ollama, kad įgautum patirties, pereiti prie llama.cpp optimizuoti kvantavimą, o tada pereiti prie vLLM tą dieną, kai tavo komanda turės bendrą GPU serverį – neliesdamas savo Vibe konfigūracijos.
Kurso santrauka
Ši kelionė tave vedė per pažangią Mistral Vibe ekosistemą. Išmokai valdyti, kas vykdo tavo užduotis ir kokiomis teisėmis, naudodamas integruotus agentus, o tada individualius agentus, bei kalibruoti riziką naudodamas tikras užraktus: įrankių sąrašus, leidimus kiekvienam įrankiui ir patikimus aplankus, kur laukas safety tarnauja tik kaip vizualinė etiketė. Sujungti režimai bundeluoja įrankius, leidimus ir elgseną į aktyvuojamus profilius; subagentai deleguoja specializuotas užduotis nepriklausomai. Tada sukūrei pakartotinai naudojamus komponentus su įgūdžiais ir jų SKILL.md, paleidžiamus pasviruoju brūkšniu vienu gestu, ir surinkai režimus, pritaikytus tavo kūrimo ciklui – peržiūra, diegimas, lint. Kelių pasirinkimų patikslinimas parodė, kaip Vibe klausia prieš veikdamas, kai dalykai yra dviprasmiški, o vietinis režimas su Devstral atvėrė kelią konfidencialiai, neprisijungusiai ir savarankiškai aplinkai. Dabar turi visus įrankius sukurti DI pagalbintą kūrimo aplinką, gerbiančią tavo saugumo, našumo ir suverenumo reikalavimus.
Svarbiausi punktai
- llama.cpp: Grynas C++, daugiaplatformis, puikiai veikia su „Apple Silicon“
- LM Studio: Grafinė sąsaja, idealu pradedantiesiems
- Ollama: Greičiausia sąranka, „Docker“ tipo darbo eiga
- vLLM: Rekomenduojama gamybai su serverio GPU
- Visi pateikia OpenAI suderinamą API – Vibe prisijungia skaidriai
- Pasirink sistemą pagal savo aparatinę įrangą ir komforto lygį
Patikrink savo žinias
Agentai, įgūdžiai, režimai, vietinis diegimas: pažangus Vibe penkiais punktais.
1. Ką leidžia daryti individualūs agentai TOML faile?
Atsakymas: Apibrėžti savo agentus – instrukcijas, įrankius, elgseną – TOML faile: tavo komandos specializuotas agentas tampa versijuojamu artefaktu.
2. Ar agento saugumo laukas (safe, neutral, destructive, smart, yolo) riboja jo veiksmus?
Atsakymas: Ne. Tai vizualinė užuomina, kuri nuspalvina įvesties rėmelį. Tai, kas iš tikrųjų riboja agentą, yra enabled_tools ir disabled_tools, [tools.<tool>] leidimai (always, ask, never), darbo katalogo apimtis ir patikimi aplankai.
3. Įgūdžiai ir pasvirojo brūkšnio komandos: kaip jos veikia kartu?
Atsakymas: Įgūdis (SKILL.md) įkapsuliuoja pakartotinai naudojamą procedūrą; pasvirojo brūkšnio komanda ją suaktyvina vienu gestu – atradimas, aktyvavimas ir prioritetas valdo katalogą.
4. Kam skirti subagentai?
Atsakymas: Deleguoti specializuotas potaskes skirtiems agentams – pagrindinis agentas orchestruoja, subagentai vykdo savo specializaciją.
5. Kaip paleisti Vibe visiškai vietiniu režimu?
Atsakymas: Paleidžiant rekomenduojamą atviro kodo modelį (Devstral Small 2 arba Mistral Small 4) naudojant vLLM arba alternatyvą (llama.cpp, LM Studio, Ollama), deklaruojant jį kaip tiekėją faile config.toml, tada išjungiant telemetriją ir atnaujinimų tikrinimą (enable_telemetry = false, enable_update_checks = false).
Agentai deklaruoti, saugumas įvertintas, įgūdžiai paruošti, vietinis diegimas įmanomas: pažangus Vibe yra platforma – sukonfigūruok ją taip, kad atitiktų tavo komandos poreikius.