Vaihtoehdot paikalliselle ajolle: llama.cpp, LM Studio, Ollama
Tällä sivulla
Oppitunti päivitetty 2. marraskuuta 2026 perustuen Vibe-dokumentaation sivuun Using offline models. Devstral on poistettu Mistral API:sta, mutta sen painot ovat edelleen saatavilla: Devstral Small 2 ja Mistral Small 4 ovat kaksi suositeltua avointa mallia paikalliseen käyttöön. Vibe ei sisällä paikallista mallia: yhdistät sen yhteensopivaan OpenAI-palvelimeen esiasetuksen kautta tiedostossa
config.tomlja vaihdat mallia komennolla/model. Lähde: Using offline models.
Muuta kuin vLLM
vLLM on kehys, jota Vibe-dokumentaatio suosittelee Devstralin tarjoamiseen, mutta se ei ole ainoa vaihtoehto. Kolme vaihtoehtoa kattaa tilanteet, joissa vLLM kohtaa vaikeuksia: Apple Silicon -Mac, Windows-kone, jossa asennus jumittuu, tai halu testata mallia viidessä minuutissa. Kaikilla niillä on yksi yhteinen ja tärkeä piirre: ne paljastavat OpenAI-yhteensopivan rajapinnan, mikä tekee niistä Viben näkökulmasta keskenään vaihdettavia.
llama.cpp: Maksimaalinen siirrettävyys
llama.cpp on puhtaalla C/C++:lla kirjoitettu päättelymoottori, joka on suunniteltu toimimaan mahdollisimman monella alustalla minimaalisilla riippuvuuksilla. Tämä rajoitus on sen vahvuus: se toimii Linuxissa, macOS:ssä ja Windowsissa, mukaan lukien ARM-alustat kuten Apple Silicon ja Raspberry Pi. Sen natiivi GGUF-kvantointi (Q4, Q5 tai Q8) tekee siitä erityisen sopivan kuluttajatason näytönohjaimille, joilla VRAM-muisti on rajallinen. Se ei vaadi Pythonia eikä täyttä CUDA-työkalusarjaa, ja sen suorituskyky Apple Siliconilla Metalin kautta sekä NVIDIA-näytönohjaimilla on erinomainen. Kaupankäyntikohteena on käännösvaihe.
# Kloonaa ja käännä
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1 # CUDA-tuella
# Käynnistä palvelin
./llama-server \
-m devstral-small-2-24b-instruct.Q4_K_M.gguf \
--port 8080 \
-ngl 99 \
-c 32768
Keskeiset lipukkeet:
-m: polku malliin GGUF-muodossa-ngl 99: GPU:lle siirrettyjen kerrosten määrä (99 = kaikki)-c 32768: konteksti-ikkunan koko--port 8080: API-portti
Käytännössä säädät arvoa -ngl: jos malli kieltäytyy latautumasta, vähennä GPU:lle lähetettävien kerrosten määrää. Valitse llama.cpp, jos käytät Apple Silicon -Macia (M1–M4), haluat välttää Python-riippuvuudet, tarvitset aggressiivisimman kvantoinnin pienelle näytönohjaimelle tai työskentelet ARM-alustalla (Graviton-palvelin, Raspberry Pi).
LM Studio: Kaikki hiirellä
LM Studio on työpöytäsovellus, joka pelkistää paikallisen käyttöönoton muutamaan napsautukseen. Sen käyttöliittymä hoitaa latauksen, määrityksen ja käynnistyksen; sen luettelon avulla voit selata ja hakea malleja Hugging Facesta ilman komentoriviä; sen sisäänrakennettu OpenAI-yhteensopiva API-palvelin ei vaadi hienosäätöä. Sovellus toimii Windowsissa, macOS:ssä ja Linuxissa. Asennus tapahtuu kokonaan käyttöliittymässä:
- Avaa LM Studio
- Lataa Devstral Small 2 luettelosta
- Lataa malli
- Ota paikallinen palvelin käyttöön (“Start Server” -painike)
- Vibessä: määritä LM Studio -palvelin OpenAI-yhteensopivaksi tarjoajaksi tiedostoon
config.toml(sen osoite näkyy LM Studiossa) ja valitse malli komennolla/model
Kiinnitä huomiota porttiin: LM Studio kuuntelee oletusarvoisesti porttia 1234. Jos Vibe odottaa porttia 8080, säädä joko LM Studion määritystä tai Vibea – tämä on yleisin syy virheelle “Vibe can’t find the server”, vaikka malli olisi ladattu. LM Studio sopii sinulle, jos olet uusi paikallisten mallien käyttäjä, suosit graafista käyttöliittymää komentorivin sijaan, haluat testata nopeasti useita malleja tai käytät Windowsia ja vLLM:n asennus tuottaa ongelmia.
Ollama: Nopein käyttöönotto
Ollama lainaa Dockerin käytettävyyttä: yksi komento mallin hakemiseen, toinen sen suorittamiseen. Asennus vie yhden rivin, hallinta käyttää komentoja ollama pull, ollama run ja ollama list, OpenAI-yhteensopiva API on sisäänrakennettu ja aktiivinen oletuksena, ja mallit päivittyvät kuten Docker-kuvat.
# Asenna Ollama
curl -fsSL https://ollama.com/install.sh | sh
# Lataa ja suorita Devstral Small 2
ollama pull devstral-small-2
# Käynnistä malli (API-palvelin käynnistyy automaattisesti)
ollama run devstral-small-2
Palvelin kuuntelee porttia 11434, ja OpenAI-yhteensopiva päätepiste on osoitteessa http://localhost:11434/v1/: tämä on api_base, joka ilmoitetaan Vibe-tarjoajassa, ja malliesiasetuksessa käytetään nimeä name = "devstral-small-2". Valitse Ollama, jos haluat päästä alkuun mahdollisimman nopeasti, hallita useita malleja testaukseen, olet tottunut Docker-työnkulkuihin tai haluat päättelypalvelimen pyörivän jatkuvasti taustalla.
Valinta ja miksi sillä on vähän väliä
Jokainen kehys täyttää oman erityisen lokeroonsa. vLLM tarjoaa parhaan tuotantotason suorituskyvyn natiivilla usean GPU:n tuella: se on valinta dedicated-palvelimille, jotka on varustettu H100- tai A100-näytönohjaimilla. llama.cpp voittaa siirrettävyydessä, loistaa Apple Siliconilla ja kuluttajatason näytönohjaimilla sekä välttää Pythonin. LM Studio voittaa käytettävyydessä täydellisellä graafisella käyttöliittymällä, joka sopii paikallisten mallien tutkimiseen. Ollama tarjoaa nopeimman käyttöönoton ja yksinkertaistetun mallinhallinnan, mikä on loistavaa testaamiseen ja prototyyppaukseen. Silti tällä valinnalla on vähän väliä, koska ne kaikki paljastavat saman OpenAI-muotoisen API:n – tämä yhteinen nimittäjä antaa Vibelle mahdollisuuden muodostaa yhteys tietämättä mitään sen takana pyörivästä moottorista.
GET /v1/models # Listaa saatavilla olevat mallit
POST /v1/chat/completions # Keskustelun täydennys (pääasiallinen)
GET /health # Palvelimen tila (vLLM)
Määritys Vibessä on siten identtinen kaikissa kehyksissä: vain portti muuttuu.
vLLM → http://localhost:8080
LM Studio → http://localhost:1234
Ollama → http://localhost:11434
llama.cpp → http://localhost:8080
Voit aloittaa Ollamalla päästäksesi alkuun, siirtyä llama.cpp:hon optimoidaksesi kvantoinnin ja vaihtaa vLLM:ään sinä päivänä, kun tiimisi jakaa GPU-palvelimen – koskematta Vibe-määrityksiisi.
Kurssin yhteenveto
Tämä matka vei sinut läpi Mistral Viben edistyneen ekosysteemin. Opit hallitsemaan, kuka suorittaa tehtäväsi ja millä oikeuksilla, sisäänrakennettujen agenttien ja sitten mukautettujen agenttien kautta, sekä kalibroimaan riskiä todellisilla lukituksilla: työkaluluettelot, työkalukohtaiset oikeudet ja luotetut kansiot, joissa kenttä safety toimii vain visuaalisena etikettinä. Yhdistetyt tilat niputtavat työkalut, oikeudet ja käyttäytymisen aktivoitaviksi profiileiksi; alagentit delegoivat erikoistuneita tehtäviä itsenäisesti. Sen jälkeen rakensit uudelleenkäytettäviä komponentteja taitojen (skills) ja niiden SKILL.md-tiedostojen avulla, jotka laukaistaan vinokomennoilla yhdellä liikkeellä, ja kokosit tiloja, jotka on räätälöity kehityssykliisi – katselmointi, käyttöönotto, linttaus. Monivalintainen selvennys osoitti, kuinka Vibe kysyy ennen toimintaansa, kun asiat ovat epäselviä, ja paikallinen tila Devstralilla avasi polun luottamukselliseen, offline-tilassa toimivaan ja suvereeniin ympäristöön. Sinulla on nyt kaikki työkalut rakentaaksesi tekoälyn avustaman kehitysympäristön, joka kunnioittaa turvallisuus-, suorituskyky- ja suvereenisuusrajoituksiasi.
Keskeiset asiat
- llama.cpp: Puhdas C++, alustariippumaton, erinomainen Apple Siliconilla
- LM Studio: Graafinen käyttöliittymä, ihanteellinen aloittelijoille
- Ollama: Nopein käyttöönotto, Docker-mainen työnkulku
- vLLM: Suositeltu tuotantokäyttöön palvelin-GPU:illa
- Kaikki paljastavat OpenAI-yhteensopivan API:n – Vibe yhdistää läpinäkyvästi
- Valitse kehys laitteistosi ja kokemustasosi perusteella
Testaa tietosi
Agentit, taidot, tilat, paikallinen: viisi kohtaa edistyneestä Vibestä.
1. Mitä mukautetut agentit TOML-tiedostossa mahdollistavat?
Vastaus: Määrittele omat agenttisi – ohjeet, työkalut, käyttäytyminen – TOML-tiedostoon: tiimisi erikoistunut agentti muuttuu versionoiduksi artefaktiksi.
2. Rajoittaako agentin safety-kenttä (safe, neutral, destructive, smart, yolo) sen toimia?
Vastaus: Ei. Se on visuaalinen vihje, joka värittää syöttökentän reunan. Agentin toimia rajoittavat todellisuudessa enabled_tools ja disabled_tools, [tools.<tool>]-oikeudet (always, ask, never), työhakemiston laajuus ja luotetut kansiot.
3. Taidot ja vinokomennot: kuinka ne toimivat yhdessä?
Vastaus: Taito (SKILL.md) kapseloi uudelleenkäytettävän menettelyn; vinokomento laukaisee sen yhdellä liikkeellä – löytäminen, aktivointi ja prioriteetti hallinnoivat luetteloa.
4. Mihin alagentit on tarkoitettu?
Vastaus: Erikoistuneiden osatehtävien delegointiin omistetuille agenteille – pääagentti orkestroi, alagentit suorittavat erikoisalansa.
5. Kuinka suoritat Viben täysin paikallisesti?
Vastaus: Palvelemalla suositeltua avointa mallia (Devstral Small 2 tai Mistral Small 4) vLLM:llä tai vaihtoehdolla (llama.cpp, LM Studio, Ollama), määrittelemällä sen tarjoajaksi tiedostoon config.toml ja poistamalla telemetrian ja päivitystarkistukset käytöstä (enable_telemetry = false, enable_update_checks = false).
Agentit määritelty, turvallisuus luokiteltu, taidot työkaluistettu, paikallinen mahdollista: edistynyt Vibe on alusta – määritä se vastaamaan tiimiäsi.