Alternatywy lokalne: llama.cpp, LM Studio, Ollama
Na tej stronie
Lekcja zaktualizowana 2 listopada 2026 r. na podstawie strony Using offline models w dokumentacji Vibe. Devstral został usunięty z API Mistral, ale jego wagi pozostają dostępne: Devstral Small 2 i Mistral Small 4 to dwa rekomendowane modele open source do użytku lokalnego. Vibe nie dołącza modelu lokalnego: łączysz go z kompatybilnym serwerem OpenAI poprzez preset w
config.toml, a następnie przełączasz się za pomocą/model. Źródło: Using offline models.
Poza vLLM
vLLM to framework rekomendowany przez dokumentację Vibe do obsługi Devstrala, ale nie jest to jedyna opcja. Trzy alternatywy pokrywają scenariusze, w których vLLM ma trudności: Mac z procesorem Apple Silicon, komputer z Windowsem, na którym instalacja utknęła, lub chęć przetestowania modelu w pięć minut. Łączy je jedna kluczowa cecha – udostępniają API kompatybilne z OpenAI, co czyni je wymiennymi z perspektywy Vibe.
llama.cpp: Maksymalna przenośność
llama.cpp to silnik wnioskowania napisany w czystym C/C++, zaprojektowany do działania na jak największej liczbie platform przy minimalnych zależnościach. To ograniczenie jest jego siłą: działa na Linuxie, macOS i Windowsie, w tym na architekturze ARM – zarówno Apple Silicon, jak i Raspberry Pi. Jego natywna kwantyzacja GGUF w wersjach Q4, Q5 lub Q8 czyni go szczególnie odpowiednim dla konsumenckich kart GPU z ograniczoną pamięcią VRAM. Nie wymaga ani Pythona, ani pełnego zestawu narzędzi CUDA, a jego wydajność na Apple Silicon poprzez Metal, jak i na NVIDIA, jest doskonała. Kompromisem jest konieczność kompilacji.
# Sklonuj i skompiluj
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1 # Z obsługą CUDA
# Uruchom serwer
./llama-server \
-m devstral-small-2-24b-instruct.Q4_K_M.gguf \
--port 8080 \
-ngl 99 \
-c 32768
Kluczowe flagi:
-m: ścieżka do modelu w formacie GGUF-ngl 99: liczba warstw odciążonych do GPU (99 = wszystkie)-c 32768: rozmiar okna kontekstowego--port 8080: port API
W praktyce dostosowujesz -ngl: jeśli model odmawia załadowania, zmniejsz liczbę warstw wysyłanych do GPU. Wybierz llama.cpp, jeśli używasz Maca z Apple Silicon (od M1 do M4), chcesz uniknąć zależności od Pythona, potrzebujesz najbardziej agresywnej kwantyzacji dla małego GPU lub pracujesz na ARM – serwer Graviton, Raspberry Pi.
LM Studio: Wszystko myszką
LM Studio to aplikacja desktopowa, która redukuje wdrożenie lokalne do kilku kliknięć. Jej interfejs obsługuje pobieranie, konfigurację i uruchamianie; katalog pozwala przeglądać i pobierać modele z Hugging Face bez użycia wiersza poleceń; wbudowany serwer API kompatybilny z OpenAI nie wymaga żadnego dostosowania. Aplikacja działa na Windowsie, macOS i Linuxie. Konfiguracja odbywa się całkowicie w interfejsie:
- Otwórz LM Studio
- Pobierz Devstral Small 2 z katalogu
- Załaduj model
- Włącz serwer lokalny (przycisk „Start Server“)
- W Vibe: zadeklaruj serwer LM Studio jako dostawcę kompatybilnego z OpenAI w
config.toml(jego adres widoczny jest w LM Studio), a następnie wybierz model za pomocą/model
Zwróć uwagę na port: LM Studio domyślnie nasłuchuje na porcie 1234. Jeśli Twoje Vibe oczekuje portu 8080, dostosuj konfigurację LM Studio lub Vibe – to najczęstsza przyczyna komunikatu „Vibe nie może znaleźć serwera“, mimo że model jest załadowany. LM Studio jest dla Ciebie, jeśli dopiero zaczynasz przygodę z modelami lokalnymi, preferujesz GUI zamiast wiersza poleceń, chcesz szybko przetestować kilka modeli lub używasz Windowsa, a instalacja vLLM sprawia Ci trudności.
Ollama: Najszybsza konfiguracja
Ollama zapożycza ergonomię z Dockera: jedno polecenie do pobrania modelu, drugie do jego uruchomienia. Instalacja zajmuje jedną linię, zarządzanie odbywa się przez ollama pull, ollama run i ollama list, wbudowane API kompatybilne z OpenAI jest aktywne domyślnie, a modele aktualizują się jak obrazy Dockera.
# Zainstaluj Ollama
curl -fsSL https://ollama.com/install.sh | sh
# Pobierz i uruchom Devstral Small 2
ollama pull devstral-small-2
# Uruchom model (serwer API startuje automatycznie)
ollama run devstral-small-2
Serwer nasłuchuje na porcie 11434, a punkt końcowy kompatybilny z OpenAI znajduje się pod adresem http://localhost:11434/v1/: to jest api_base do zadeklarowania w dostawcy Vibe, z name = "devstral-small-2" w presecie modelu. Wybierz Ollama, jeśli chcesz zacząć tak szybko, jak to możliwe, żonglować wieloma modelami do testów, czujesz się swobodnie z workflow Dockera lub chcesz, aby serwer wnioskowania działał stale w tle.
Wybór i dlaczego ma on niewielkie znaczenie
Każdy framework zajmuje odrębną niszę. vLLM zapewnia najlepszą wydajność produkcyjną z natywną obsługą wielu GPU: to wybór dla dedykowanych serwerów wyposażonych w H100 lub A100. llama.cpp wygrywa pod względem przenośności, błyszczy na Apple Silicon i konsumenckich GPU, pomijając Pythona. LM Studio wygrywa pod względem ergonomii, oferując pełne GUI idealne do odkrywania modeli lokalnych. Ollama oferuje najszybszą konfigurację i uproszczone zarządzanie modelami, świetne do testów i prototypowania. Jednak ten wybór ma niewielkie znaczenie, ponieważ wszystkie udostępniają to samo API w formacie OpenAI – ten wspólny mianownik pozwala Vibe na połączenie bez wiedzy o silniku działającym w tle.
GET /v1/models # Lista dostępnych modeli
POST /v1/chat/completions # Uzupełnianie czatu (główne)
GET /health # Status serwera (vLLM)
Konfiguracja w Vibe jest zatem identyczna we wszystkich frameworkach: zmienia się tylko port.
vLLM → http://localhost:8080
LM Studio → http://localhost:1234
Ollama → http://localhost:11434
llama.cpp → http://localhost:8080
Możesz zacząć od Ollama, aby oswoić się z tematem, przejść na llama.cpp, aby zoptymalizować kwantyzację, a następnie przełączyć się na vLLM w dniu, w którym Twój zespół będzie współdzielił serwer GPU – bez dotykania konfiguracji Vibe.
Podsumowanie kursu
Ta podróż przeprowadziła Cię przez zaawansowany ekosystem Mistral Vibe. Nauczyłeś się kontrolować, kto wykonuje Twoje zadania i z jakimi uprawnieniami, poprzez wbudowane agenty, a następnie agenty niestandardowe, oraz kalibrować ryzyko za pomocą rzeczywistych blokad: list narzędzi, uprawnień dla każdego narzędzia i zaufanych folderów, przy czym pole safety służy wyłącznie jako etykieta wizualna. Tryby zunifikowane grupują narzędzia, uprawnienia i zachowania w profile, które można aktywować; subagenci delegują wyspecjalizowane zadania niezależnie. Następnie zbudowałeś wielokrotnego użytku komponenty dzięki umiejętnościom (skills) i ich plikom SKILL.md, uruchamianym poleceniami ukośnika w jednym geście, i złożyłeś tryby dopasowane do Twojego cyklu deweloperskiego – recenzja, wdrożenie, linting. Wyjaśnianie z wielokrotnym wyborem pokazało Ci, jak Vibe pyta przed działaniem, gdy sprawy są niejednoznaczne, a tryb lokalny z Devstral otworzył drogę do poufnego, offline’owego, suwerennego środowiska. Masz teraz wszystkie narzędzia, aby zbudować środowisko deweloperskie wspomagane przez AI, które respektuje Twoje ograniczenia dotyczące bezpieczeństwa, wydajności i suwerenności.
Kluczowe wnioski
- llama.cpp: Czyste C++, wieloplatformowe, doskonałe na Apple Silicon
- LM Studio: Interfejs graficzny, idealny dla początkujących
- Ollama: Najszybsza konfiguracja, workflow w stylu Dockera
- vLLM: Rekomendowane do produkcji z serwerowymi GPU
- Wszystkie udostępniają API kompatybilne z OpenAI – Vibe łączy się przezroczyście
- Wybierz framework w zależności od swojego sprzętu i poziomu komfortu
Sprawdź swoją wiedzę
Agenci, umiejętności, tryby, lokalność: zaawansowane Vibe w pięciu punktach.
1. Co pozwalają robić niestandardowi agenci w TOML?
Odpowiedź: Zdefiniować własnych agentów – instrukcje, narzędzia, zachowania – w pliku TOML: wyspecjalizowany agent Twojego zespołu staje się wersjonowanym artefaktem.
2. Czy pole bezpieczeństwa agenta (safe, neutral, destructive, smart, yolo) ogranicza jego działania?
Odpowiedź: Nie. To wskazówka wizualna, która koloruje obramowanie pola wprowadzania. To, co faktycznie ogranicza agenta, to enabled_tools i disabled_tools, uprawnienia [tools.<tool>] (always, ask, never), zakres katalogu roboczego i zaufane foldery.
3. Umiejętności i polecenia ukośnika: jak współpracują?
Odpowiedź: Umiejętność (SKILL.md) inkapsuluje procedurę wielokrotnego użytku; polecenie ukośnika wyzwala ją w jednym geście – odkrywanie, aktywacja i priorytet zarządzają katalogiem.
4. Do czego służą subagenci?
Odpowiedź: Do delegowania wyspecjalizowanych podzadań dedykowanym agentom – główny agent orkiestruje, subagenci wykonują swoją specjalizację.
5. Jak uruchomić Vibe całkowicie lokalnie?
Odpowiedź: Poprzez obsługę rekomendowanego modelu open source (Devstral Small 2 lub Mistral Small 4) za pomocą vLLM lub alternatywy (llama.cpp, LM Studio, Ollama), zadeklarowanie go jako dostawcy w config.toml, a następnie wyłączenie telemetrii i sprawdzania aktualizacji (enable_telemetry = false, enable_update_checks = false).
Agenci zadeklarowani, bezpieczeństwo ocenione, umiejętności wyposażone w narzędzia, tryb lokalny możliwy: zaawansowane Vibe to platforma – skonfiguruj ją tak, aby odpowiadała Twojemu zespołowi.