Lokalne wdrażanie Devstral z użyciem vLLM
Na tej stronie
Lekcja zaktualizowana 2 listopada 2026 na podstawie strony Using offline models w dokumentacji Vibe. Devstral został usunięty z API Mistral, ale jego wagi są nadal dostępne: Devstral Small 2 i Mistral Small 4 to dwa rekomendowane modele open-source do użytku lokalnego. Vibe nie zawiera wbudowanego modelu lokalnego: łączysz go z serwerem kompatybilnym z OpenAI poprzez preset w pliku
config.toml, a następnie przełączasz się za pomocą polecenia/model. Źródło: Using offline models.
Przygotowanie wdrożenia
Lokalne wdrożenie Devstral oznacza uruchomienie na Twojej maszynie serwera wnioskowania, który udostępnia API kompatybilne z OpenAI. Vibe łączy się z nim dokładnie tak, jakby komunikował się z chmurą Mistral. Ta zgodność interfejsu sprawia, że przełączenie jest bezproblemowe; Twoje narzędzia nie mają powodu, by wiedzieć, skąd pochodzą odpowiedzi. Rekomendowanym frameworkiem do tego zadania jest vLLM, wydajny silnik wnioskowania opracowany przez społeczność open-source.
Co pozwala Ci Twój sprzęt
Zanim cokolwiek zainstalujesz, sprawdź swoją kartę GPU. To ona determinuje dostępną precyzję, a w konsekwencji wielkość okna kontekstowego, z którego będziesz mógł korzystać.
| Konfiguracja | GPU | VRAM | Precyzja | Kontekst |
|---|---|---|---|---|
| Rekomendowana | NVIDIA H100 / A100 | 80 GB | FP8 | ~128K tokenów |
| Alternatywna | RTX 4090 / RTX 6000 | 24–48 GB | 4-bitowa (kwantyzacja) | ~32K tokenów |
| Tylko CPU | Brak GPU | 64+ GB RAM | - | Wolno (niezalecane) |
Ważna uwaga: Konfiguracja oparta wyłącznie na CPU jest funkcjonalna, ale ekstremalnie wolna dla modelu 24B. Nadaje się tylko do testów, a nie do codziennej pracy. Innymi słowy, pozwala zweryfikować, czy łańcuch działa, ale nie że można z nim efektywnie pracować.
Instalacja vLLM
Wymagania programowe są minimalne: Python 3.10 lub nowszy, a następnie instalacja przez pip.
# Wymagany Python 3.10+
python3 --version
# Instalacja vLLM
pip install vllm
Następnie upewnij się, że sterowniki NVIDIA i CUDA są zainstalowane i działają poprawnie. To polecenie jest najlepszym testem end-to-end: jeśli wyświetli Twoją kartę GPU i wersję CUDA, warstwa niskopoziomowa jest sprawna, a wszelkie późniejsze błędy będą miały inne źródło.
nvidia-smi
# Musi wyświetlić Twoją kartę GPU i wersję CUDA
Uruchomienie serwera
Polecenie startowe mieści się w czterech argumentach, z których dwa są kluczowe dla pracy z Vibe.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Rozbijmy te flagi:
mistralai/Devstral-Small-2-24B-Instruct-2512: Model z Hugging Face do załadowania--tool-call-parser mistral: Włącza parsowanie wywołań narzędzi w formacie Mistral--enable-auto-tool-choice: Pozwala modelowi na automatyczny wybór narzędzi--port 8080: Port nasłuchiwania serwera
Dwie flagi związane z narzędziami zasługują na szczególną uwagę. Bez nich serwer odpowiadałby na Twoje pytania, ale model nie mógłby już czytać plików ani uruchamiać poleceń. Vibe stałoby się prostym czatbotem, a o to przecież nie chodzi.
Dostosowanie polecenia do Twojej maszyny
Jeśli posiadasz wiele kart GPU, równoległość tensorowa (tensor parallelism) rozdzieli model między wszystkie karty. Łączna pamięć VRAM pozwoli wtedy na szersze okno kontekstowe.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
W przypadku bardziej skromnej konfiguracji musisz obniżyć precyzję. H100 lub A100 obsłuży FP8; RTX 4090 użyje kwantyzacji 4-bitowej z AWQ, kosztem niewielkiej utraty jakości, co jest jednak w pełni rekompensowane faktem, że model zmieści się wreszcie w pamięci.
# FP8 na H100/A100
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# 4-bit na RTX 4090
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--quantization awq \
--port 8080
Ostatnim mechanizmem, gdy VRAM nadal jest niewystarczające, jest zmniejszenie maksymalnej długości kontekstu. Pamięć podręczna uwagi (attention cache) zużywa pamięć proporcjonalnie do kontekstu, a zejście do 16 384 tokenów często zwalnia tyle zasobów, ile brakowało do uruchomienia.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 16384 \
--port 8080
Podłączenie Vibe i weryfikacja
Serwer działa; teraz musisz poinstruować Vibe, aby z niego korzystało. Vibe nie zawiera wbudowanego modelu lokalnego: zadeklaruj dostawcę i preset modelu w pliku config.toml.
# ~/.vibe/config.toml
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Umieść active_model powyżej pierwszej tabeli [[...]], w przeciwnym razie TOML dołączy ją do tej tabeli. Ustaw max_context_length w presecie, aby wskazać kontekst swojego serwera, który musi również zwracać zużycie tokenów w odpowiedziach strumieniowych (stream_options.include_usage). Krótsza wersja: Vibe udostępnia predefiniowanego dostawcę, llamacpp, który wskazuje na http://127.0.0.1:8080/v1 bez klucza; w takim przypadku wpisz provider = "llamacpp" w presecie, bez bloku [[providers]]. W sesji polecenie /model pozwala przełączać się między modelem lokalnym a modelami hostowanymi.
Przetestuj łańcuch na dwóch poziomach: najpierw surowe API, co potwierdzi załadowanie modelu, a następnie rzeczywiste żądanie w Vibe, aby zweryfikować działanie wywołań narzędzi.
# Test bezpośredniego API
curl http://localhost:8080/v1/models
# Test w Vibe (agent ask żąda potwierdzenia przed każdym narzędziem)
vibe --agent ask
> List files in the current directory
Do codziennego użytku ręczne ponowne uruchamianie polecenia szybko staje się uciążliwe. Usługa systemd uruchomi serwer przy starcie systemu i restartuje go w przypadku awarii.
# Utwórz usługę systemd
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target
[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10
[Install]
WantedBy=multi-user.target
EOF
sudo systemctl enable --now vllm-devstral
Trzy problemy, na które natkniesz się
Błąd CUDA out of memory oznacza, że model nie mieści się w pamięci: zmniejsz --max-model-len lub przełącz się na kwantyzację 4-bitową. Powolność przy samym pierwszym uruchomieniu jest normalna i nie jest symptomem błędu – początkowy start pobiera i ładuje model (około 14 GB), a kolejne uruchomienia korzystają z pamięci podręcznej. Na koniec, jeśli Vibe nie może znaleźć lokalnego serwera, po prostu sprawdź, czy port 8080 nasłuchuje, zanim zaczniesz szukać głębiej.
curl http://localhost:8080/health
Kluczowe wnioski
- vLLM to rekomendowany framework do obsługi Devstral lokalnie
- Flagi
--tool-call-parser mistrali--enable-auto-tool-choicesą obowiązkowe - H100/A100 oferuje FP8 i kontekst 128K; RTX 4090 oferuje 4 bity i kontekst 32K
- Zmniejsz
--max-model-len, jeśli VRAM jest niewystarczające - Podłącz Vibe poprzez dostawcę i preset modelu w
config.toml(lub predefiniowanego dostawcęllamacpp), a następnie użyj/model - Uruchamiaj vLLM jako usługę systemd do codziennego użytku