Przejdź do głównej treści
Polski— Wybierz język
Menu

Lokalne wdrażanie Devstral z użyciem vLLM

Lekcja 13 z 14 Zaktualizowano 2 listopada 2026 Zaawansowany
Na tej stronie
  1. Przygotowanie wdrożenia
  2. Co pozwala Ci Twój sprzęt
  3. Instalacja vLLM
  4. Uruchomienie serwera
  5. Dostosowanie polecenia do Twojej maszyny
  6. Podłączenie Vibe i weryfikacja
  7. Trzy problemy, na które natkniesz się
  8. Kluczowe wnioski

Lekcja zaktualizowana 2 listopada 2026 na podstawie strony Using offline models w dokumentacji Vibe. Devstral został usunięty z API Mistral, ale jego wagi są nadal dostępne: Devstral Small 2 i Mistral Small 4 to dwa rekomendowane modele open-source do użytku lokalnego. Vibe nie zawiera wbudowanego modelu lokalnego: łączysz go z serwerem kompatybilnym z OpenAI poprzez preset w pliku config.toml, a następnie przełączasz się za pomocą polecenia /model. Źródło: Using offline models.

Przygotowanie wdrożenia

Lokalne wdrożenie Devstral oznacza uruchomienie na Twojej maszynie serwera wnioskowania, który udostępnia API kompatybilne z OpenAI. Vibe łączy się z nim dokładnie tak, jakby komunikował się z chmurą Mistral. Ta zgodność interfejsu sprawia, że przełączenie jest bezproblemowe; Twoje narzędzia nie mają powodu, by wiedzieć, skąd pochodzą odpowiedzi. Rekomendowanym frameworkiem do tego zadania jest vLLM, wydajny silnik wnioskowania opracowany przez społeczność open-source.

Co pozwala Ci Twój sprzęt

Zanim cokolwiek zainstalujesz, sprawdź swoją kartę GPU. To ona determinuje dostępną precyzję, a w konsekwencji wielkość okna kontekstowego, z którego będziesz mógł korzystać.

Konfiguracja GPU VRAM Precyzja Kontekst
Rekomendowana NVIDIA H100 / A100 80 GB FP8 ~128K tokenów
Alternatywna RTX 4090 / RTX 6000 24–48 GB 4-bitowa (kwantyzacja) ~32K tokenów
Tylko CPU Brak GPU 64+ GB RAM - Wolno (niezalecane)

Ważna uwaga: Konfiguracja oparta wyłącznie na CPU jest funkcjonalna, ale ekstremalnie wolna dla modelu 24B. Nadaje się tylko do testów, a nie do codziennej pracy. Innymi słowy, pozwala zweryfikować, czy łańcuch działa, ale nie że można z nim efektywnie pracować.

Instalacja vLLM

Wymagania programowe są minimalne: Python 3.10 lub nowszy, a następnie instalacja przez pip.

# Wymagany Python 3.10+
python3 --version

# Instalacja vLLM
pip install vllm

Następnie upewnij się, że sterowniki NVIDIA i CUDA są zainstalowane i działają poprawnie. To polecenie jest najlepszym testem end-to-end: jeśli wyświetli Twoją kartę GPU i wersję CUDA, warstwa niskopoziomowa jest sprawna, a wszelkie późniejsze błędy będą miały inne źródło.

nvidia-smi
# Musi wyświetlić Twoją kartę GPU i wersję CUDA

Uruchomienie serwera

Polecenie startowe mieści się w czterech argumentach, z których dwa są kluczowe dla pracy z Vibe.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Rozbijmy te flagi:

  • mistralai/Devstral-Small-2-24B-Instruct-2512: Model z Hugging Face do załadowania
  • --tool-call-parser mistral: Włącza parsowanie wywołań narzędzi w formacie Mistral
  • --enable-auto-tool-choice: Pozwala modelowi na automatyczny wybór narzędzi
  • --port 8080: Port nasłuchiwania serwera

Dwie flagi związane z narzędziami zasługują na szczególną uwagę. Bez nich serwer odpowiadałby na Twoje pytania, ale model nie mógłby już czytać plików ani uruchamiać poleceń. Vibe stałoby się prostym czatbotem, a o to przecież nie chodzi.

Dostosowanie polecenia do Twojej maszyny

Jeśli posiadasz wiele kart GPU, równoległość tensorowa (tensor parallelism) rozdzieli model między wszystkie karty. Łączna pamięć VRAM pozwoli wtedy na szersze okno kontekstowe.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

W przypadku bardziej skromnej konfiguracji musisz obniżyć precyzję. H100 lub A100 obsłuży FP8; RTX 4090 użyje kwantyzacji 4-bitowej z AWQ, kosztem niewielkiej utraty jakości, co jest jednak w pełni rekompensowane faktem, że model zmieści się wreszcie w pamięci.

# FP8 na H100/A100
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# 4-bit na RTX 4090
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --quantization awq \
  --port 8080

Ostatnim mechanizmem, gdy VRAM nadal jest niewystarczające, jest zmniejszenie maksymalnej długości kontekstu. Pamięć podręczna uwagi (attention cache) zużywa pamięć proporcjonalnie do kontekstu, a zejście do 16 384 tokenów często zwalnia tyle zasobów, ile brakowało do uruchomienia.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 16384 \
  --port 8080

Podłączenie Vibe i weryfikacja

Serwer działa; teraz musisz poinstruować Vibe, aby z niego korzystało. Vibe nie zawiera wbudowanego modelu lokalnego: zadeklaruj dostawcę i preset modelu w pliku config.toml.

# ~/.vibe/config.toml
active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Umieść active_model powyżej pierwszej tabeli [[...]], w przeciwnym razie TOML dołączy ją do tej tabeli. Ustaw max_context_length w presecie, aby wskazać kontekst swojego serwera, który musi również zwracać zużycie tokenów w odpowiedziach strumieniowych (stream_options.include_usage). Krótsza wersja: Vibe udostępnia predefiniowanego dostawcę, llamacpp, który wskazuje na http://127.0.0.1:8080/v1 bez klucza; w takim przypadku wpisz provider = "llamacpp" w presecie, bez bloku [[providers]]. W sesji polecenie /model pozwala przełączać się między modelem lokalnym a modelami hostowanymi.

Przetestuj łańcuch na dwóch poziomach: najpierw surowe API, co potwierdzi załadowanie modelu, a następnie rzeczywiste żądanie w Vibe, aby zweryfikować działanie wywołań narzędzi.

# Test bezpośredniego API
curl http://localhost:8080/v1/models

# Test w Vibe (agent ask żąda potwierdzenia przed każdym narzędziem)
vibe --agent ask
> List files in the current directory

Do codziennego użytku ręczne ponowne uruchamianie polecenia szybko staje się uciążliwe. Usługa systemd uruchomi serwer przy starcie systemu i restartuje go w przypadku awarii.

# Utwórz usługę systemd
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target

[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl enable --now vllm-devstral

Trzy problemy, na które natkniesz się

Błąd CUDA out of memory oznacza, że model nie mieści się w pamięci: zmniejsz --max-model-len lub przełącz się na kwantyzację 4-bitową. Powolność przy samym pierwszym uruchomieniu jest normalna i nie jest symptomem błędu – początkowy start pobiera i ładuje model (około 14 GB), a kolejne uruchomienia korzystają z pamięci podręcznej. Na koniec, jeśli Vibe nie może znaleźć lokalnego serwera, po prostu sprawdź, czy port 8080 nasłuchuje, zanim zaczniesz szukać głębiej.

curl http://localhost:8080/health

Kluczowe wnioski

  • vLLM to rekomendowany framework do obsługi Devstral lokalnie
  • Flagi --tool-call-parser mistral i --enable-auto-tool-choice są obowiązkowe
  • H100/A100 oferuje FP8 i kontekst 128K; RTX 4090 oferuje 4 bity i kontekst 32K
  • Zmniejsz --max-model-len, jeśli VRAM jest niewystarczające
  • Podłącz Vibe poprzez dostawcę i preset modelu w config.toml (lub predefiniowanego dostawcę llamacpp), a następnie użyj /model
  • Uruchamiaj vLLM jako usługę systemd do codziennego użytku