Hostowanie Devstral lokalnie
Na tej stronie
Lekcja zaktualizowana 2 listopada 2026 r. na podstawie strony Using offline models w dokumentacji Vibe: Devstral został usunięty z API, ale Devstral Small 2 pozostaje, obok Mistral Small 4, jednym z dwóch rekomendowanych modeli open source do użytku lokalnego. Usunięto szacunki kosztów bez źródła, a łączenie Vibe z serwerem lokalnym odbywa się teraz zgodnie z oficjalną składnią
config.toml. Źródło: Using offline models.
Dlaczego hostować Devstral lokalnie?
Devstral Small 2 został wydany z otwartymi wagami na licencji Apache 2.0 (Devstral 2, jego 123-miliardowy brat, korzysta ze zmodyfikowanej licencji MIT). Chociaż 31 marca 2026 r. usunięto go z API Mistral, nie zniknął: możesz wdrożyć go na własnych serwerach, nie wysyłając ani jednej linii kodu do zewnętrznego API, a dokumentacja Vibe nadal go do tego rekomenduje.
Motywacje często się pokrywają. Prywatność jest najważniejsza: Twój kod nigdy nie opuszcza Twojej infrastruktury, co kończy wszelkie dyskusje o warunkach korzystania z usług dostawcy. Kolejna jest latencja, ponieważ między Twoimi naciśnięciami klawiszy a sugestią nie ma żadnego cyklu sieciowego do API Mistral. Struktura kosztów ulega zmianie: płacisz stałą cenę za GPU zamiast rozliczenia za użycie, co staje się opłacalne, gdy cały zespół odpytuje model przez cały dzień. Wreszcie mamy zgodność z przepisami, wymaganą przez niektóre regulacje i sektory, takie jak bankowość czy obronność, oraz dostępność, ponieważ żadna usługa zewnętrzna nie może przerwać Twojej pracy.
Rekomendowane modele
Dokumentacja Vibe rekomenduje dwa modele open source do użytku lokalnego:
- Devstral Small 2 (
mistralai/Devstral-Small-2-24B-Instruct-2512na Hugging Face): 24 miliardy parametrów, architektura gęsta, wytrenowany do zadań agentowych i programowania, z najmniejszym footprintem sprzętowym; - Mistral Small 4: 119 miliardów parametrów w architekturze mieszanki ekspertów (MoE), z 6,5 miliarda aktywnych, hybrydowy model do rozumowania i kodowania z kontekstem 256 000 tokenów, na licencji Apache 2.0.
Wymagania sprzętowe
Dla przyzwoitej wydajności przy długich kontekstach dokumentacja rekomenduje wdrożenie w precyzji FP8 z kontekstem około 128 000 tokenów:
| Konfiguracja | Sprzęt | Precyzja | Kontekst |
|---|---|---|---|
| Rekomendowana | GPU H100 lub A100 | FP8 | ~128 000 tokenów |
| Stacja robocza deweloperska | RTX 4090 lub dowolne GPU z 24 GB VRAM | 4-bit | ~32 000 tokenów |
| Brak GPU | Offload na CPU, z wystarczającą ilością RAM | — | — znacznie wolniej |
Te liczby dotyczą Devstral Small 2. Mistral Small 4 wymaga znacznie więcej pamięci wideo do załadowania wag: licz się z co najmniej jednym H100 80 GB w FP8, a jeszcze więcej dla długich kontekstów. Następnie dostosuj precyzję i długość kontekstu do swojego sprzętu.
Wdrożenie z vLLM
vLLM to framework wnioskowania rekomendowany przez dokumentację Vibe do obsługi Devstral. Instalacja wymaga tylko jednego polecenia.
pip install vllm
Serwer uruchamia się następnie w jednej linii, z dwiema opcjami, które sprawiają, że model jest użyteczny w trybie agenta.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Trzy warianty pokrywają większość sytuacji rzeczywistych: podział modelu na wiele GPU, zmniejszenie precyzji, gdy brakuje VRAM, lub skrócenie kontekstu z tego samego powodu.
# Multi-GPU (jeśli masz 2+ GPU)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
# Zmniejszona precyzja (dla GPU z mniejszą ilością VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# Zmniejszony kontekst (aby zaoszczędzić VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 32768 \
--port 8080
Oto co kontroluje każda flaga:
--tool-call-parser mistral— włącza parsowanie wywołań narzędzi w formacie Mistral--enable-auto-tool-choice— pozwala modelowi decydować, kiedy wywołać narzędzie--tensor-parallel-size— dzieli model na wiele GPU--dtype— kontroluje precyzję (float16, bfloat16, float32)--max-model-len— ogranicza rozmiar kontekstu, aby zaoszczędzić VRAM
Pierwsze dwie zasługują na szczególną uwagę: ich pominięcie daje serwer, który działa idealnie do konwersacji, ale zawodzi cicho, gdy tylko agent spróbuje wywołać narzędzie. To najczęstsza przyczyna, dla której lokalne wdrożenie zostaje ocenione jako „rozczarowujące“.
Używanie serwera lokalnego
Gdy vLLM działa, port 8080 udostępnia API kompatybilne z OpenAI. Mistral SDK łączy się z nim, po prostu zmieniając URL serwera; klucz nie jest już potrzebny.
from mistralai.client import Mistral
# Wskaż na serwer lokalny
client = Mistral(
api_key="dummy", # Klucz nie jest potrzebny lokalnie
server_url="http://localhost:8080",
)
response = client.chat.complete(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Przeanalizuj ten kod i zaproponuj ulepszenia."}
],
)
OpenAI SDK działa równie dobrze, pozwalając przełączyć istniejący kod na lokalny Devstral bez przepisywania go.
from openai import OpenAI
client = OpenAI(
api_key="dummy",
base_url="http://localhost:8080/v1",
)
response = client.chat.completions.create(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Wyjaśnij ten kod."}
],
)
Alternatywne frameworki
vLLM to nie jedyna droga: Devstral działa z dowolnym frameworkiem wnioskowania, który udostępnia API kompatybilne z OpenAI. Dokumentacja Vibe wymienia llama.cpp, odpowiednie do konfiguracji z małą ilością VRAM dzięki skwantowanym modelom GGUF, LM Studio, które oferuje interfejs graficzny bez wiersza poleceń, oraz Ollama. Sprawdź dokładną nazwę modelu i kwantyzację w każdym narzędziu przed porównaniem wyników.
Łączenie Vibe z serwerem lokalnym
Vibe nie zawiera lokalnego modelu: gdy Twój serwer działa, deklarujesz dostawcę i preset modelu w config.toml. Dla serwera kompatybilnego z OpenAI na porcie 8080:
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Trzy środki ostrożności z dokumentacji: utrzymuj active_model powyżej pierwszej tablicy [[...]], inaczej TOML dołączy ją do tej tablicy; ustaw max_context_length w presecie, aby wskazać kontekst swojego serwera; i zweryfikuj, czy serwer zwraca użycie tokenów w odpowiedziach strumieniowych (stream_options.include_usage). Vibe udostępnia również predefiniowanego dostawcę, llamacpp, który wskazuje na http://127.0.0.1:8080/v1 bez klucza: w tym przypadku wystarczy wpisać provider = "llamacpp" w presecie. Polecenie /model przełącza się następnie między modelem lokalnym a modelami hostowanymi.
Dla pełnej pracy offline wyłącz również telemetrię i sprawdzanie aktualizacji:
enable_telemetry = false
enable_update_checks = false
Dzięki tym ustawieniom i lokalnemu dostawcy CLI nie kontaktuje się już z mistral.ai. Umiejętności, serwery MCP i konektory sięgające do systemów zewnętrznych muszą być wyłączone osobno.
Kluczowe wnioski
- Devstral został usunięty z API, ale Devstral Small 2 (24B, Apache 2.0) pozostaje rekomendowany do użytku lokalnego, wraz z Mistral Small 4
- vLLM to rekomendowany framework;
--tool-call-parser mistrali--enable-auto-tool-choicesą niezbędne dla agenta - H100 lub A100 w FP8 z kontekstem ~128 tys.; GPU 24 GB w 4-bit z kontekstem ~32 tys.
- Serwer udostępnia API kompatybilne z OpenAI, użyteczne z Mistral SDK lub OpenAI SDK
- Vibe łączy się z serwerem poprzez preset w
config.toml(lub dostawcęllamacpp); wyłącz telemetrię i aktualizacje do użytku offline