Przejdź do głównej treści
Polski— Wybierz język
Menu

Hostowanie Devstral lokalnie

Lekcja 13 z 14 Zaktualizowano 2 listopada 2026 Programista
Na tej stronie
  1. Dlaczego hostować Devstral lokalnie?
  2. Rekomendowane modele
  3. Wymagania sprzętowe
  4. Wdrożenie z vLLM
  5. Używanie serwera lokalnego
  6. Alternatywne frameworki
  7. Łączenie Vibe z serwerem lokalnym
  8. Kluczowe wnioski

Lekcja zaktualizowana 2 listopada 2026 r. na podstawie strony Using offline models w dokumentacji Vibe: Devstral został usunięty z API, ale Devstral Small 2 pozostaje, obok Mistral Small 4, jednym z dwóch rekomendowanych modeli open source do użytku lokalnego. Usunięto szacunki kosztów bez źródła, a łączenie Vibe z serwerem lokalnym odbywa się teraz zgodnie z oficjalną składnią config.toml. Źródło: Using offline models.

Dlaczego hostować Devstral lokalnie?

Devstral Small 2 został wydany z otwartymi wagami na licencji Apache 2.0 (Devstral 2, jego 123-miliardowy brat, korzysta ze zmodyfikowanej licencji MIT). Chociaż 31 marca 2026 r. usunięto go z API Mistral, nie zniknął: możesz wdrożyć go na własnych serwerach, nie wysyłając ani jednej linii kodu do zewnętrznego API, a dokumentacja Vibe nadal go do tego rekomenduje.

Motywacje często się pokrywają. Prywatność jest najważniejsza: Twój kod nigdy nie opuszcza Twojej infrastruktury, co kończy wszelkie dyskusje o warunkach korzystania z usług dostawcy. Kolejna jest latencja, ponieważ między Twoimi naciśnięciami klawiszy a sugestią nie ma żadnego cyklu sieciowego do API Mistral. Struktura kosztów ulega zmianie: płacisz stałą cenę za GPU zamiast rozliczenia za użycie, co staje się opłacalne, gdy cały zespół odpytuje model przez cały dzień. Wreszcie mamy zgodność z przepisami, wymaganą przez niektóre regulacje i sektory, takie jak bankowość czy obronność, oraz dostępność, ponieważ żadna usługa zewnętrzna nie może przerwać Twojej pracy.

Rekomendowane modele

Dokumentacja Vibe rekomenduje dwa modele open source do użytku lokalnego:

  • Devstral Small 2 (mistralai/Devstral-Small-2-24B-Instruct-2512 na Hugging Face): 24 miliardy parametrów, architektura gęsta, wytrenowany do zadań agentowych i programowania, z najmniejszym footprintem sprzętowym;
  • Mistral Small 4: 119 miliardów parametrów w architekturze mieszanki ekspertów (MoE), z 6,5 miliarda aktywnych, hybrydowy model do rozumowania i kodowania z kontekstem 256 000 tokenów, na licencji Apache 2.0.

Wymagania sprzętowe

Dla przyzwoitej wydajności przy długich kontekstach dokumentacja rekomenduje wdrożenie w precyzji FP8 z kontekstem około 128 000 tokenów:

KonfiguracjaSprzętPrecyzjaKontekst
RekomendowanaGPU H100 lub A100FP8~128 000 tokenów
Stacja robocza deweloperskaRTX 4090 lub dowolne GPU z 24 GB VRAM4-bit~32 000 tokenów
Brak GPUOffload na CPU, z wystarczającą ilością RAM—— znacznie wolniej

Te liczby dotyczą Devstral Small 2. Mistral Small 4 wymaga znacznie więcej pamięci wideo do załadowania wag: licz się z co najmniej jednym H100 80 GB w FP8, a jeszcze więcej dla długich kontekstów. Następnie dostosuj precyzję i długość kontekstu do swojego sprzętu.

Wdrożenie z vLLM

vLLM to framework wnioskowania rekomendowany przez dokumentację Vibe do obsługi Devstral. Instalacja wymaga tylko jednego polecenia.

pip install vllm

Serwer uruchamia się następnie w jednej linii, z dwiema opcjami, które sprawiają, że model jest użyteczny w trybie agenta.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Trzy warianty pokrywają większość sytuacji rzeczywistych: podział modelu na wiele GPU, zmniejszenie precyzji, gdy brakuje VRAM, lub skrócenie kontekstu z tego samego powodu.

# Multi-GPU (jeśli masz 2+ GPU)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

# Zmniejszona precyzja (dla GPU z mniejszą ilością VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# Zmniejszony kontekst (aby zaoszczędzić VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 32768 \
  --port 8080

Oto co kontroluje każda flaga:

  • --tool-call-parser mistral — włącza parsowanie wywołań narzędzi w formacie Mistral
  • --enable-auto-tool-choice — pozwala modelowi decydować, kiedy wywołać narzędzie
  • --tensor-parallel-size — dzieli model na wiele GPU
  • --dtype — kontroluje precyzję (float16, bfloat16, float32)
  • --max-model-len — ogranicza rozmiar kontekstu, aby zaoszczędzić VRAM

Pierwsze dwie zasługują na szczególną uwagę: ich pominięcie daje serwer, który działa idealnie do konwersacji, ale zawodzi cicho, gdy tylko agent spróbuje wywołać narzędzie. To najczęstsza przyczyna, dla której lokalne wdrożenie zostaje ocenione jako „rozczarowujące“.

Używanie serwera lokalnego

Gdy vLLM działa, port 8080 udostępnia API kompatybilne z OpenAI. Mistral SDK łączy się z nim, po prostu zmieniając URL serwera; klucz nie jest już potrzebny.

from mistralai.client import Mistral

# Wskaż na serwer lokalny
client = Mistral(
    api_key="dummy",  # Klucz nie jest potrzebny lokalnie
    server_url="http://localhost:8080",
)

response = client.chat.complete(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Przeanalizuj ten kod i zaproponuj ulepszenia."}
    ],
)

OpenAI SDK działa równie dobrze, pozwalając przełączyć istniejący kod na lokalny Devstral bez przepisywania go.

from openai import OpenAI

client = OpenAI(
    api_key="dummy",
    base_url="http://localhost:8080/v1",
)

response = client.chat.completions.create(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Wyjaśnij ten kod."}
    ],
)

Alternatywne frameworki

vLLM to nie jedyna droga: Devstral działa z dowolnym frameworkiem wnioskowania, który udostępnia API kompatybilne z OpenAI. Dokumentacja Vibe wymienia llama.cpp, odpowiednie do konfiguracji z małą ilością VRAM dzięki skwantowanym modelom GGUF, LM Studio, które oferuje interfejs graficzny bez wiersza poleceń, oraz Ollama. Sprawdź dokładną nazwę modelu i kwantyzację w każdym narzędziu przed porównaniem wyników.

Łączenie Vibe z serwerem lokalnym

Vibe nie zawiera lokalnego modelu: gdy Twój serwer działa, deklarujesz dostawcę i preset modelu w config.toml. Dla serwera kompatybilnego z OpenAI na porcie 8080:

active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Trzy środki ostrożności z dokumentacji: utrzymuj active_model powyżej pierwszej tablicy [[...]], inaczej TOML dołączy ją do tej tablicy; ustaw max_context_length w presecie, aby wskazać kontekst swojego serwera; i zweryfikuj, czy serwer zwraca użycie tokenów w odpowiedziach strumieniowych (stream_options.include_usage). Vibe udostępnia również predefiniowanego dostawcę, llamacpp, który wskazuje na http://127.0.0.1:8080/v1 bez klucza: w tym przypadku wystarczy wpisać provider = "llamacpp" w presecie. Polecenie /model przełącza się następnie między modelem lokalnym a modelami hostowanymi.

Dla pełnej pracy offline wyłącz również telemetrię i sprawdzanie aktualizacji:

enable_telemetry = false
enable_update_checks = false

Dzięki tym ustawieniom i lokalnemu dostawcy CLI nie kontaktuje się już z mistral.ai. Umiejętności, serwery MCP i konektory sięgające do systemów zewnętrznych muszą być wyłączone osobno.

Kluczowe wnioski

  • Devstral został usunięty z API, ale Devstral Small 2 (24B, Apache 2.0) pozostaje rekomendowany do użytku lokalnego, wraz z Mistral Small 4
  • vLLM to rekomendowany framework; --tool-call-parser mistral i --enable-auto-tool-choice są niezbędne dla agenta
  • H100 lub A100 w FP8 z kontekstem ~128 tys.; GPU 24 GB w 4-bit z kontekstem ~32 tys.
  • Serwer udostępnia API kompatybilne z OpenAI, użyteczne z Mistral SDK lub OpenAI SDK
  • Vibe łączy się z serwerem poprzez preset w config.toml (lub dostawcę llamacpp); wyłącz telemetrię i aktualizacje do użytku offline