Премини към основното съдържание
Български— Изберете език
Меню

Хостване на Devstral локално

Урок 13 от 14 Обновен 2 ноември 2026 г. Програмист
На тази страница
  1. Защо да хоствате Devstral локално?
  2. Препоръчани модели
  3. Хардуерни изисквания
  4. Разполагане с vLLM
  5. Използване на локалния сървър
  6. Алтернативни рамки
  7. Свързване на Vibe към локалния сървър
  8. Ключови изводи

Урокът е актуализиран на 2 ноември 2026 г. въз основа на страницата Използване на офлайн модели в документацията на Vibe: Devstral беше премахнат от API, но Devstral Small 2 остава, заедно с Mistral Small 4, като един от двата препоръчани отворени модела за локално използване. Непотвърдените оценки за разходи са премахнати, а свързването на Vibe към локален сървър вече следва официалния синтаксис на config.toml. Източник: Използване на офлайн модели.

Защо да хоствате Devstral локално?

Devstral Small 2 се пуска с отворени тегла под лиценза Apache 2.0 (Devstral 2, неговият по-голям брат с 123 милиарда параметъра, използва модифициран лиценз на MIT). Въпреки че беше премахнат от Mistral API на 31 март 2026 г., той не е изчезнал: можете да го разположите на собствените си сървъри, без да изпращате нито един ред код към външно API, а документацията на Vibe все още го препоръчва за тази цел.

Мотивациите често се припокриват. Поверителността е на първо място: вашият код никога не напуска вашата инфраструктура, което прекъсва всякакви дебати относно условията за ползване на доставчика. Следва латентността, тъй като няма мрежово пътуване до Mistral API между вашите натискания на клавиши и предложението. Структурата на разходите се променя: плащате фиксирана цена за GPU вместо таксуване базирано на употреба, което става изгодно веднага щом цял екип заявява модела през целия ден. Накрая, има съответствие с изискванията, необходимо при определени регулации и сектори като банкерството или отбраната, и наличност, тъй като никоя услуга на трета страна не може да прекъсне работата ви.

Препоръчани модели

Документацията на Vibe препоръчва два отворени модела за локално използване:

  • Devstral Small 2 (mistralai/Devstral-Small-2-24B-Instruct-2512 в Hugging Face): 24 милиарда параметъра, плътна архитектура, обучен за агентски задачи и кодиране, с най-лек отпечатък върху хардуера;
  • Mistral Small 4: 119 милиарда параметъра в архитектура от типа „смес от експерти“ (mixture-of-experts), с 6,5 милиарда активни, хибриден модел за разсъждение и кодиране с контекст от 256 000 токена, под лиценза Apache 2.0.

Хардуерни изисквания

За достойна производителност при дълги контексти, документацията препоръчва разполагане с FP8 точност и контекст от около 128 000 токена:

КонфигурацияХардуерТочностКонтекст
ПрепоръчителнаGPU H100 или A100FP8~128 000 токена
Работна станция за разработкаRTX 4090 или всяко GPU с 24 GB VRAM4-bit~32 000 токена
Без GPUCPU offload, с достатъчно RAM памет—— значително по-бавно

Тези фигури се отнасят за Devstral Small 2. Mistral Small 4 изисква много повече видео памет за зареждане на теглата си: разчитайте на поне един H100 с 80 GB във FP8 формат, и повече за дълги контексти. След това коригирайте точността и дължината на контекста според вашия хардуер.

Разполагане с vLLM

vLLM е рамката за извод (inference framework), препоръчана от документацията на Vibe за обслужване на Devstral. Инсталацията изисква само една команда.

pip install vllm

Сървърът след това стартира с един ред, с двете опции, които правят модела използваем в агентски режим.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Три варианта покриват повечето реални ситуации: разделяне на модела между множество GPU, намаляване на точността, когато VRAM паметта е ограничена, или съкращаване на контекста по същата причина.

# Multi-GPU (ако имате 2+ GPU)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

# Намалена точност (за GPU с по-малко VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# Намален контекст (за пестене на VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 32768 \
  --port 8080

Ето какво контролира всеки флаг:

  • --tool-call-parser mistral — позволява анализиране на извикванията на инструменти във формат на Mistral
  • --enable-auto-tool-choice — позволява на модела да решава кога да извика инструмент
  • --tensor-parallel-size — разделя модела между множество GPU
  • --dtype — контролира точността (float16, bfloat16, float32)
  • --max-model-len — ограничава размера на контекста, за да се пести VRAM

Първите две заслужават специално внимание: пропускането им води до сървър, който работи перфектно за разговор, но се проваля мълчаливо веднага щом агент се опита да извика инструмент. Това е най-честата причина локалното разполагане да бъде оценено като „разочароващо“.

Използване на локалния сървър

След като vLLM работи, порт 8080 излага съвместимо с OpenAI API. Mistral SDK се свързва към него просто чрез промяна на URL адреса на сървъра; ключът вече не е необходим.

from mistralai.client import Mistral

# Насочване към локалния сървър
client = Mistral(
    api_key="dummy",  # Няма нужда от ключ локално
    server_url="http://localhost:8080",
)

response = client.chat.complete(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Анализирай този код и предложи подобрения."}
    ],
)

OpenAI SDK работи също толкова добре, позволявайки ви да превключите съществуващ код към локален Devstral, без да го пренаписвате.

from openai import OpenAI

client = OpenAI(
    api_key="dummy",
    base_url="http://localhost:8080/v1",
)

response = client.chat.completions.create(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Обясни този код."}
    ],
)

Алтернативни рамки

vLLM не е единственият път: Devstral работи с всяка рамка за извод, която излага съвместимо с OpenAI API. Документацията на Vibe цитира llama.cpp, подходящ за настройки с ниска VRAM памет благодарение на неговите квантувани GGUF модели, LM Studio, който предлага графичен интерфейс без команден ред, и Ollama. Проверете точното име на модела и квантуването във всеки инструмент, преди да сравните резултатите.

Свързване на Vibe към локалния сървър

Vibe не включва локален модел: след като сървърът ви работи, декларирате доставчик и предварителна настройка на модел в config.toml. За съвместим с OpenAI сървър на порт 8080:

active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Три предпазни мерки от документацията: запазете active_model над първия масив [[...]], иначе TOML ще го прикачи към този масив; задайте max_context_length в предварителната настройка, за да посочите контекста на вашия сървър; и проверете дали сървърът връща използването на токени в стрийминг отговорите (stream_options.include_usage). Vibe също така предоставя предварително дефиниран доставчик, llamacpp, който сочи към http://127.0.0.1:8080/v1 без ключ: в този случай просто напишете provider = "llamacpp" в предварителната настройка. Командата /model след това превключва между локалния модел и хостваните модели.

За напълно офлайн работа, също така деактивирайте телеметрията и проверките за актуализации:

enable_telemetry = false
enable_update_checks = false

С тези настройки и локален доставчик, CLI вече не се свързва с mistral.ai. Уменията, MCP сървърите и конекторите, които достигат до външни системи, трябва да бъдат деактивирани отделно.

Ключови изводи

  • Devstral е премахнат от API, но Devstral Small 2 (24B, Apache 2.0) остава препоръчителен за локално използване, заедно с Mistral Small 4
  • vLLM е препоръчителната рамка; --tool-call-parser mistral и --enable-auto-tool-choice са съществени за агент
  • H100 или A100 във FP8 с контекст ~128k; GPU с 24 GB в 4-bit с контекст ~32k
  • Сървърът излага съвместимо с OpenAI API, използваемо с Mistral SDK или OpenAI SDK
  • Vibe се свързва към сървъра чрез предварителна настройка в config.toml (или доставчика llamacpp); деактивирайте телеметрията и актуализациите за офлайн употреба