Локално разполагане на Devstral с vLLM
На тази страница
Урокът е актуализиран на 2 ноември 2026 г. въз основа на страницата Using offline models от документацията на Vibe. Devstral бе премахнат от Mistral API, но теглата му остават публикувани: Devstral Small 2 и Mistral Small 4 са двата препоръчителни отворени модела за локална употреба. Vibe не включва локален модел: Вие го свързвате със съвместим със OpenAI сървър чрез предварителна настройка във
config.toml, след което превключвате чрез/model. Източник: Using offline models.
Подготовка на разполагането
Локалното разполагане на Devstral означава стартиране на сървър за извод (inference server) на Вашата машина, който излага API, съвместимо с OpenAI. След това Vibe се свързва с него точно така, сякаш комуникира с облака на Mistral. Тази съвместимост на интерфейса прави превключването безпроблемно; Вашите инструменти нямат причина да знаят откъде идват отговорите. Препоръчителната рамка за тази роля е vLLM – високопроизводителен двигател за извод, разработен от общността с отворен код.
Какво позволява Вашият хардуер
Преди да инсталирате каквото и да е, проверете Вашата GPU. Тя определя използваемата точност и следователно размера на контекстния прозорец, с който ще разполагате.
| Конфигурация | GPU | VRAM | Точност | Контекст |
|---|---|---|---|---|
| Препоръчително | NVIDIA H100 / A100 | 80 GB | FP8 | ~128K токена |
| Алтернатива | RTX 4090 / RTX 6000 | 24–48 GB | 4-битово (квантувано) | ~32K токена |
| Само CPU | Без GPU | 64+ GB RAM | - | Бавно (не се препоръчва) |
Важна бележка: Конфигурацията само с CPU е функционална, но изключително бавна за модел от 24B. Тя е подходяща единствено за тестване, а не за ежедневна употреба. С други думи, тя Ви позволява да проверите дали веригата работи, но не и че можете да работите с нея.
Инсталиране на vLLM
Софтуерното изискване е минимално: Python 3.10 или по-нова версия, последвано от pip install.
# Изисква се Python 3.10+
python3 --version
# Инсталиране на vLLM
pip install vllm
След това проверете дали драйверите на NVIDIA и CUDA са инсталирани и работят. Тази команда е най-добрият цялостен тест: ако покаже Вашата GPU и версия на CUDA, ниското ниво е здраво и всякакви следващи грешки ще идват от другаде.
nvidia-smi
# Трябва да покаже Вашата GPU и версията на CUDA
Стартиране на сървъра
Командата за стартиране се състои от четири аргумента, два от които са съществени за работа с Vibe.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Нека разгледаме флаговете:
mistralai/Devstral-Small-2-24B-Instruct-2512: Моделът от Hugging Face, който да се зареди--tool-call-parser mistral: Активира анализирането на извиквания на инструменти във формат на Mistral--enable-auto-tool-choice: Позволява на модела автоматично да избира своите инструменти--port 8080: Портът, на който сървърът слуша
Двата флага, свързани с инструментите, заслужават внимание. Без тях сървърът би отговарял на въпросите Ви, но моделът вече не би могъл да чете файл или да изпълнява команда. Vibe би се превърнал в обикновен чатбот, което не е целта.
Адаптиране на командата към Вашата машина
Ако разполагате с няколко GPU, тензорният паралелизъм разпределя модела върху всички карти. Комбинираният VRAM тогава позволява по-широк контекстен прозорец.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
При по-скромна конфигурация трябва да намалите точността. H100 или A100 обработват FP8; RTX 4090 ще използва 4-битово квантуване с AWQ, цената за което е лека загуба на качество, която обаче се компенсира в голяма степен от факта, че моделът най-накрая се събира в паметта.
# FP8 на H100/A100
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# 4-битово на RTX 4090
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--quantization awq \
--port 8080
Последният лост, когато VRAM остава недостатъчна, е да намалите максималната дължина на контекста. Кешът за внимание консумира памет пропорционално на контекста и спускането до 16 384 токена често освобождава липсващото, за да стартирате.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 16384 \
--port 8080
Свързване на Vibe и проверка
Сървърът работи; сега трябва да кажете на Vibe да го използва. Vibe не включва локален модел: декларирайте доставчик и предварителна настройка на модел във config.toml.
# ~/.vibe/config.toml
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Задръжте active_model над първата таблица [[...]], в противен случай TOML ще я прикачи към тази таблица. Задайте max_context_length в предварителната настройка, за да посочите контекста на Вашия сървър, който също трябва да връща използването на токени в потокови отговори (stream_options.include_usage). По-кратък вариант: Vibe предоставя предварително дефиниран доставчик, llamacpp, който сочи към http://127.0.0.1:8080/v1 без ключ; в този случай напишете provider = "llamacpp" в предварителната настройка, без блок [[providers]]. В сесията /model превключва между локалния модел и хостваните модели.
Тествайте веригата на две нива: първо суровото API, което потвърждава, че моделът е зареден, след това реална заявка във Vibe, за да валидирате, че извикванията на инструменти работят.
# Директен тест на API
curl http://localhost:8080/v1/models
# Тест във Vibe (агентът ask прави заявки преди всеки инструмент)
vibe --agent ask
> List files in the current directory
За ежедневна употреба ръчното рестартиране на командата бързо става досадно. Услуга на systemd стартира сървъра при зареждане и го рестартира в случай на срив.
# Създаване на услуга на systemd
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target
[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10
[Install]
WantedBy=multi-user.target
EOF
sudo systemctl enable --now vllm-devstral
Трите проблема, с които ще се сблъскате
Грешка CUDA out of memory означава, че моделът не се събира: намалете --max-model-len или преминете към 4-битово квантуване. Бавността при самото първо стартиране е нормална и не е симптом – първоначалното стартиране изтегля и зарежда модела, около 14 GB, а последващите стартирания се възползват от кеша. Накрая, ако Vibe не може да открие локалния сървър, просто проверете дали порт 8080 слуша, преди да търсите по-нататък.
curl http://localhost:8080/health
Ключови изводи
- vLLM е препоръчителната рамка за обслужване на Devstral локално
- Флаговете
--tool-call-parser mistralи--enable-auto-tool-choiceса задължителни - H100/A100 предлага FP8 и контекст от 128K; RTX 4090 предлага 4-битово и 32K
- Намалете
--max-model-len, ако VRAM е недостатъчна - Свържете Vibe чрез доставчик и предварителна настройка на модел във
config.toml(или предварително дефинирания доставчикllamacpp), след което използвайте/model - Стартирайте vLLM като услуга на systemd за ежедневна употреба