Премини към основното съдържание
Български— Изберете език
Меню

Локално разполагане на Devstral с vLLM

Урок 13 от 14 Обновен 2 ноември 2026 г. Напреднало
На тази страница
  1. Подготовка на разполагането
  2. Какво позволява Вашият хардуер
  3. Инсталиране на vLLM
  4. Стартиране на сървъра
  5. Адаптиране на командата към Вашата машина
  6. Свързване на Vibe и проверка
  7. Трите проблема, с които ще се сблъскате
  8. Ключови изводи

Урокът е актуализиран на 2 ноември 2026 г. въз основа на страницата Using offline models от документацията на Vibe. Devstral бе премахнат от Mistral API, но теглата му остават публикувани: Devstral Small 2 и Mistral Small 4 са двата препоръчителни отворени модела за локална употреба. Vibe не включва локален модел: Вие го свързвате със съвместим със OpenAI сървър чрез предварителна настройка във config.toml, след което превключвате чрез /model. Източник: Using offline models.

Подготовка на разполагането

Локалното разполагане на Devstral означава стартиране на сървър за извод (inference server) на Вашата машина, който излага API, съвместимо с OpenAI. След това Vibe се свързва с него точно така, сякаш комуникира с облака на Mistral. Тази съвместимост на интерфейса прави превключването безпроблемно; Вашите инструменти нямат причина да знаят откъде идват отговорите. Препоръчителната рамка за тази роля е vLLM – високопроизводителен двигател за извод, разработен от общността с отворен код.

Какво позволява Вашият хардуер

Преди да инсталирате каквото и да е, проверете Вашата GPU. Тя определя използваемата точност и следователно размера на контекстния прозорец, с който ще разполагате.

Конфигурация GPU VRAM Точност Контекст
Препоръчително NVIDIA H100 / A100 80 GB FP8 ~128K токена
Алтернатива RTX 4090 / RTX 6000 24–48 GB 4-битово (квантувано) ~32K токена
Само CPU Без GPU 64+ GB RAM - Бавно (не се препоръчва)

Важна бележка: Конфигурацията само с CPU е функционална, но изключително бавна за модел от 24B. Тя е подходяща единствено за тестване, а не за ежедневна употреба. С други думи, тя Ви позволява да проверите дали веригата работи, но не и че можете да работите с нея.

Инсталиране на vLLM

Софтуерното изискване е минимално: Python 3.10 или по-нова версия, последвано от pip install.

# Изисква се Python 3.10+
python3 --version

# Инсталиране на vLLM
pip install vllm

След това проверете дали драйверите на NVIDIA и CUDA са инсталирани и работят. Тази команда е най-добрият цялостен тест: ако покаже Вашата GPU и версия на CUDA, ниското ниво е здраво и всякакви следващи грешки ще идват от другаде.

nvidia-smi
# Трябва да покаже Вашата GPU и версията на CUDA

Стартиране на сървъра

Командата за стартиране се състои от четири аргумента, два от които са съществени за работа с Vibe.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Нека разгледаме флаговете:

  • mistralai/Devstral-Small-2-24B-Instruct-2512: Моделът от Hugging Face, който да се зареди
  • --tool-call-parser mistral: Активира анализирането на извиквания на инструменти във формат на Mistral
  • --enable-auto-tool-choice: Позволява на модела автоматично да избира своите инструменти
  • --port 8080: Портът, на който сървърът слуша

Двата флага, свързани с инструментите, заслужават внимание. Без тях сървърът би отговарял на въпросите Ви, но моделът вече не би могъл да чете файл или да изпълнява команда. Vibe би се превърнал в обикновен чатбот, което не е целта.

Адаптиране на командата към Вашата машина

Ако разполагате с няколко GPU, тензорният паралелизъм разпределя модела върху всички карти. Комбинираният VRAM тогава позволява по-широк контекстен прозорец.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

При по-скромна конфигурация трябва да намалите точността. H100 или A100 обработват FP8; RTX 4090 ще използва 4-битово квантуване с AWQ, цената за което е лека загуба на качество, която обаче се компенсира в голяма степен от факта, че моделът най-накрая се събира в паметта.

# FP8 на H100/A100
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# 4-битово на RTX 4090
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --quantization awq \
  --port 8080

Последният лост, когато VRAM остава недостатъчна, е да намалите максималната дължина на контекста. Кешът за внимание консумира памет пропорционално на контекста и спускането до 16 384 токена често освобождава липсващото, за да стартирате.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 16384 \
  --port 8080

Свързване на Vibe и проверка

Сървърът работи; сега трябва да кажете на Vibe да го използва. Vibe не включва локален модел: декларирайте доставчик и предварителна настройка на модел във config.toml.

# ~/.vibe/config.toml
active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Задръжте active_model над първата таблица [[...]], в противен случай TOML ще я прикачи към тази таблица. Задайте max_context_length в предварителната настройка, за да посочите контекста на Вашия сървър, който също трябва да връща използването на токени в потокови отговори (stream_options.include_usage). По-кратък вариант: Vibe предоставя предварително дефиниран доставчик, llamacpp, който сочи към http://127.0.0.1:8080/v1 без ключ; в този случай напишете provider = "llamacpp" в предварителната настройка, без блок [[providers]]. В сесията /model превключва между локалния модел и хостваните модели.

Тествайте веригата на две нива: първо суровото API, което потвърждава, че моделът е зареден, след това реална заявка във Vibe, за да валидирате, че извикванията на инструменти работят.

# Директен тест на API
curl http://localhost:8080/v1/models

# Тест във Vibe (агентът ask прави заявки преди всеки инструмент)
vibe --agent ask
> List files in the current directory

За ежедневна употреба ръчното рестартиране на командата бързо става досадно. Услуга на systemd стартира сървъра при зареждане и го рестартира в случай на срив.

# Създаване на услуга на systemd
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target

[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl enable --now vllm-devstral

Трите проблема, с които ще се сблъскате

Грешка CUDA out of memory означава, че моделът не се събира: намалете --max-model-len или преминете към 4-битово квантуване. Бавността при самото първо стартиране е нормална и не е симптом – първоначалното стартиране изтегля и зарежда модела, около 14 GB, а последващите стартирания се възползват от кеша. Накрая, ако Vibe не може да открие локалния сървър, просто проверете дали порт 8080 слуша, преди да търсите по-нататък.

curl http://localhost:8080/health

Ключови изводи

  • vLLM е препоръчителната рамка за обслужване на Devstral локално
  • Флаговете --tool-call-parser mistral и --enable-auto-tool-choice са задължителни
  • H100/A100 предлага FP8 и контекст от 128K; RTX 4090 предлага 4-битово и 32K
  • Намалете --max-model-len, ако VRAM е недостатъчна
  • Свържете Vibe чрез доставчик и предварителна настройка на модел във config.toml (или предварително дефинирания доставчик llamacpp), след което използвайте /model
  • Стартирайте vLLM като услуга на systemd за ежедневна употреба