Премини към основното съдържание
Български— Изберете език
Меню

Разполагане с vLLM

Урок 11 от 14 Обновен 29 юли 2026 г. Напреднало
На тази страница
  1. vLLM: Препоръчителният механизъм за извод
  2. Какво Ви е необходимо
  3. Офлайн режим: Обработка на пакети
  4. Сървърен режим: Излагане на API
  5. Разполагане с Docker
  6. Трите основни флага на Mistral
  7. Настройване на производителността
  8. Ключови изводи

vLLM: Препоръчителният механизъм за извод

vLLM е най-популярният механизъм за извод на LLM на Python. Mistral AI го препоръчва за самостоятелно хостване, защото е лесен за използване, работи добре и предлага API, съвместим с OpenAI. Ще разгледаме инсталацията и конфигурацията, след което ще обсъдим двата му режима на работа: пакетна (офлайн) обработка и сървърна работа. Тези режими не се изключват взаимно – много екипи използват първия за подготовка на данни, а втория за обслужване на приложения.

Какво Ви е необходимо

Изтеглянето на модели става чрез Hugging Face, което изисква токен с разрешение READ:

export HF_TOKEN="hf_your_token_here"

Преди първото изтегляне трябва да приемете условията за ползване на страницата на модела в Hugging Face (например: huggingface.co/mistralai/Mistral-Nemo-Instruct-2407). Това е еднократна, ръчна стъпка за всеки акаунт. Пропускането ѝ води до грешки при изтегляне, чието диагностициране може да отнеме час, защото приличат на проблеми с автентикацията.

За Python средата използвайте отделен virtualenv, за да избегнете конфликти на версиите с другите Ви проекти:

# Създаване на виртуална среда
python -m venv vllm-env
source vllm-env/bin/activate

# Инсталиране на vLLM (версия >= 0.6.1.post1)
pip install vllm

След това идва хардуерът, който определя какво всъщност можете да обслужвате. Mistral 7B и Nemo се побират на една GPU карта с 24 GB памет, обикновено A10G, RTX 4090 или L4. Mixtral 8x7B изисква две GPU карти по 80 GB, на практика карти A100-80GB. Mistral Large 2 в своята версия с отворени тегла, със своите 123 милиарда параметъра, се нуждае от поне четири GPU карти A100-80GB. Във всички случаи инсталирайте драйверите на NVIDIA и CUDA 12.x преди vLLM.

Офлайн режим: Обработка на пакети

Офлайн режимът обработва пакети от заявки без HTTP сървър. Зареждате модела в паметта, обработвате заявките си и получавате резултатите. Обърнете внимание на трите аргумента tokenizer_mode, load_format и config_format: ще се върнем към тях – те не са по избор.

from vllm import LLM
from vllm.sampling_params import SamplingParams

# Зареждане на модела с флагове на Mistral
llm = LLM(
    model="mistralai/Mistral-Nemo-Instruct-2407",
    tokenizer_mode="mistral",
    load_format="mistral",
    config_format="mistral"
)

# Параметри за генериране
sampling = SamplingParams(
    max_tokens=8192,
    temperature=0.3
)

# Обработка на пакет от заявки
messages_batch = [
    [{"role": "user", "content": "What is PagedAttention?"}],
    [{"role": "user", "content": "Explain tensor parallelism."}],
    [{"role": "user", "content": "How does the KV cache work?"}],
]

results = llm.chat(messages=messages_batch[0], sampling_params=sampling)
for output in results:
    print(output.outputs[0].text)

Този режим блести при пакетна обработка на документи – обобщаване, класификация – оценка на модели спрямо бенчмаркове, генериране на синтетични данни и скриптове за тестване или прототипиране. Когато никой не чака незабавен отговор, печелите от пропускането на HTTP слоя.

Сървърен режим: Излагане на API

Сървърният режим стартира HTTP крайна точка, съвместима с API на OpenAI:

vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --host 0.0.0.0 \
    --port 8000

Сървърът излага API на порт 8000. Практическото следствие е значително: приложение, написано за API на OpenAI, преминава към Вашия самостоятелно хостван модел чрез промяна на два реда: base_url и api_key. Вашите библиотеки, фреймуърци за агенти и инструменти за тестване продължават да работят.

from openai import OpenAI

# Свързване с локалния vLLM сървър
client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="not-needed"  # Няма автентикация по подразбиране
)

response = client.chat.completions.create(
    model="mistralai/Mistral-Nemo-Instruct-2407",
    messages=[
        {"role": "system", "content": "You are a DevOps expert."},
        {"role": "user", "content": "How do I monitor a vLLM server in production?"}
    ],
    temperature=0.3,
    max_tokens=1024
)
print(response.choices[0].message.content)

Коментарът # Няма автентикация по подразбиране заслужава внимание: vLLM сървър, стартиран по този начин, не автентикира никого. На машина за разработка това е удобно. На машина, достъпна през мрежата, това е отворена врата. Бърз тест от командния ред потвърждава, че всичко отговаря, преди да продължите:

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "mistralai/Mistral-Nemo-Instruct-2407",
        "messages": [{"role": "user", "content": "Hello, is this working?"}],
        "temperature": 0.3
    }'

Разполагане с Docker

За възпроизводимо разполагане официалният образ избягва преинсталирането на всяка машина:

docker run --runtime nvidia --gpus all \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HUGGING_FACE_HUB_TOKEN=${HF_TOKEN}" \
    -p 8000:8000 \
    --ipc=host \
    vllm/vllm-openai:latest \
    --model mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --load_format mistral \
    --config_format mistral

Три опции в тази команда заслужават обяснение. --runtime nvidia --gpus all дава достъп на контейнера до GPU картите на NVIDIA; без това моделът би се опитал да работи на процесора. Монтирането -v ~/.cache/huggingface:... споделя кеша на моделите с хоста, което Ви спестява повторното изтегляне на десетки гигабайти при всяко рестартиране на контейнера. --ipc=host предоставя споделената памет, необходима за междупроцесорна комуникация между GPU картите; пропускането му води до трудно диагностицируеми сривове веднага щом преминете към множество карти.

Трите основни флага на Mistral

ФлагЦел
--tokenizer_mode mistralИзползва родния токенизатор на Mistral (не този на HF)
--config_format mistralЗарежда конфигурацията във формат на Mistral
--load_format mistralЗарежда теглата в родния формат на Mistral

Без тези флагове моделът може да работи, но с влошена производителност или неверни резултати. Това е най-честата капан при самостоятелното хостване на Mistral: нищо не се срива, сървърът стартира, отговорите пристигат – те просто са по-лоши, отколкото трябва да бъдат, и рискувате погрешно да заключите, че моделът е разочароващ.

Настройване на производителността

Когато моделът не се побира на една карта, тензорният паралелизъм разпределя неговите слоеве между множество GPU карти. Стойността, която се предава, съответства на броя използвани карти:

vllm serve mistralai/Mixtral-8X7B-Instruct-v0.1 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --tensor-parallel-size 2

Вторият лост се отнася до дела от GPU паметта, който vLLM резервира:

vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --gpu-memory-utilization 0.9

Стойността по подразбиране (0.9) работи в повечето случаи. Намалете я, ако други процеси използват GPU – услуга за компютърно зрение, забравен notebook – в противен случай първият процес заема цялата памет и вторият не успява да стартира.

Накрая, две обаждания са достатъчни, за да проверите дали сървърът е активен, което ги прави добри сонди за Вашия оркестратор:

# Изброяване на наличните модели
curl http://localhost:8000/v1/models

# Проверка на здравето на сървъра
curl http://localhost:8000/health

Ключови изводи

  • vLLM излага API, съвместим с OpenAI – можете да използвате SDK на openai за комуникация
  • Трите флага --tokenizer_mode mistral, --config_format mistral, --load_format mistral са задължителни
  • Офлайн режимът е подходящ за пакетна обработка; сървърният режим е подходящ за приложения в реално време
  • Docker опростява разполагането и осигурява възпроизводимост
  • Тензорният паралелизъм Ви позволява да разпределяте големи модели между множество GPU карти