Разполагане с vLLM
На тази страница
vLLM: Препоръчителният механизъм за извод
vLLM е най-популярният механизъм за извод на LLM на Python. Mistral AI го препоръчва за самостоятелно хостване, защото е лесен за използване, работи добре и предлага API, съвместим с OpenAI. Ще разгледаме инсталацията и конфигурацията, след което ще обсъдим двата му режима на работа: пакетна (офлайн) обработка и сървърна работа. Тези режими не се изключват взаимно – много екипи използват първия за подготовка на данни, а втория за обслужване на приложения.
Какво Ви е необходимо
Изтеглянето на модели става чрез Hugging Face, което изисква токен с разрешение READ:
export HF_TOKEN="hf_your_token_here"
Преди първото изтегляне трябва да приемете условията за ползване на страницата на модела в Hugging Face (например: huggingface.co/mistralai/Mistral-Nemo-Instruct-2407). Това е еднократна, ръчна стъпка за всеки акаунт. Пропускането ѝ води до грешки при изтегляне, чието диагностициране може да отнеме час, защото приличат на проблеми с автентикацията.
За Python средата използвайте отделен virtualenv, за да избегнете конфликти на версиите с другите Ви проекти:
# Създаване на виртуална среда
python -m venv vllm-env
source vllm-env/bin/activate
# Инсталиране на vLLM (версия >= 0.6.1.post1)
pip install vllm
След това идва хардуерът, който определя какво всъщност можете да обслужвате. Mistral 7B и Nemo се побират на една GPU карта с 24 GB памет, обикновено A10G, RTX 4090 или L4. Mixtral 8x7B изисква две GPU карти по 80 GB, на практика карти A100-80GB. Mistral Large 2 в своята версия с отворени тегла, със своите 123 милиарда параметъра, се нуждае от поне четири GPU карти A100-80GB. Във всички случаи инсталирайте драйверите на NVIDIA и CUDA 12.x преди vLLM.
Офлайн режим: Обработка на пакети
Офлайн режимът обработва пакети от заявки без HTTP сървър. Зареждате модела в паметта, обработвате заявките си и получавате резултатите. Обърнете внимание на трите аргумента tokenizer_mode, load_format и config_format: ще се върнем към тях – те не са по избор.
from vllm import LLM
from vllm.sampling_params import SamplingParams
# Зареждане на модела с флагове на Mistral
llm = LLM(
model="mistralai/Mistral-Nemo-Instruct-2407",
tokenizer_mode="mistral",
load_format="mistral",
config_format="mistral"
)
# Параметри за генериране
sampling = SamplingParams(
max_tokens=8192,
temperature=0.3
)
# Обработка на пакет от заявки
messages_batch = [
[{"role": "user", "content": "What is PagedAttention?"}],
[{"role": "user", "content": "Explain tensor parallelism."}],
[{"role": "user", "content": "How does the KV cache work?"}],
]
results = llm.chat(messages=messages_batch[0], sampling_params=sampling)
for output in results:
print(output.outputs[0].text)
Този режим блести при пакетна обработка на документи – обобщаване, класификация – оценка на модели спрямо бенчмаркове, генериране на синтетични данни и скриптове за тестване или прототипиране. Когато никой не чака незабавен отговор, печелите от пропускането на HTTP слоя.
Сървърен режим: Излагане на API
Сървърният режим стартира HTTP крайна точка, съвместима с API на OpenAI:
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--host 0.0.0.0 \
--port 8000
Сървърът излага API на порт 8000. Практическото следствие е значително: приложение, написано за API на OpenAI, преминава към Вашия самостоятелно хостван модел чрез промяна на два реда: base_url и api_key. Вашите библиотеки, фреймуърци за агенти и инструменти за тестване продължават да работят.
from openai import OpenAI
# Свързване с локалния vLLM сървър
client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="not-needed" # Няма автентикация по подразбиране
)
response = client.chat.completions.create(
model="mistralai/Mistral-Nemo-Instruct-2407",
messages=[
{"role": "system", "content": "You are a DevOps expert."},
{"role": "user", "content": "How do I monitor a vLLM server in production?"}
],
temperature=0.3,
max_tokens=1024
)
print(response.choices[0].message.content)
Коментарът # Няма автентикация по подразбиране заслужава внимание: vLLM сървър, стартиран по този начин, не автентикира никого. На машина за разработка това е удобно. На машина, достъпна през мрежата, това е отворена врата. Бърз тест от командния ред потвърждава, че всичко отговаря, преди да продължите:
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "mistralai/Mistral-Nemo-Instruct-2407",
"messages": [{"role": "user", "content": "Hello, is this working?"}],
"temperature": 0.3
}'
Разполагане с Docker
За възпроизводимо разполагане официалният образ избягва преинсталирането на всяка машина:
docker run --runtime nvidia --gpus all \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--env "HUGGING_FACE_HUB_TOKEN=${HF_TOKEN}" \
-p 8000:8000 \
--ipc=host \
vllm/vllm-openai:latest \
--model mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--load_format mistral \
--config_format mistral
Три опции в тази команда заслужават обяснение. --runtime nvidia --gpus all дава достъп на контейнера до GPU картите на NVIDIA; без това моделът би се опитал да работи на процесора. Монтирането -v ~/.cache/huggingface:... споделя кеша на моделите с хоста, което Ви спестява повторното изтегляне на десетки гигабайти при всяко рестартиране на контейнера. --ipc=host предоставя споделената памет, необходима за междупроцесорна комуникация между GPU картите; пропускането му води до трудно диагностицируеми сривове веднага щом преминете към множество карти.
Трите основни флага на Mistral
| Флаг | Цел |
|---|---|
--tokenizer_mode mistral | Използва родния токенизатор на Mistral (не този на HF) |
--config_format mistral | Зарежда конфигурацията във формат на Mistral |
--load_format mistral | Зарежда теглата в родния формат на Mistral |
Без тези флагове моделът може да работи, но с влошена производителност или неверни резултати. Това е най-честата капан при самостоятелното хостване на Mistral: нищо не се срива, сървърът стартира, отговорите пристигат – те просто са по-лоши, отколкото трябва да бъдат, и рискувате погрешно да заключите, че моделът е разочароващ.
Настройване на производителността
Когато моделът не се побира на една карта, тензорният паралелизъм разпределя неговите слоеве между множество GPU карти. Стойността, която се предава, съответства на броя използвани карти:
vllm serve mistralai/Mixtral-8X7B-Instruct-v0.1 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--tensor-parallel-size 2
Вторият лост се отнася до дела от GPU паметта, който vLLM резервира:
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--gpu-memory-utilization 0.9
Стойността по подразбиране (0.9) работи в повечето случаи. Намалете я, ако други процеси използват GPU – услуга за компютърно зрение, забравен notebook – в противен случай първият процес заема цялата памет и вторият не успява да стартира.
Накрая, две обаждания са достатъчни, за да проверите дали сървърът е активен, което ги прави добри сонди за Вашия оркестратор:
# Изброяване на наличните модели
curl http://localhost:8000/v1/models
# Проверка на здравето на сървъра
curl http://localhost:8000/health
Ключови изводи
- vLLM излага API, съвместим с OpenAI – можете да използвате SDK на
openaiза комуникация - Трите флага
--tokenizer_mode mistral,--config_format mistral,--load_format mistralса задължителни - Офлайн режимът е подходящ за пакетна обработка; сървърният режим е подходящ за приложения в реално време
- Docker опростява разполагането и осигурява възпроизводимост
- Тензорният паралелизъм Ви позволява да разпределяте големи модели между множество GPU карти