Nasazení s vLLM
Na této stránce
vLLM: Doporučený inferenční engine
vLLM je nejoblíbenější inferenční engine pro LLM napsaný v Pythonu. Mistral AI jej doporučuje pro self-hosting, protože se snadno používá, podává vysoký výkon a nabízí API kompatibilní s OpenAI. Projdeme si instalaci a konfiguraci, poté se podíváme na dva režimy použití: dávkový (offline) režim a režim serveru. Tyto režimy se navzájem nevylučují – mnoho týmů používá první k přípravě dat a druhý k obsluze aplikací.
Co budeš potřebovat
Stahování modelů probíhá přes Hugging Face, což vyžaduje token s oprávněním READ:
export HF_TOKEN="hf_your_token_here"
Před prvním stažením musíš přijmout podmínky použití na stránce modelu na Hugging Face (například: huggingface.co/mistralai/Mistral-Nemo-Instruct-2407). Jedná se o jednorázový manuální krok pro každý účet. Pokud na to zapomeneš, stahování selže a diagnostika takové chyby může trvat hodinu, protože vypadá jako problém s autentizací.
Pro Pythoní prostředí použij vyhrazený virtualenv, abys předešel konfliktům verzí s ostatními projekty:
# Vytvoření virtuálního prostředí
python -m venv vllm-env
source vllm-env/bin/activate
# Instalace vLLM (verze >= 0.6.1.post1)
pip install vllm
Dalším faktorem je hardware, který určuje, co skutečně dokážeš nasadit. Mistral 7B a Nemo se vejdou na jednu GPU s 24 GB pamětí, typicky A10G, RTX 4090 nebo L4. Mixtral 8x7B vyžaduje dvě GPU s 80 GB, v praxi karty A100-80GB. Mistral Large 2 ve své open-weight verzi se svými 123 miliardami parametrů potřebuje alespoň čtyři GPU A100-80GB. Ve všech případech nainstaluj ovladače NVIDIA a CUDA 12.x před instalací vLLM.
Offline režim: Zpracování dávek
Offline režim zpracovává dávky požadavků bez HTTP serveru. Načteš model do paměti, zpracuješ své požadavky a získáš výsledky. Všimni si tří argumentů tokenizer_mode, load_format a config_format: k těm se ještě vrátíme – nejsou volitelné.
from vllm import LLM
from vllm.sampling_params import SamplingParams
# Načtení modelu s flagy pro Mistral
llm = LLM(
model="mistralai/Mistral-Nemo-Instruct-2407",
tokenizer_mode="mistral",
load_format="mistral",
config_format="mistral"
)
# Parametry generování
sampling = SamplingParams(
max_tokens=8192,
temperature=0.3
)
# Zpracování dávky požadavků
messages_batch = [
[{"role": "user", "content": "What is PagedAttention?"}],
[{"role": "user", "content": "Explain tensor parallelism."}],
[{"role": "user", "content": "How does the KV cache work?"}],
]
results = llm.chat(messages=messages_batch[0], sampling_params=sampling)
for output in results:
print(output.outputs[0].text)
Tento režim vyniká při dávkovém zpracování dokumentů – shrnování, klasifikace – při evaluaci modelů proti benchmarkům, generování syntetických dat a v testovacích nebo prototypovacích skriptech. Kdykoli nikdo nečeká na okamžitou odpověď, těžíš z toho, že přeskočíš HTTP vrstvu.
Režim serveru: Expozice API
Režim serveru spustí HTTP endpoint kompatibilní s API OpenAI:
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--host 0.0.0.0 \
--port 8000
Server exponuje API na portu 8000. Praktický důsledek je významný: aplikace napsaná pro API OpenAI přepne na tvůj self-hosted model změnou dvou řádků, base_url a api_key. Tvé knihovny, agentní frameworky a testovací nástroje budou fungovat dál.
from openai import OpenAI
# Připojení k lokálnímu serveru vLLM
client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="not-needed" # Ve výchozím nastavení žádná autentizace
)
response = client.chat.completions.create(
model="mistralai/Mistral-Nemo-Instruct-2407",
messages=[
{"role": "system", "content": "You are a DevOps expert."},
{"role": "user", "content": "How do I monitor a vLLM server in production?"}
],
temperature=0.3,
max_tokens=1024
)
print(response.choices[0].message.content)
Komentář # Ve výchozím nastavení žádná autentizace si zaslouží pozornost: server vLLM spuštěný tímto způsobem nikoho neautentizuje. Na vývojovém stroji je to pohodlné. Na stroji přístupném ze sítě jsou to otevřené dveře. Rychlý test z příkazové řádky potvrdí, že vše odpovídá, než půjdeš dál:
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "mistralai/Mistral-Nemo-Instruct-2407",
"messages": [{"role": "user", "content": "Hello, is this working?"}],
"temperature": 0.3
}'
Nasazení pomocí Dockeru
Pro reprodukovatelné nasazení oficiální obraz eliminuje potřebu přeinstalace na každém stroji:
docker run --runtime nvidia --gpus all \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--env "HUGGING_FACE_HUB_TOKEN=${HF_TOKEN}" \
-p 8000:8000 \
--ipc=host \
vllm/vllm-openai:latest \
--model mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--load_format mistral \
--config_format mistral
Tři možnosti v tomto příkazu si zaslouží vysvětlení. --runtime nvidia --gpus all dává kontejneru přístup k GPU NVIDIA; bez toho by se model snažil běžet na CPU. Mount -v ~/.cache/huggingface:... sdílí cache modelů s hostitelem, což ti ušetří opakované stahování desítek gigabajtů při každém restartu kontejneru. --ipc=host poskytuje sdílenou paměť potřebnou pro komunikaci mezi procesy na různých GPU; jeho vynechání způsobí těžko diagnostikovatelné pády, jakmile přejdeš na více karet.
Tři zásadní flagy pro Mistral
| Flag | Účel |
|---|---|
--tokenizer_mode mistral | Používá nativní tokenizer Mistral (ne ten z HF) |
--config_format mistral | Načítá konfiguraci ve formátu Mistral |
--load_format mistral | Načítá váhy v nativním formátu Mistral |
Bez těchto flagů může model běžet, ale s horším výkonem nebo nesprávnými výsledky. Toto je nejčastější past při self-hostingu Mistralu: nic nespadne, server nastartuje, odpovědi přicházejí – jsou jen horší, než by měly být, a riskuješ, že špatně usoudíš, že model zklamal.
Ladění výkonu
Když se model nevejde na jednu kartu, tenzorový paralelismus rozloží jeho vrstvy mezi více GPU. Předaná hodnota odpovídá počtu použitých karet:
vllm serve mistralai/Mixtral-8X7B-Instruct-v0.1 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--tensor-parallel-size 2
Druhou pákou je podíl paměti GPU, kterou si vLLM rezervuje:
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--gpu-memory-utilization 0.9
Výchozí hodnota (0,9) funguje ve většině případů. Sniž ji, pokud GPU využívají jiné procesy – vision služba, zapomenutý notebook – jinak první proces obsadí všechnu paměť a druhý se nespustí.
Nakonec, dvě volání stačí k ověření, že server běží, což z nich dělá dobré sondy pro tvůj orchestrátor:
# Výpis dostupných modelů
curl http://localhost:8000/v1/models
# Kontrola zdraví serveru
curl http://localhost:8000/health
Klíčové poznatky
- vLLM exponuje API kompatibilní s OpenAI – ke komunikaci můžeš použít SDK
openai - Tři flagy
--tokenizer_mode mistral,--config_format mistral,--load_format mistraljsou povinné - Offline režim se hodí pro dávkové zpracování; režim serveru pro aplikace v reálném čase
- Docker zjednodušuje nasazení a zajišťuje reprodukovatelnost
- Tenzorový paralelismus ti umožňuje rozložit velké modely mezi více GPU