Nasadenie s vLLM
Na tejto strane
vLLM: Odporúčaný inferenčný engine
vLLM je najpopulárnejší inferenčný engine pre LLM napísaný v Pythone. Mistral AI ho odporúča na self-hosting, pretože sa ľahko používa, dosahuje vysoký výkon a ponúka API kompatibilné s OpenAI. Prejdeme si inštaláciu a konfiguráciu, následne pokryjeme dva režimy použitia: dávkový (offline) režim a serverový režim. Tieto režimy sa navzájom nevylučujú – mnohé tímy využívajú prvý na prípravu dát a druhý na obsluhu aplikácií.
Čo budeš potrebovať
Sťahovanie modelov prebieha cez Hugging Face, čo si vyžaduje token s oprávnením READ:
export HF_TOKEN="hf_your_token_here"
Pred prvým sťahovaním musíš prijať podmienky používania na stránke modelu na Hugging Face (napríklad: huggingface.co/mistralai/Mistral-Nemo-Instruct-2407). Ide o jednorazový manuálny krok pre každý účet. Ak na to zabudneš, sťahovanie zlyhá a diagnostika môže trvať hodinu, pretože chyby vyzerajú ako problémy s autentifikáciou.
Pre Pythonové prostredie použii vyhradený virtualenv, aby si sa vyhol konfliktom verzií s ostatnými projektmi:
# Vytvorenie virtuálneho prostredia
python -m venv vllm-env
source vllm-env/bin/activate
# Inštalácia vLLM (verzia >= 0.6.1.post1)
pip install vllm
Ďalej je tu hardvér, ktorý určuje, čo vlastne dokážeš nasadiť. Mistral 7B a Nemo sa zmestia na jednu GPU s 24 GB pamäte, typicky A10G, RTX 4090 alebo L4. Mixtral 8x7B vyžaduje dve GPU s 80 GB, v praxi karty A100-80GB. Mistral Large 2 vo verzii s otvorenými váhami, so svojimi 123 miliardami parametrov, potrebuje aspoň štyri GPU A100-80GB. Vo všetkých prípadoch nainštaluj ovládače NVIDIA a CUDA 12.x pred inštaláciou vLLM.
Offline režim: Spracovanie dávok
Offline režim spracúva dávky požiadaviek bez HTTP servera. Načítaš model do pamäte, spracuješ požiadavky a získaš výsledky. Všimni si tri argumenty tokenizer_mode, load_format a config_format: ešte sa k nim vrátime – nie sú voliteľné.
from vllm import LLM
from vllm.sampling_params import SamplingParams
# Načítanie modelu s flagmi pre Mistral
llm = LLM(
model="mistralai/Mistral-Nemo-Instruct-2407",
tokenizer_mode="mistral",
load_format="mistral",
config_format="mistral"
)
# Parametre generovania
sampling = SamplingParams(
max_tokens=8192,
temperature=0.3
)
# Spracovanie dávky požiadaviek
messages_batch = [
[{"role": "user", "content": "What is PagedAttention?"}],
[{"role": "user", "content": "Explain tensor parallelism."}],
[{"role": "user", "content": "How does the KV cache work?"}],
]
results = llm.chat(messages=messages_batch[0], sampling_params=sampling)
for output in results:
print(output.outputs[0].text)
Tento režim exceluje pri dávkovom spracovaní dokumentov – sumarizácia, klasifikácia – pri hodnotení modelov proti benchmarkom, generovaní syntetických dát a pri testovacích alebo prototypovacích skriptoch. Kedykoľvek nikto nečaká na okamžitú odpoveď, profituješ z vynechania HTTP vrstvy.
Serverový režim: Exponovanie API
Serverový režim spustí HTTP endpoint kompatibilný s API OpenAI:
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--host 0.0.0.0 \
--port 8000
Server exponuje API na porte 8000. Praktický dôsledok je významný: aplikácia napísaná pre API OpenAI prejde na tvoj self-hostovaný model zmenou dvoch riadkov, base_url a api_key. Tvoje knižnice, agentné frameworky a testovacie nástroje budú fungovať ďalej.
from openai import OpenAI
# Pripojenie k lokálnemu serveru vLLM
client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="not-needed" # Predvolene žiadna autentifikácia
)
response = client.chat.completions.create(
model="mistralai/Mistral-Nemo-Instruct-2407",
messages=[
{"role": "system", "content": "You are a DevOps expert."},
{"role": "user", "content": "How do I monitor a vLLM server in production?"}
],
temperature=0.3,
max_tokens=1024
)
print(response.choices[0].message.content)
Komentár # Predvolene žiadna autentifikácia si zaslúži pozornosť: server vLLM spustený týmto spôsobom nikoho neautentifikuje. Na vývojovom stroji je to pohodlné. Na stroji prístupnom cez sieť sú to otvorené dvere. Rýchly test z príkazového riadku potvrdí, že všetko odpovedá, než pôjdeš ďalej:
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "mistralai/Mistral-Nemo-Instruct-2407",
"messages": [{"role": "user", "content": "Hello, is this working?"}],
"temperature": 0.3
}'
Nasadenie pomocou Dockeru
Pre reprodukovateľné nasadenie oficiálny obraz eliminuje potrebu preinštalácie na každom stroji:
docker run --runtime nvidia --gpus all \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--env "HUGGING_FACE_HUB_TOKEN=${HF_TOKEN}" \
-p 8000:8000 \
--ipc=host \
vllm/vllm-openai:latest \
--model mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--load_format mistral \
--config_format mistral
Tri možnosti v tomto príkaze si zaslúžia vysvetlenie. --runtime nvidia --gpus all poskytuje kontajneru prístup k GPU NVIDIA; bez toho by sa model pokúsil bežať na CPU. Mount -v ~/.cache/huggingface:... zdieľa cache modelov s hostiteľom, čo ťa ušetrí od opätovného sťahovania desiatok gigabajtov pri každom reštarte kontajnera. --ipc=host udeľuje zdieľanú pamäť potrebnú pre medziprocesovú komunikáciu medzi GPU; jeho vynechanie spôsobuje ťažko diagnostikovateľné pády hneď, ako prejdeš na viacero kariet.
Tri esenciálne flagy pre Mistral
| Flag | Účel |
|---|---|
--tokenizer_mode mistral | Používa natívny tokenizer Mistral (nie ten z HF) |
--config_format mistral | Načíta konfiguráciu vo formáte Mistral |
--load_format mistral | Načíta váhy v natívnom formáte Mistral |
Bez týchto flagov sa model môže spustiť, ale s degradovaným výkonom alebo nesprávnymi výsledkami. Toto je najčastejšia pasca pri self-hostingu Mistralu: nič nespadne, server sa spustí, odpovede prichádzajú – sú len horšie, než by mali byť, a riskuješ, že nesprávne concludeduješ, že model je sklamaním.
Ladenie výkonu
Keď sa model nezmestí na jednu kartu, tenzorový paralelizmus rozdelí jeho vrstvy medzi viacero GPU. Hodnota, ktorú zadáš, zodpovedá počtu použitých kariet:
vllm serve mistralai/Mixtral-8X7B-Instruct-v0.1 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--tensor-parallel-size 2
Druhou pákou je podiel pamäte GPU, ktorú si vLLM rezervuje:
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--gpu-memory-utilization 0.9
Predvolená hodnota (0,9) funguje vo väčšine prípadov. Zníž ju, ak GPU využívajú iné procesy – vízová služba, zabudnutý notebook – inak prvý proces obsadí všetku pamäť a druhý sa nespustí.
Nakoniec, na overenie, či je server živý, stačia dva volania, čo z nich robí dobré sondy pre tvoj orchestrátor:
# Zoznam dostupných modelov
curl http://localhost:8000/v1/models
# Kontrola stavu servera
curl http://localhost:8000/health
Kľúčové poznatky
- vLLM exponuje API kompatibilné s OpenAI – na komunikáciu môžeš použiť SDK
openai - Tri flagy
--tokenizer_mode mistral,--config_format mistral,--load_format mistralsú povinné - Offline režim sa hodí na dávkové spracovanie; serverový režim na aplikácie v reálnom čase
- Docker zjednodušuje nasadenie a zabezpečuje reprodukovateľnosť
- Tenzorový paralelizmus ti umožňuje rozdeliť veľké modely medzi viacero GPU