Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Nasadenie s vLLM

Lekcia 11 z 14 Aktualizované 29. júla 2026 Pokročilý
Na tejto strane
  1. vLLM: Odporúčaný inferenčný engine
  2. Čo budeš potrebovať
  3. Offline režim: Spracovanie dávok
  4. Serverový režim: Exponovanie API
  5. Nasadenie pomocou Dockeru
  6. Tri esenciálne flagy pre Mistral
  7. Ladenie výkonu
  8. Kľúčové poznatky

vLLM: Odporúčaný inferenčný engine

vLLM je najpopulárnejší inferenčný engine pre LLM napísaný v Pythone. Mistral AI ho odporúča na self-hosting, pretože sa ľahko používa, dosahuje vysoký výkon a ponúka API kompatibilné s OpenAI. Prejdeme si inštaláciu a konfiguráciu, následne pokryjeme dva režimy použitia: dávkový (offline) režim a serverový režim. Tieto režimy sa navzájom nevylučujú – mnohé tímy využívajú prvý na prípravu dát a druhý na obsluhu aplikácií.

Čo budeš potrebovať

Sťahovanie modelov prebieha cez Hugging Face, čo si vyžaduje token s oprávnením READ:

export HF_TOKEN="hf_your_token_here"

Pred prvým sťahovaním musíš prijať podmienky používania na stránke modelu na Hugging Face (napríklad: huggingface.co/mistralai/Mistral-Nemo-Instruct-2407). Ide o jednorazový manuálny krok pre každý účet. Ak na to zabudneš, sťahovanie zlyhá a diagnostika môže trvať hodinu, pretože chyby vyzerajú ako problémy s autentifikáciou.

Pre Pythonové prostredie použii vyhradený virtualenv, aby si sa vyhol konfliktom verzií s ostatnými projektmi:

# Vytvorenie virtuálneho prostredia
python -m venv vllm-env
source vllm-env/bin/activate

# Inštalácia vLLM (verzia >= 0.6.1.post1)
pip install vllm

Ďalej je tu hardvér, ktorý určuje, čo vlastne dokážeš nasadiť. Mistral 7B a Nemo sa zmestia na jednu GPU s 24 GB pamäte, typicky A10G, RTX 4090 alebo L4. Mixtral 8x7B vyžaduje dve GPU s 80 GB, v praxi karty A100-80GB. Mistral Large 2 vo verzii s otvorenými váhami, so svojimi 123 miliardami parametrov, potrebuje aspoň štyri GPU A100-80GB. Vo všetkých prípadoch nainštaluj ovládače NVIDIA a CUDA 12.x pred inštaláciou vLLM.

Offline režim: Spracovanie dávok

Offline režim spracúva dávky požiadaviek bez HTTP servera. Načítaš model do pamäte, spracuješ požiadavky a získaš výsledky. Všimni si tri argumenty tokenizer_mode, load_format a config_format: ešte sa k nim vrátime – nie sú voliteľné.

from vllm import LLM
from vllm.sampling_params import SamplingParams

# Načítanie modelu s flagmi pre Mistral
llm = LLM(
    model="mistralai/Mistral-Nemo-Instruct-2407",
    tokenizer_mode="mistral",
    load_format="mistral",
    config_format="mistral"
)

# Parametre generovania
sampling = SamplingParams(
    max_tokens=8192,
    temperature=0.3
)

# Spracovanie dávky požiadaviek
messages_batch = [
    [{"role": "user", "content": "What is PagedAttention?"}],
    [{"role": "user", "content": "Explain tensor parallelism."}],
    [{"role": "user", "content": "How does the KV cache work?"}],
]

results = llm.chat(messages=messages_batch[0], sampling_params=sampling)
for output in results:
    print(output.outputs[0].text)

Tento režim exceluje pri dávkovom spracovaní dokumentov – sumarizácia, klasifikácia – pri hodnotení modelov proti benchmarkom, generovaní syntetických dát a pri testovacích alebo prototypovacích skriptoch. Kedykoľvek nikto nečaká na okamžitú odpoveď, profituješ z vynechania HTTP vrstvy.

Serverový režim: Exponovanie API

Serverový režim spustí HTTP endpoint kompatibilný s API OpenAI:

vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --host 0.0.0.0 \
    --port 8000

Server exponuje API na porte 8000. Praktický dôsledok je významný: aplikácia napísaná pre API OpenAI prejde na tvoj self-hostovaný model zmenou dvoch riadkov, base_url a api_key. Tvoje knižnice, agentné frameworky a testovacie nástroje budú fungovať ďalej.

from openai import OpenAI

# Pripojenie k lokálnemu serveru vLLM
client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="not-needed"  # Predvolene žiadna autentifikácia
)

response = client.chat.completions.create(
    model="mistralai/Mistral-Nemo-Instruct-2407",
    messages=[
        {"role": "system", "content": "You are a DevOps expert."},
        {"role": "user", "content": "How do I monitor a vLLM server in production?"}
    ],
    temperature=0.3,
    max_tokens=1024
)
print(response.choices[0].message.content)

Komentár # Predvolene žiadna autentifikácia si zaslúži pozornosť: server vLLM spustený týmto spôsobom nikoho neautentifikuje. Na vývojovom stroji je to pohodlné. Na stroji prístupnom cez sieť sú to otvorené dvere. Rýchly test z príkazového riadku potvrdí, že všetko odpovedá, než pôjdeš ďalej:

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "mistralai/Mistral-Nemo-Instruct-2407",
        "messages": [{"role": "user", "content": "Hello, is this working?"}],
        "temperature": 0.3
    }'

Nasadenie pomocou Dockeru

Pre reprodukovateľné nasadenie oficiálny obraz eliminuje potrebu preinštalácie na každom stroji:

docker run --runtime nvidia --gpus all \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HUGGING_FACE_HUB_TOKEN=${HF_TOKEN}" \
    -p 8000:8000 \
    --ipc=host \
    vllm/vllm-openai:latest \
    --model mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --load_format mistral \
    --config_format mistral

Tri možnosti v tomto príkaze si zaslúžia vysvetlenie. --runtime nvidia --gpus all poskytuje kontajneru prístup k GPU NVIDIA; bez toho by sa model pokúsil bežať na CPU. Mount -v ~/.cache/huggingface:... zdieľa cache modelov s hostiteľom, čo ťa ušetrí od opätovného sťahovania desiatok gigabajtov pri každom reštarte kontajnera. --ipc=host udeľuje zdieľanú pamäť potrebnú pre medziprocesovú komunikáciu medzi GPU; jeho vynechanie spôsobuje ťažko diagnostikovateľné pády hneď, ako prejdeš na viacero kariet.

Tri esenciálne flagy pre Mistral

FlagÚčel
--tokenizer_mode mistralPoužíva natívny tokenizer Mistral (nie ten z HF)
--config_format mistralNačíta konfiguráciu vo formáte Mistral
--load_format mistralNačíta váhy v natívnom formáte Mistral

Bez týchto flagov sa model môže spustiť, ale s degradovaným výkonom alebo nesprávnymi výsledkami. Toto je najčastejšia pasca pri self-hostingu Mistralu: nič nespadne, server sa spustí, odpovede prichádzajú – sú len horšie, než by mali byť, a riskuješ, že nesprávne concludeduješ, že model je sklamaním.

Ladenie výkonu

Keď sa model nezmestí na jednu kartu, tenzorový paralelizmus rozdelí jeho vrstvy medzi viacero GPU. Hodnota, ktorú zadáš, zodpovedá počtu použitých kariet:

vllm serve mistralai/Mixtral-8X7B-Instruct-v0.1 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --tensor-parallel-size 2

Druhou pákou je podiel pamäte GPU, ktorú si vLLM rezervuje:

vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --gpu-memory-utilization 0.9

Predvolená hodnota (0,9) funguje vo väčšine prípadov. Zníž ju, ak GPU využívajú iné procesy – vízová služba, zabudnutý notebook – inak prvý proces obsadí všetku pamäť a druhý sa nespustí.

Nakoniec, na overenie, či je server živý, stačia dva volania, čo z nich robí dobré sondy pre tvoj orchestrátor:

# Zoznam dostupných modelov
curl http://localhost:8000/v1/models

# Kontrola stavu servera
curl http://localhost:8000/health

Kľúčové poznatky

  • vLLM exponuje API kompatibilné s OpenAI – na komunikáciu môžeš použiť SDK openai
  • Tri flagy --tokenizer_mode mistral, --config_format mistral, --load_format mistral sú povinné
  • Offline režim sa hodí na dávkové spracovanie; serverový režim na aplikácie v reálnom čase
  • Docker zjednodušuje nasadenie a zabezpečuje reprodukovateľnosť
  • Tenzorový paralelizmus ti umožňuje rozdeliť veľké modely medzi viacero GPU