Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Nasazení s vLLM

Lekce 11 z 14 Aktualizováno 29. července 2026 Pokročilý
Na této stránce
  1. vLLM: Doporučený inferenční engine
  2. Co budeš potřebovat
  3. Offline režim: Zpracování dávek
  4. Režim serveru: Expozice API
  5. Nasazení pomocí Dockeru
  6. Tři zásadní flagy pro Mistral
  7. Ladění výkonu
  8. Klíčové poznatky

vLLM: Doporučený inferenční engine

vLLM je nejoblíbenější inferenční engine pro LLM napsaný v Pythonu. Mistral AI jej doporučuje pro self-hosting, protože se snadno používá, podává vysoký výkon a nabízí API kompatibilní s OpenAI. Projdeme si instalaci a konfiguraci, poté se podíváme na dva režimy použití: dávkový (offline) režim a režim serveru. Tyto režimy se navzájem nevylučují – mnoho týmů používá první k přípravě dat a druhý k obsluze aplikací.

Co budeš potřebovat

Stahování modelů probíhá přes Hugging Face, což vyžaduje token s oprávněním READ:

export HF_TOKEN="hf_your_token_here"

Před prvním stažením musíš přijmout podmínky použití na stránce modelu na Hugging Face (například: huggingface.co/mistralai/Mistral-Nemo-Instruct-2407). Jedná se o jednorázový manuální krok pro každý účet. Pokud na to zapomeneš, stahování selže a diagnostika takové chyby může trvat hodinu, protože vypadá jako problém s autentizací.

Pro Pythoní prostředí použij vyhrazený virtualenv, abys předešel konfliktům verzí s ostatními projekty:

# Vytvoření virtuálního prostředí
python -m venv vllm-env
source vllm-env/bin/activate

# Instalace vLLM (verze >= 0.6.1.post1)
pip install vllm

Dalším faktorem je hardware, který určuje, co skutečně dokážeš nasadit. Mistral 7B a Nemo se vejdou na jednu GPU s 24 GB pamětí, typicky A10G, RTX 4090 nebo L4. Mixtral 8x7B vyžaduje dvě GPU s 80 GB, v praxi karty A100-80GB. Mistral Large 2 ve své open-weight verzi se svými 123 miliardami parametrů potřebuje alespoň čtyři GPU A100-80GB. Ve všech případech nainstaluj ovladače NVIDIA a CUDA 12.x před instalací vLLM.

Offline režim: Zpracování dávek

Offline režim zpracovává dávky požadavků bez HTTP serveru. Načteš model do paměti, zpracuješ své požadavky a získáš výsledky. Všimni si tří argumentů tokenizer_mode, load_format a config_format: k těm se ještě vrátíme – nejsou volitelné.

from vllm import LLM
from vllm.sampling_params import SamplingParams

# Načtení modelu s flagy pro Mistral
llm = LLM(
    model="mistralai/Mistral-Nemo-Instruct-2407",
    tokenizer_mode="mistral",
    load_format="mistral",
    config_format="mistral"
)

# Parametry generování
sampling = SamplingParams(
    max_tokens=8192,
    temperature=0.3
)

# Zpracování dávky požadavků
messages_batch = [
    [{"role": "user", "content": "What is PagedAttention?"}],
    [{"role": "user", "content": "Explain tensor parallelism."}],
    [{"role": "user", "content": "How does the KV cache work?"}],
]

results = llm.chat(messages=messages_batch[0], sampling_params=sampling)
for output in results:
    print(output.outputs[0].text)

Tento režim vyniká při dávkovém zpracování dokumentů – shrnování, klasifikace – při evaluaci modelů proti benchmarkům, generování syntetických dat a v testovacích nebo prototypovacích skriptech. Kdykoli nikdo nečeká na okamžitou odpověď, těžíš z toho, že přeskočíš HTTP vrstvu.

Režim serveru: Expozice API

Režim serveru spustí HTTP endpoint kompatibilní s API OpenAI:

vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --host 0.0.0.0 \
    --port 8000

Server exponuje API na portu 8000. Praktický důsledek je významný: aplikace napsaná pro API OpenAI přepne na tvůj self-hosted model změnou dvou řádků, base_url a api_key. Tvé knihovny, agentní frameworky a testovací nástroje budou fungovat dál.

from openai import OpenAI

# Připojení k lokálnímu serveru vLLM
client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="not-needed"  # Ve výchozím nastavení žádná autentizace
)

response = client.chat.completions.create(
    model="mistralai/Mistral-Nemo-Instruct-2407",
    messages=[
        {"role": "system", "content": "You are a DevOps expert."},
        {"role": "user", "content": "How do I monitor a vLLM server in production?"}
    ],
    temperature=0.3,
    max_tokens=1024
)
print(response.choices[0].message.content)

Komentář # Ve výchozím nastavení žádná autentizace si zaslouží pozornost: server vLLM spuštěný tímto způsobem nikoho neautentizuje. Na vývojovém stroji je to pohodlné. Na stroji přístupném ze sítě jsou to otevřené dveře. Rychlý test z příkazové řádky potvrdí, že vše odpovídá, než půjdeš dál:

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "mistralai/Mistral-Nemo-Instruct-2407",
        "messages": [{"role": "user", "content": "Hello, is this working?"}],
        "temperature": 0.3
    }'

Nasazení pomocí Dockeru

Pro reprodukovatelné nasazení oficiální obraz eliminuje potřebu přeinstalace na každém stroji:

docker run --runtime nvidia --gpus all \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HUGGING_FACE_HUB_TOKEN=${HF_TOKEN}" \
    -p 8000:8000 \
    --ipc=host \
    vllm/vllm-openai:latest \
    --model mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --load_format mistral \
    --config_format mistral

Tři možnosti v tomto příkazu si zaslouží vysvětlení. --runtime nvidia --gpus all dává kontejneru přístup k GPU NVIDIA; bez toho by se model snažil běžet na CPU. Mount -v ~/.cache/huggingface:... sdílí cache modelů s hostitelem, což ti ušetří opakované stahování desítek gigabajtů při každém restartu kontejneru. --ipc=host poskytuje sdílenou paměť potřebnou pro komunikaci mezi procesy na různých GPU; jeho vynechání způsobí těžko diagnostikovatelné pády, jakmile přejdeš na více karet.

Tři zásadní flagy pro Mistral

FlagÚčel
--tokenizer_mode mistralPoužívá nativní tokenizer Mistral (ne ten z HF)
--config_format mistralNačítá konfiguraci ve formátu Mistral
--load_format mistralNačítá váhy v nativním formátu Mistral

Bez těchto flagů může model běžet, ale s horším výkonem nebo nesprávnými výsledky. Toto je nejčastější past při self-hostingu Mistralu: nic nespadne, server nastartuje, odpovědi přicházejí – jsou jen horší, než by měly být, a riskuješ, že špatně usoudíš, že model zklamal.

Ladění výkonu

Když se model nevejde na jednu kartu, tenzorový paralelismus rozloží jeho vrstvy mezi více GPU. Předaná hodnota odpovídá počtu použitých karet:

vllm serve mistralai/Mixtral-8X7B-Instruct-v0.1 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --tensor-parallel-size 2

Druhou pákou je podíl paměti GPU, kterou si vLLM rezervuje:

vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --gpu-memory-utilization 0.9

Výchozí hodnota (0,9) funguje ve většině případů. Sniž ji, pokud GPU využívají jiné procesy – vision služba, zapomenutý notebook – jinak první proces obsadí všechnu paměť a druhý se nespustí.

Nakonec, dvě volání stačí k ověření, že server běží, což z nich dělá dobré sondy pro tvůj orchestrátor:

# Výpis dostupných modelů
curl http://localhost:8000/v1/models

# Kontrola zdraví serveru
curl http://localhost:8000/health

Klíčové poznatky

  • vLLM exponuje API kompatibilní s OpenAI – ke komunikaci můžeš použít SDK openai
  • Tři flagy --tokenizer_mode mistral, --config_format mistral, --load_format mistral jsou povinné
  • Offline režim se hodí pro dávkové zpracování; režim serveru pro aplikace v reálném čase
  • Docker zjednodušuje nasazení a zajišťuje reprodukovatelnost
  • Tenzorový paralelismus ti umožňuje rozložit velké modely mezi více GPU