Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Izvēršana ar vLLM

Nodarbība 11 no 14 Atjaunota 2026. gada 29. jūlijs Augstākais
Šajā lapā
  1. vLLM: Ieteicamais secinājumu dzinējs
  2. Kas tev būs nepieciešams
  3. Bezsaistes režīms: Paketes apstrāde
  4. Servera režīms: API eksponēšana
  5. Izvēršana ar Docker
  6. Trīs būtiskie Mistral karodziņi
  7. Veiktspējas pielāgošana
  8. Galvenās atziņas

vLLM: Ieteicamais secinājumu dzinējs

vLLM ir populārākais Python secinājumu dzinējs LLM modeļiem. Mistral AI to iesaka pašmitināšanai, jo tas ir viegli lietojams, darbojas ātri un piedāvā ar OpenAI saderīgu API. Mēs iziesim cauri instalēšanai un konfigurēšanai, pēc tam apskatīsim tā divus lietošanas režīmus: paketes (bezsaistes) režīmu un servera režīmu. Šie režīmi nav savstarpēji izslēdzoši—daudzas komandas pirmo izmanto datu sagatavošanai, bet otro—lietojumprogrammu apkalpošanai.

Kas tev būs nepieciešams

Modeļu lejupielāde notiek caur Hugging Face, kam nepieciešams žetons ar READ atļauju:

export HF_TOKEN="hf_your_token_here"

Pirms pirmās lejupielādes piekrīti lietošanas noteikumiem modeļa Hugging Face lapā (piemēram: huggingface.co/mistralai/Mistral-Nemo-Instruct-2407). Tas ir vienreizējs, manuāls solis katram kontam. Ja to aizmirsti, lejupielādes neizdodas, un to diagnosticēšana var ilgt stundu, jo kļūdas izskatās pēc autentifikācijas problēmām.

Python videi izmanto dedicated virtuālo vidi (virtualenv), lai izvairītos no versiju konfliktiem ar citiem projektiem:

# Izveido virtuālo vidi
python -m venv vllm-env
source vllm-env/bin/activate

# Instalē vLLM (versija >= 0.6.1.post1)
pip install vllm

Tad nāk aparatūra, kas nosaka, ko tieši vari apkalpot. Mistral 7B un Nemo ietilpst vienā 24 GB GPU, parasti A10G, RTX 4090 vai L4. Mixtral 8x7B prasa divus 80 GB GPU, praksē tās ir A100-80GB kartes. Mistral Large 2 atvērtā svara versijā ar saviem 123 miljardiem parametru prasa vismaz četras A100-80GB GPU. Visos gadījumos pirms vLLM instalē NVIDIA draiverus un CUDA 12.x.

Bezsaistes režīms: Paketes apstrāde

Bezsaistes režīms apstrādā pieprasījumu paketes bez HTTP servera. Tu ielādē modeli atmiņā, apstrādā pieprasījumus un iegūsti rezultātus. Ņem vērā trīs argumentus tokenizer_mode, load_format un config_format: pie tiem vēl atgriezīsimies—tie nav opcionāli.

from vllm import LLM
from vllm.sampling_params import SamplingParams

# Ielādē modeli ar Mistral karodziņiem
llm = LLM(
    model="mistralai/Mistral-Nemo-Instruct-2407",
    tokenizer_mode="mistral",
    load_format="mistral",
    config_format="mistral"
)

# Ģenerēšanas parametri
sampling = SamplingParams(
    max_tokens=8192,
    temperature=0.3
)

# Apstrādā pieprasījumu paketi
messages_batch = [
    [{"role": "user", "content": "What is PagedAttention?"}],
    [{"role": "user", "content": "Explain tensor parallelism."}],
    [{"role": "user", "content": "How does the KV cache work?"}],
]

results = llm.chat(messages=messages_batch[0], sampling_params=sampling)
for output in results:
    print(output.outputs[0].text)

Šis režīms ir ideāls dokumentu paketes apstrādei—kopsavilkumu veidošanai, klasifikācijai—modeļa novērtēšanai pret etaloniem, sintētisko datu ģenerēšanai, kā arī testēšanas vai prototipēšanas skriptiem. Kad neviens negaida tūlītēju atbildi, tu gūsti labumu, izlaižot HTTP slāni.

Servera režīms: API eksponēšana

Servera režīms palaiž HTTP galapunktu, kas ir saderīgs ar OpenAI API:

vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --host 0.0.0.0 \
    --port 8000

Serveris eksponē API 8000. portā. Praktiskās sekas ir nozīmīgas: lietojumprogramma, rakstīta OpenAI API, pāriet uz tavu pašmitināto modeli, nomainot tikai divas rindiņas: base_url un api_key. Tavas bibliotēkas, aģentu ietvari un testēšanas rīki turpina darboties.

from openai import OpenAI

# Savienojas ar lokālo vLLM serveri
client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="not-needed"  # Noklusējuma autentifikācija nav nepieciešama
)

response = client.chat.completions.create(
    model="mistralai/Mistral-Nemo-Instruct-2407",
    messages=[
        {"role": "system", "content": "You are a DevOps expert."},
        {"role": "user", "content": "How do I monitor a vLLM server in production?"}
    ],
    temperature=0.3,
    max_tokens=1024
)
print(response.choices[0].message.content)

Komentārs # Noklusējuma autentifikācija nav nepieciešama ir pelnījis uzmanību: šādi palaists vLLM serveris neautentificē nevienu. Izstrādes datorā tas ir ērti. Datorā, kas pieejams tīklā, tās ir atvērtas durvis. Ātrs komandrindas tests apstiprina, ka viss reaģē, pirms dodies tālāk:

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "mistralai/Mistral-Nemo-Instruct-2407",
        "messages": [{"role": "user", "content": "Hello, is this working?"}],
        "temperature": 0.3
    }'

Izvēršana ar Docker

Atkārtojamai izvēršanai oficiālais attēls ļauj izvairīties no pāreinstalēšanas katrā mašīnā:

docker run --runtime nvidia --gpus all \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HUGGING_FACE_HUB_TOKEN=${HF_TOKEN}" \
    -p 8000:8000 \
    --ipc=host \
    vllm/vllm-openai:latest \
    --model mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --load_format mistral \
    --config_format mistral

Šajā komandā trīs opcijas ir pelnījušas skaidrojumu. --runtime nvidia --gpus all dod konteineram piekļuvi NVIDIA GPU; bez tā models mēģinātu darboties uz CPU. Montējums -v ~/.cache/huggingface:... kopīgo modeļa kešatmiņu ar resursdatoru, ietaupot tevi no desmitiem gigabaitu pārlādēšanas katrā konteinera restartēšanas reizē. --ipc=host piešķir koplietojamo atmiņu, kas nepieciešama starpprocesu komunikācijai starp GPU; tā izlaišana izraisa grūti diagnosticējamas avārijas, tiklīdz pāriet uz vairākām kartēm.

Trīs būtiskie Mistral karodziņi

KarodziņšMērķis
--tokenizer_mode mistralIzmanto natīvo Mistral tokenizētāju (nevis HF)
--config_format mistralIelādē konfigurāciju Mistral formātā
--load_format mistralIelādē svarus natīvā Mistral formātā

Bez šiem karodziņiem models var darboties, bet ar pasliktinātu veiktspēju vai nepareiziem rezultātiem. Tas ir visbiežākais Mistral pašmitināšanas slazks: nekas nekrīt, serveris startē, atbildes pienāk—tās vienkārši ir sliktākas, nekām vajadzētu būt, un tu riskē nepareizi secināt, ka models ir vīlies.

Veiktspējas pielāgošana

Kad models neietilpst vienā kartē, tenzoru paralēlisms sadala tā slāņus starp vairākām GPU. Pārraidītā vērtība atbilst izmantoto karšu skaitam:

vllm serve mistralai/Mixtral-8X7B-Instruct-v0.1 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --tensor-parallel-size 2

Otrs svira attiecas uz GPU atmiņas daļu, ko vLLM rezervē:

vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --gpu-memory-utilization 0.9

Noklusējuma vērtība (0.9) vairumā gadījumu strādā. Samazini to, ja GPU izmanto citi procesi—redzes serviss, aizmirsts piezīmju dators—pretējā gadījumā pirmais process aizņem visu atmiņu un otrais nevar startēt.

Visbeidzot, divi izsaukumi pietiek, lai pārbaudītu, vai serveris ir dzīvs, padarot tos par labām zondēm tavam orķestrētājam:

# Uzskaita pieejamos modeļus
curl http://localhost:8000/v1/models

# Pārbauda servera veselību
curl http://localhost:8000/health

Galvenās atziņas

  • vLLM eksponē ar OpenAI saderīgu API—vari izmantot openai SDK komunikācijai
  • Trīs karodziņi --tokenizer_mode mistral, --config_format mistral, --load_format mistral ir obligāti
  • Bezsaistes režīms ir piemērots paketes apstrādei; servera režīms—reāllaika lietojumprogrammām
  • Docker vienkāršo izvēršanu un nodrošina atkārtojamību
  • Tenzoru paralēlisms ļauj sadalīt lielus modeļus starp vairākām GPU