Kasutuselevõtt vLLM-iga
Sellel lehel
vLLM: soovitatud järeldusmootor
vLLM on populaarseim Pythoni järeldusmootor suurte keelemudelite (LLM) jaoks. Mistral AI soovitab seda enesemajutuseks, kuna see on hõlpsasti kasutatav, töötab kiiresti ja pakub OpenAI-ga ühilduvat API-t. Käime läbi paigaldamise ja seadistamise ning vaatleme kahte kasutusviisi: partii- (offline) režiim ja serverirežiim. Need režiimid ei välista teineteist – paljud meeskonnad kasutavad esimest andmete ettevalmistamiseks ja teist rakenduste teenindamiseks.
Mida sul vaja läheb
Mudelite allalaadimine toimub Hugging Face’i kaudu, mis nõuab READ õigustega tokenit:
export HF_TOKEN="hf_your_token_here"
Enne esimest allalaadimist nõustu mudeli Hugging Face’i lehel kasutustingimustega (näiteks: huggingface.co/mistralai/Mistral-Nemo-Instruct-2407). See on konto kohta tehtav ühekordne käsitsi samm. Selle unustamine põhjustab allalaadimise tõrkeid, mille diagnoosimine võib võtta tunde, kuna need näevad välja nagu autentimisprobleemid.
Pythoni keskkonna jaoks kasuta dedikeeritud virtuaalset keskkonda (virtualenv), et vältida versioonikonflikte teiste projektidega:
# Loo virtuaalne keskkond
python -m venv vllm-env
source vllm-env/bin/activate
# Paigalda vLLM (versioon >= 0.6.1.post1)
pip install vllm
Seejärel tuleb riistvara, mis määrab, mida sa tegelikult teenindada saad. Mistral 7B ja Nemo mahuvad ühele 24 GB GPU-le, tavaliselt A10G, RTX 4090 või L4. Mixtral 8x7B nõuab kahte 80 GB GPU-d, praktikas A100-80GB kaarte. Mistral Large 2 oma avatud kaaludega versioonis, millel on 123 miljardit parameetrit, vajab vähemalt nelja A100-80GB GPU-d. Kõigil juhtudel paigalda enne vLLM-i NVIDIA draiverid ja CUDA 12.x.
Offline-režiim: partii töötlemine
Offline-režiim haldab päringute partiisid ilma HTTP-serverita. Laadid mudeli mällu, töötlead oma päringud ja saad tulemused. Pane tähele kolme argumenti tokenizer_mode, load_format ja config_format: tuleme nende juurde tagasi – need pole valikulised.
from vllm import LLM
from vllm.sampling_params import SamplingParams
# Laadi mudel Mistrali lippudega
llm = LLM(
model="mistralai/Mistral-Nemo-Instruct-2407",
tokenizer_mode="mistral",
load_format="mistral",
config_format="mistral"
)
# Generatsiooni parameetrid
sampling = SamplingParams(
max_tokens=8192,
temperature=0.3
)
# Töötle päringute partii
messages_batch = [
[{"role": "user", "content": "What is PagedAttention?"}],
[{"role": "user", "content": "Explain tensor parallelism."}],
[{"role": "user", "content": "How does the KV cache work?"}],
]
results = llm.chat(messages=messages_batch[0], sampling_params=sampling)
for output in results:
print(output.outputs[0].text)
See režiim sobib suurepäraselt dokumentide partii töötlemiseks – kokkuvõtete tegemine, klassifitseerimine – mudeli hindamiseks võrdlusaluste vastu, sünteetiliste andmete genereerimiseks ning testimis- või prototüüpimisskriptide jaoks. Kui keegi ei oota viivitamatut vastust, saad kasu HTTP-kihi vahelejätmisest.
Serverirežiim: API avalikustamine
Serverirežiim käivitab OpenAI API-ga ühilduva HTTP-lõpppunkti:
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--host 0.0.0.0 \
--port 8000
Server avaldab API pordil 8000. Praktiline tagajärg on oluline: OpenAI API jaoks kirjutatud rakendus lülitub sinu isemajutatud mudelile, muutes vaid kahte rida: base_url ja api_key. Sinu teegid, agentide raamistikud ja testimistööriistad jätkavad tööd.
from openai import OpenAI
# Ühendu kohaliku vLLM serveriga
client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="not-needed" # Vaikimisi autentimine puudub
)
response = client.chat.completions.create(
model="mistralai/Mistral-Nemo-Instruct-2407",
messages=[
{"role": "system", "content": "You are a DevOps expert."},
{"role": "user", "content": "How do I monitor a vLLM server in production?"}
],
temperature=0.3,
max_tokens=1024
)
print(response.choices[0].message.content)
Kommentaar # Vaikimisi autentimine puudub väärib tähelepanu: sellisel viisil käivitatud vLLM server ei autentigi kedagi. Arendusmasinas on see mugav. Võrku ühendatud masinas on see aga avatud uks. Kiire käsurea test kinnitab, et kõik vastab, enne kui edasi liigud:
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "mistralai/Mistral-Nemo-Instruct-2407",
"messages": [{"role": "user", "content": "Hello, is this working?"}],
"temperature": 0.3
}'
Dockeri kasutuselevõtt
Korratava kasutuselevõtu jaoks väldib ametlik image iga masina peal uuesti paigaldamist:
docker run --runtime nvidia --gpus all \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--env "HUGGING_FACE_HUB_TOKEN=${HF_TOKEN}" \
-p 8000:8000 \
--ipc=host \
vllm/vllm-openai:latest \
--model mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--load_format mistral \
--config_format mistral
Selles käsus väärib selgitust kolm valikut. --runtime nvidia --gpus all annab konteinerile juurdepääsu NVIDIA GPU-dele; ilma selleta üritaks mudel töötada CPU-l. Haakimine -v ~/.cache/huggingface:... jagab mudeli vahemälu hostiga, säästes sind kümnete gigabaitide uuesti allalaadimisest iga kord, kui konteiner taaskäivitub. --ipc=host annab jagatud mälu, mida on vaja GPU-de vaheliseks protsessidevaheliseks suhtluseks; selle väljajätmine põhjustab raskesti diagnoositavaid kokkujooksmisi niipea, kui liigud mitme kaardi peale.
Kolm hädavajalikku Mistrali lippu
| Lipp | Eesmärk |
|---|---|
--tokenizer_mode mistral | Kasutab kohalikku Mistrali tokenisaatorit (mitte HF oma) |
--config_format mistral | Laadib konfiguratsiooni Mistrali vormingus |
--load_format mistral | Laadib kaalud kohalikus Mistrali vormingus |
Ilma nende lippudeta võib mudel küll töötada, kuid jõudlus on halvenenud või tulemused valed. See on kõige levinum Mistrali enesemajutuse lõks: midagi ei jookse kokku, server käivitub, vastused saabuvad – need on lihtsalt halvemad, kui peaksid olema, ja sa võid ekslikult järeldada, et mudel on pettumus.
Jõudluse häälestamine
Kui mudel ei mahu ühele kaardile, jaotab tensori paralleelsus selle kihid mitme GPU vahel. Edastatav väärtus vastab kasutatavate kaartide arvule:
vllm serve mistralai/Mixtral-8X7B-Instruct-v0.1 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--tensor-parallel-size 2
Teine hoob puudutab GPU mälu osa, mille vLLM reserveerib:
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--gpu-memory-utilization 0.9
Vaikimisi väärtus (0,9) toimib enamikul juhtudel. Vähenda seda, kui GPU-d kasutavad muud protsessid – nägemisteenus, ununenud notebook – vastasel juhul võtab esimene protsess kogu mälu ja teine ei suuda käivituda.
Lõpuks piisab kahest väljakutsest, et kontrollida, kas server on elus, muutes need headeks sondideks sinu orkestraatorile:
# Loetle saadaolevad mudelid
curl http://localhost:8000/v1/models
# Kontrolli serveri tervist
curl http://localhost:8000/health
Peamised punktid
- vLLM avaldab OpenAI-ga ühilduva API – saad suhtlemiseks kasutada
openaiSDK-d - Kolm lippu
--tokenizer_mode mistral,--config_format mistral,--load_format mistralon kohustuslikud - Offline-režiim sobib partii töötlemiseks; serverirežiim sobib reaalajas rakendustele
- Docker lihtsustab kasutuselevõttu ja tagab korratavuse
- Tensori paralleelsus võimaldab jaotada suuri mudeleid mitme GPU vahel