Diegimas naudojant vLLM
Šiame puslapyje
vLLM: Rekomenduojama išvedimo variklis
vLLM yra populiariausia Python išvedimo variklis didiesiems kalbos modeliams (LLM). „Mistral AI“ jį rekomenduoja savarankiškam diegimui, nes jis lengvai naudojamas, pasižymi dideliu našumu ir suteikia „OpenAI“ suderinamą API. Mes pereisime per diegimo ir konfigūravimo procesus, tada aptarsime du jo naudojimo būdus: paketinį (neprisijungus) režimą ir serverio režimą. Šie režimai nėra vienas kitą išskiriantys – daugelis komandų pirmąjį naudoja duomenims paruošti, o antrąjį – programoms aptarnauti.
Ko tau reikės
Modelių atsisiuntimas vyksta per „Hugging Face“, todėl reikia prieigos rakto su READ leidimu:
export HF_TOKEN="hf_your_token_here"
Prieš atsisiųsdamas modelį pirmą kartą, turi priimti naudojimo sąlygas to modelio „Hugging Face“ puslapyje (pavyzdžiui: huggingface.co/mistralai/Mistral-Nemo-Instruct-2407). Tai vienkartinis, rankinis veiksmas kiekvienai paskyrai. Jei tai pamirši, atsisiuntimas nepavyks, o diagnozuoti problemą gali tekti valandą, nes klaidos atrodo kaip autentifikavimo sutrikimai.
Python aplinkai naudok atskirą virtualiąją aplinką (virtualenv), kad išvengtum versijų konfliktų su kitais projektais:
# Sukurkite virtualiąją aplinką
python -m venv vllm-env
source vllm-env/bin/activate
# Įdiekite vLLM (versija >= 0.6.1.post1)
pip install vllm
Tada ateina eilė techninei įrangai, kuri lemia, ką iš tikrųjų galėsi aptarnauti. „Mistral 7B“ ir „Nemo“ telpa į vieną 24 GB GPU, paprastai A10G, RTX 4090 arba L4. „Mixtral 8x7B“ reikia dviejų 80 GB GPU, praktiškai – A100-80GB kortelių. Atviro svorio „Mistral Large 2“ versijai su jos 123 milijardais parametrų reikia bent keturių A100-80GB GPU. Visais atvejais prieš diegiant vLLM, įsitikink, kad įdiegti „NVIDIA“ tvarkyklės ir „CUDA 12.x“.
Neprisijungus režimas: Paketų apdorojimas
Neprisijungus režimas apdoroja prašymų paketus be HTTP serverio. Modelį įkeliate į atmintį, apdorojate prašymus ir gaunate rezultatus. Atkreipk dėmesį į tris argumentus tokenizer_mode, load_format ir config_format: prie jų dar grįšime – jie nėra neprivalomi.
from vllm import LLM
from vllm.sampling_params import SamplingParams
# Įkelkite modelį su „Mistral“ žymėmis
llm = LLM(
model="mistralai/Mistral-Nemo-Instruct-2407",
tokenizer_mode="mistral",
load_format="mistral",
config_format="mistral"
)
# Generavimo parametrai
sampling = SamplingParams(
max_tokens=8192,
temperature=0.3
)
# Apdorokite prašymų paketą
messages_batch = [
[{"role": "user", "content": "What is PagedAttention?"}],
[{"role": "user", "content": "Explain tensor parallelism."}],
[{"role": "user", "content": "How does the KV cache work?"}],
]
results = llm.chat(messages=messages_batch[0], sampling_params=sampling)
for output in results:
print(output.outputs[0].text)
Šis režimas puikiai tinka paketiniam dokumentų apdorojimui – santraukų kūrimui, klasifikavimui – modelio vertinimui pagal etaloninius testus, sintetinių duomenų generavimui bei testavimo ar prototipų kūrimo scenarijams. Kai niekas nelaukia momentalaus atsakymo, gauni naudos praleisdamas HTTP sluoksnį.
Serverio režimas: API eksponavimas
Serverio režimas paleidžia HTTP galutinį tašką, suderinamą su „OpenAI“ API:
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--host 0.0.0.0 \
--port 8000
Serveris eksponuoja API 8000 porte. Tai turi didelę praktinę reikšmę: programa, parašyta „OpenAI“ API, pereina prie tavo savarankiškai diegiamo modelio pakeitus tik dvi eilutes: base_url ir api_key. Tavo bibliotekos, agentų sistemos ir testavimo įrankiai toliau veikia.
from openai import OpenAI
# Prisijunkite prie vietinio vLLM serverio
client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="not-needed" # Numatytaisiais nustatymais autentifikacija nereikalinga
)
response = client.chat.completions.create(
model="mistralai/Mistral-Nemo-Instruct-2407",
messages=[
{"role": "system", "content": "You are a DevOps expert."},
{"role": "user", "content": "How do I monitor a vLLM server in production?"}
],
temperature=0.3,
max_tokens=1024
)
print(response.choices[0].message.content)
Komentaras # Numatytaisiais nustatymais autentifikacija nereikalinga nusipelno dėmesio: taip paleistas vLLM serveris nieko neautentifikuoja. Kūrimo mašinoje tai patogu. Tačiau mašinoje, pasiekiamoje per tinklą, tai yra atviros durys. Greitas komandinės eilutės testas patvirtina, kad viskas veikia, prieš judant toliau:
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "mistralai/Mistral-Nemo-Instruct-2407",
"messages": [{"role": "user", "content": "Hello, is this working?"}],
"temperature": 0.3
}'
Diegimas naudojant „Docker“
Siekiant atkuriamo diegimo, oficialusis konteinerio atvaizdas leidžia išvengti pakartotinio diegimo kiekvienoje mašinoje:
docker run --runtime nvidia --gpus all \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--env "HUGGING_FACE_HUB_TOKEN=${HF_TOKEN}" \
-p 8000:8000 \
--ipc=host \
vllm/vllm-openai:latest \
--model mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--load_format mistral \
--config_format mistral
Šioje komandoje trys parametrai nusipelno paaiškinimo. --runtime nvidia --gpus all suteikia konteineriui prieigą prie „NVIDIA“ GPU; be to modelis bandytų veikti procesoriumi (CPU). Prijungimas -v ~/.cache/huggingface:... bendrina modelio podėlį su hostingu, taip sutaupai laiko ir neiš naujo atsisiunti dešimčių gigabaitų kiekvieną kartą paleidus konteinerį iš naujo. --ipc=host suteikia bendrąją atmintį, reikalingą tarpprocesinei komunikacijai tarp GPU; jei tai praleisi, pereinant prie kelių kortelių, kils sunkiai diagnozuojamų gedimų.
Trys esminiai „Mistral“ žymekliai
| Žymeklis | Paskirtis |
|---|---|
--tokenizer_mode mistral | Naudoja vietinį „Mistral“ tokenizatorių (ne HF) |
--config_format mistral | Įkelia konfigūraciją „Mistral“ formatu |
--load_format mistral | Įkelia svorius vietiniu „Mistral“ formatu |
Be šių žymeklių modelis gali veikti, tačiau jo našumas bus sumažėjęs arba rezultatai neteisingi. Tai dažniausia savarankiško „Mistral“ diegimo spąstai: niekas nesugriūva, serveris paleidžiamas, atsakymai gaunami – jie tiesiog prastesni nei turėtų būti, ir gali klaidingai manyti, kad modelis nuvilia.
Našumo derinimas
Kai modelis netelpa į vieną kortelę, tenzorinė lygiagretizacija paskirsto jo sluoksnius per kelis GPU. Perdama reikšmė atitinka naudojamų kortelių skaičių:
vllm serve mistralai/Mixtral-8X7B-Instruct-v0.1 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--tensor-parallel-size 2
Antras svertas susijęs su GPU atminties dalimi, kurią rezervuoja vLLM:
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--gpu-memory-utilization 0.9
Numatytoji reikšmė (0.9) daugeliu atvejų tinka. Sumažink ją, jei GPU naudoja kiti procesai – vaizdo apdorojimo tarnyba, pamirštas „notebook“ – kitaip pirmasis procesas užims visą atmintį ir antrasis negalės paleisti.
Galiausiai, serverio gyvybingumui patikrinti pakanka dviejų užklausų, todėl jos puikiai tinka kaip zondai tavo orchestratoriui:
# Išvardykite galimus modelius
curl http://localhost:8000/v1/models
# Patikrinkite serverio būklę
curl http://localhost:8000/health
Svarbiausi punktai
- vLLM eksponuoja „OpenAI“ suderinamą API – bendravimui gali naudoti
openaiSDK - Trys žymekliai
--tokenizer_mode mistral,--config_format mistral,--load_format mistralyra privalomi - Neprisijungus režimas tinka paketiniam apdorojimui; serverio režimas – realiuoju laiku veikiančioms programoms
- „Docker“ supaprastina diegimą ir užtikrina atkuriamumą
- Tenzorinė lygiagretizacija leidžia paskirstyti didelius modelius per kelis GPU