Id-distribuzzjoni b'vLLM
F'din il-paġna
vLLM: Il-Magna ta’ Inferenza Rakkomandata
vLLM hija l-aktar magna ta’ inferenza Python popolari għal LLMs. Mistral AI tirrakkomandaha għas-self-hosting għax hija faċli biex tużaha, tirrendi tajjeb, u toffri API kompatibbli ma’ dik ta’ OpenAI. Aħna se ngħaddu mill-installazzjoni u l-konfigurazzjoni, imbagħad inkopru ż-żewġ modalitajiet ta’ użu tagħha: il-modalità batch (offline) u l-modalità server. Dawn il-modalitajiet mhumiex esklużivi reċiprokament—ħafna timijiet jużaw l-ewwel waħda biex iħejju d-dejta u t-tieni waħda biex iservu l-applikazzjonijiet.
X’Għandek Bżonn
It-tniżżil tal-mudelli jsir permezz ta’ Hugging Face, li jeħtieġ token bil-permess READ:
export HF_TOKEN="hf_your_token_here"
Qabel l-ewwel tniżżil tiegħek, aċċetta t-termini ta’ użu fil-paġna Hugging Face tal-mudell (pereżempju: huggingface.co/mistralai/Mistral-Nemo-Instruct-2407). Dan huwa pass manwali u uniku għal kull kont. Li tinseh jikkawża fallimenti fit-tniżżil li jistgħu jieħdu siegħa biex jiġu djanjostikati għax jidhru bħal problemi ta’ awtentikazzjoni.
Għall-ambjent Python, uża virtualenv iddedikat biex tevita kunflitti fil-verżjonijiet mal-proġetti l-oħra tiegħek:
# Oħloq ambjent virtwali
python -m venv vllm-env
source vllm-env/bin/activate
# Installa vLLM (verżjoni >= 0.6.1.post1)
pip install vllm
Imbagħad hemm l-hardware, li jiddetermina x’tista’ sservi fil-fatt. Mistral 7B u Nemo joqogħdu fuq GPU waħda ta’ 24 GB, tipikament A10G, RTX 4090, jew L4. Mixtral 8x7B jeħtieġ żewġ GPUs ta’ 80 GB, fil-prattika karti A100-80GB. Mistral Large 2 fil-verżjoni tiegħu b’piżijiet miftuħa, bil-123 biljun parametru tiegħu, jeħtieġ mill-inqas erba’ GPUs A100-80GB. Fil-każijiet kollha, installa s-sewwieqa ta’ NVIDIA u CUDA 12.x qabel vLLM.
Modalità Offline: Ipproċessar ta’ Batches
Il-modalità offline tittratta batches ta’ talbiet mingħajr server HTTP. Inti ttella’ l-mudell fil-memorja, tipproċessa t-talbiet tiegħek, u tikseb ir-riżultati. Innota t-tliet argumenti tokenizer_mode, load_format, u config_format: se nerġgħu lura għalihom—mhumiex opzjonali.
from vllm import LLM
from vllm.sampling_params import SamplingParams
# Ittella' l-mudell bil-flaggs ta' Mistral
llm = LLM(
model="mistralai/Mistral-Nemo-Instruct-2407",
tokenizer_mode="mistral",
load_format="mistral",
config_format="mistral"
)
# Parametri tal-ġenerazzjoni
sampling = SamplingParams(
max_tokens=8192,
temperature=0.3
)
# Ipproċessa batch ta' talbiet
messages_batch = [
[{"role": "user", "content": "What is PagedAttention?"}],
[{"role": "user", "content": "Explain tensor parallelism."}],
[{"role": "user", "content": "How does the KV cache work?"}],
]
results = llm.chat(messages=messages_batch[0], sampling_params=sampling)
for output in results:
print(output.outputs[0].text)
Din il-modalità tisplendi għall-ipproċessar ta’ dokumenti f’batch—sommarju, klassifikazzjoni—evalwazzjoni tal-mudell kontra benchmarks, ġenerazzjoni ta’ dejta sintetika, u scripts għat-test jew prototipar. Kull meta ħadd ma jkun qed jistenna tweġiba immedjata, tibbenefika milli taqbeż is-saff HTTP.
Modalità Server: Espożizzjoni ta’ API
Il-modalità server tniedi endpoint HTTP kompatibbli mal-API ta’ OpenAI:
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--host 0.0.0.0 \
--port 8000
Is-server jesponi l-API fuq il-port 8000. Il-konsegwenza prattika hija sinifikanti: applikazzjoni miktuba għall-API ta’ OpenAI taqleb għall-mudell self-hosted tiegħek billi tbiddel żewġ linji biss, base_url u api_key. Il-libreriji tiegħek, il-frameworks tal-aġenti, u l-għodod tat-test jibqgħu jaħdmu.
from openai import OpenAI
# Konnessjoni mas-server vLLM lokali
client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="not-needed" # L-ebda awtentikazzjoni b'mod default
)
response = client.chat.completions.create(
model="mistralai/Mistral-Nemo-Instruct-2407",
messages=[
{"role": "system", "content": "You are a DevOps expert."},
{"role": "user", "content": "How do I monitor a vLLM server in production?"}
],
temperature=0.3,
max_tokens=1024
)
print(response.choices[0].message.content)
Il-kumment # L-ebda awtentikazzjoni b'mod default jistħoqqilu attenzjoni: server vLLM imniedi b’dan il-mod ma jawtentika lil ħadd. Fuq magna ta’ żvilupp, dan huwa konvenjenti. Fuq magna aċċessibbli fin-netwerk, hija bieb miftuħ. Test rapidu mil-linja tal-kmand jikkonferma li kollox iwieġeb qabel ma tgħaddi ‘l quddiem:
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "mistralai/Mistral-Nemo-Instruct-2407",
"messages": [{"role": "user", "content": "Hello, is this working?"}],
"temperature": 0.3
}'
Distribuzzjoni b’Docker
Għal distribuzzjoni riproduċibbli, l-immaġni uffiċjali tevita li terġa’ tinstalla fuq kull magna:
docker run --runtime nvidia --gpus all \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--env "HUGGING_FACE_HUB_TOKEN=${HF_TOKEN}" \
-p 8000:8000 \
--ipc=host \
vllm/vllm-openai:latest \
--model mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--load_format mistral \
--config_format mistral
Tliet għażliet f’dan il-kumand jistħoqqilhom spjegazzjoni. --runtime nvidia --gpus all jagħti lill-kontenitur aċċess għall-GPUs ta’ NVIDIA; mingħajrha, il-mudell jipprova jaħdem fuq iċ-ĊPU. Il-mount -v ~/.cache/huggingface:... jaqsam il-cache tal-mudell mal-host, u jiffrankalek milli terġa’ tniżżel għexieren ta’ gigabytes kull darba li l-kontenitur jerġa’ jibda. --ipc=host jagħti l-memorja kondiviża meħtieġa għall-komunikazzjoni bejn il-proċessi bejn il-GPUs; li tħalliha barra tikkawża ħsarat diffiċli biex jiġu djanjostikati hekk kif timxi lejn karti multipli.
It-Tliet Flaggs Essenzjali ta’ Mistral
| Flag | Għan |
|---|---|
--tokenizer_mode mistral | Juża t-tokenizer nativ ta’ Mistral (mhux dak ta’ HF) |
--config_format mistral | Jitella’ l-konfigurazzjoni fil-format ta’ Mistral |
--load_format mistral | Jitella’ l-piżijiet fil-format nativ ta’ Mistral |
Mingħajr dawn il-flaggs, il-mudell jista’ jaħdem iżda b’rendiment degradat jew riżultati żbaljati. Din hija l-aktar trapola komuni fis-self-hosting ta’ Mistral: xejn ma jaqa’, is-server jibda, it-tweġibiet jaslu—huma sempliċiment agħar milli għandhom ikunu, u tirriskja li tikkonkludi ħażin li l-mudell huwa deludenti.
Aġġustar tar-Rendiment
Meta mudell ma joqgħodx fuq karta waħda, it-tensor parallelism jiddistribwixxi s-saffi tiegħu fuq GPUs multipli. Il-valur mogħti jikkorrispondi għan-numru ta’ karti użati:
vllm serve mistralai/Mixtral-8X7B-Instruct-v0.1 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--tensor-parallel-size 2
It-tieni leva tikkonċerna l-proporzjon tal-memorja GPU li vLLM jirriżerva:
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--gpu-memory-utilization 0.9
Il-valur default (0.9) jaħdem fil-biċċa l-kbira tal-każijiet. Naqqsu jekk proċessi oħra jużaw il-GPU—servizz tal-viżjoni, notebook minsija—inkella l-ewwel proċess jieħu l-memorja kollha u t-tieni wieħed jonqos milli jibda.
Fl-aħħar nett, żewġ sejħiet biżżejjed biex tivverifika li server huwa ħaj, u jagħmluhom probes tajbin għall-orchestrator tiegħek:
# Elenska l-mudelli disponibbli
curl http://localhost:8000/v1/models
# Iċċekkja s-saħħa tas-server
curl http://localhost:8000/health
Punti Ewlenin
- vLLM jesponi API kompatibbli ma’ OpenAI—tista’ tuża l-SDK
openaibiex tikkomunika - It-tliet flaggs
--tokenizer_mode mistral,--config_format mistral,--load_format mistralhuma obbligatorji - Il-modalità offline hija adattata għall-ipproċessar f’batch; il-modalità server hija adattata għal applikazzjonijiet f’ħin reali
- Docker jissimplifika d-distribuzzjoni u jiżgura r-riproduċibbiltà
- It-tensor parallelism jippermettilek tiddistribwixxi mudelli kbar fuq GPUs multipli