Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Id-distribuzzjoni b'vLLM

Lezzjoni 11 / 14 Aġġornat 29 ta’ Lulju 2026 Avvanzat
F'din il-paġna
  1. vLLM: Il-Magna ta’ Inferenza Rakkomandata
  2. X’Għandek Bżonn
  3. Modalità Offline: Ipproċessar ta’ Batches
  4. Modalità Server: Espożizzjoni ta’ API
  5. Distribuzzjoni b’Docker
  6. It-Tliet Flaggs Essenzjali ta’ Mistral
  7. Aġġustar tar-Rendiment
  8. Punti Ewlenin

vLLM: Il-Magna ta’ Inferenza Rakkomandata

vLLM hija l-aktar magna ta’ inferenza Python popolari għal LLMs. Mistral AI tirrakkomandaha għas-self-hosting għax hija faċli biex tużaha, tirrendi tajjeb, u toffri API kompatibbli ma’ dik ta’ OpenAI. Aħna se ngħaddu mill-installazzjoni u l-konfigurazzjoni, imbagħad inkopru ż-żewġ modalitajiet ta’ użu tagħha: il-modalità batch (offline) u l-modalità server. Dawn il-modalitajiet mhumiex esklużivi reċiprokament—ħafna timijiet jużaw l-ewwel waħda biex iħejju d-dejta u t-tieni waħda biex iservu l-applikazzjonijiet.

X’Għandek Bżonn

It-tniżżil tal-mudelli jsir permezz ta’ Hugging Face, li jeħtieġ token bil-permess READ:

export HF_TOKEN="hf_your_token_here"

Qabel l-ewwel tniżżil tiegħek, aċċetta t-termini ta’ użu fil-paġna Hugging Face tal-mudell (pereżempju: huggingface.co/mistralai/Mistral-Nemo-Instruct-2407). Dan huwa pass manwali u uniku għal kull kont. Li tinseh jikkawża fallimenti fit-tniżżil li jistgħu jieħdu siegħa biex jiġu djanjostikati għax jidhru bħal problemi ta’ awtentikazzjoni.

Għall-ambjent Python, uża virtualenv iddedikat biex tevita kunflitti fil-verżjonijiet mal-proġetti l-oħra tiegħek:

# Oħloq ambjent virtwali
python -m venv vllm-env
source vllm-env/bin/activate

# Installa vLLM (verżjoni >= 0.6.1.post1)
pip install vllm

Imbagħad hemm l-hardware, li jiddetermina x’tista’ sservi fil-fatt. Mistral 7B u Nemo joqogħdu fuq GPU waħda ta’ 24 GB, tipikament A10G, RTX 4090, jew L4. Mixtral 8x7B jeħtieġ żewġ GPUs ta’ 80 GB, fil-prattika karti A100-80GB. Mistral Large 2 fil-verżjoni tiegħu b’piżijiet miftuħa, bil-123 biljun parametru tiegħu, jeħtieġ mill-inqas erba’ GPUs A100-80GB. Fil-każijiet kollha, installa s-sewwieqa ta’ NVIDIA u CUDA 12.x qabel vLLM.

Modalità Offline: Ipproċessar ta’ Batches

Il-modalità offline tittratta batches ta’ talbiet mingħajr server HTTP. Inti ttella’ l-mudell fil-memorja, tipproċessa t-talbiet tiegħek, u tikseb ir-riżultati. Innota t-tliet argumenti tokenizer_mode, load_format, u config_format: se nerġgħu lura għalihom—mhumiex opzjonali.

from vllm import LLM
from vllm.sampling_params import SamplingParams

# Ittella' l-mudell bil-flaggs ta' Mistral
llm = LLM(
    model="mistralai/Mistral-Nemo-Instruct-2407",
    tokenizer_mode="mistral",
    load_format="mistral",
    config_format="mistral"
)

# Parametri tal-ġenerazzjoni
sampling = SamplingParams(
    max_tokens=8192,
    temperature=0.3
)

# Ipproċessa batch ta' talbiet
messages_batch = [
    [{"role": "user", "content": "What is PagedAttention?"}],
    [{"role": "user", "content": "Explain tensor parallelism."}],
    [{"role": "user", "content": "How does the KV cache work?"}],
]

results = llm.chat(messages=messages_batch[0], sampling_params=sampling)
for output in results:
    print(output.outputs[0].text)

Din il-modalità tisplendi għall-ipproċessar ta’ dokumenti f’batch—sommarju, klassifikazzjoni—evalwazzjoni tal-mudell kontra benchmarks, ġenerazzjoni ta’ dejta sintetika, u scripts għat-test jew prototipar. Kull meta ħadd ma jkun qed jistenna tweġiba immedjata, tibbenefika milli taqbeż is-saff HTTP.

Modalità Server: Espożizzjoni ta’ API

Il-modalità server tniedi endpoint HTTP kompatibbli mal-API ta’ OpenAI:

vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --host 0.0.0.0 \
    --port 8000

Is-server jesponi l-API fuq il-port 8000. Il-konsegwenza prattika hija sinifikanti: applikazzjoni miktuba għall-API ta’ OpenAI taqleb għall-mudell self-hosted tiegħek billi tbiddel żewġ linji biss, base_url u api_key. Il-libreriji tiegħek, il-frameworks tal-aġenti, u l-għodod tat-test jibqgħu jaħdmu.

from openai import OpenAI

# Konnessjoni mas-server vLLM lokali
client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="not-needed"  # L-ebda awtentikazzjoni b'mod default
)

response = client.chat.completions.create(
    model="mistralai/Mistral-Nemo-Instruct-2407",
    messages=[
        {"role": "system", "content": "You are a DevOps expert."},
        {"role": "user", "content": "How do I monitor a vLLM server in production?"}
    ],
    temperature=0.3,
    max_tokens=1024
)
print(response.choices[0].message.content)

Il-kumment # L-ebda awtentikazzjoni b'mod default jistħoqqilu attenzjoni: server vLLM imniedi b’dan il-mod ma jawtentika lil ħadd. Fuq magna ta’ żvilupp, dan huwa konvenjenti. Fuq magna aċċessibbli fin-netwerk, hija bieb miftuħ. Test rapidu mil-linja tal-kmand jikkonferma li kollox iwieġeb qabel ma tgħaddi ‘l quddiem:

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "mistralai/Mistral-Nemo-Instruct-2407",
        "messages": [{"role": "user", "content": "Hello, is this working?"}],
        "temperature": 0.3
    }'

Distribuzzjoni b’Docker

Għal distribuzzjoni riproduċibbli, l-immaġni uffiċjali tevita li terġa’ tinstalla fuq kull magna:

docker run --runtime nvidia --gpus all \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HUGGING_FACE_HUB_TOKEN=${HF_TOKEN}" \
    -p 8000:8000 \
    --ipc=host \
    vllm/vllm-openai:latest \
    --model mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --load_format mistral \
    --config_format mistral

Tliet għażliet f’dan il-kumand jistħoqqilhom spjegazzjoni. --runtime nvidia --gpus all jagħti lill-kontenitur aċċess għall-GPUs ta’ NVIDIA; mingħajrha, il-mudell jipprova jaħdem fuq iċ-ĊPU. Il-mount -v ~/.cache/huggingface:... jaqsam il-cache tal-mudell mal-host, u jiffrankalek milli terġa’ tniżżel għexieren ta’ gigabytes kull darba li l-kontenitur jerġa’ jibda. --ipc=host jagħti l-memorja kondiviża meħtieġa għall-komunikazzjoni bejn il-proċessi bejn il-GPUs; li tħalliha barra tikkawża ħsarat diffiċli biex jiġu djanjostikati hekk kif timxi lejn karti multipli.

It-Tliet Flaggs Essenzjali ta’ Mistral

FlagGħan
--tokenizer_mode mistralJuża t-tokenizer nativ ta’ Mistral (mhux dak ta’ HF)
--config_format mistralJitella’ l-konfigurazzjoni fil-format ta’ Mistral
--load_format mistralJitella’ l-piżijiet fil-format nativ ta’ Mistral

Mingħajr dawn il-flaggs, il-mudell jista’ jaħdem iżda b’rendiment degradat jew riżultati żbaljati. Din hija l-aktar trapola komuni fis-self-hosting ta’ Mistral: xejn ma jaqa’, is-server jibda, it-tweġibiet jaslu—huma sempliċiment agħar milli għandhom ikunu, u tirriskja li tikkonkludi ħażin li l-mudell huwa deludenti.

Aġġustar tar-Rendiment

Meta mudell ma joqgħodx fuq karta waħda, it-tensor parallelism jiddistribwixxi s-saffi tiegħu fuq GPUs multipli. Il-valur mogħti jikkorrispondi għan-numru ta’ karti użati:

vllm serve mistralai/Mixtral-8X7B-Instruct-v0.1 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --tensor-parallel-size 2

It-tieni leva tikkonċerna l-proporzjon tal-memorja GPU li vLLM jirriżerva:

vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --gpu-memory-utilization 0.9

Il-valur default (0.9) jaħdem fil-biċċa l-kbira tal-każijiet. Naqqsu jekk proċessi oħra jużaw il-GPU—servizz tal-viżjoni, notebook minsija—inkella l-ewwel proċess jieħu l-memorja kollha u t-tieni wieħed jonqos milli jibda.

Fl-aħħar nett, żewġ sejħiet biżżejjed biex tivverifika li server huwa ħaj, u jagħmluhom probes tajbin għall-orchestrator tiegħek:

# Elenska l-mudelli disponibbli
curl http://localhost:8000/v1/models

# Iċċekkja s-saħħa tas-server
curl http://localhost:8000/health

Punti Ewlenin

  • vLLM jesponi API kompatibbli ma’ OpenAI—tista’ tuża l-SDK openai biex tikkomunika
  • It-tliet flaggs --tokenizer_mode mistral, --config_format mistral, --load_format mistral huma obbligatorji
  • Il-modalità offline hija adattata għall-ipproċessar f’batch; il-modalità server hija adattata għal applikazzjonijiet f’ħin reali
  • Docker jissimplifika d-distribuzzjoni u jiżgura r-riproduċibbiltà
  • It-tensor parallelism jippermettilek tiddistribwixxi mudelli kbar fuq GPUs multipli