Implementacija s vLLM-om
Na ovoj stranici
vLLM: Preporučeni pogon za zaključivanje
vLLM je najpopularniji Python pogon za zaključivanje (inference engine) za velike jezične modele (LLM). Mistral AI ga preporučuje za samostalno hostiranje jer je jednostavan za korištenje, dobro performira i nudi API kompatibilan s OpenAI-jem. Proći ćemo kroz instalaciju i konfiguraciju, a zatim pokriti njegova dva načina rada: serijski (offline) način i način poslužitelja. Ovi načini se međusobno ne isključuju – mnogi timovi koriste prvi za pripremu podataka, a drugi za opsluživanje aplikacija.
Što ti je potrebno
Preuzimanje modela odvija se putem Hugging Facea, što zahtijeva token s dozvolom READ:
export HF_TOKEN="hf_your_token_here"
Prije prvog preuzimanja, prihvati uvjete korištenja na Hugging Face stranici modela (na primjer: huggingface.co/mistralai/Mistral-Nemo-Instruct-2407). To je jednokratni, ručni korak po računu. Zaboravljanje ovog koraka uzrokuje neuspjehe preuzimanja čija dijagnostika može trajati satima jer izgledaju kao problemi s autentifikacijom.
Za Python okruženje koristi namjenski virtualenv kako bi izbjegao sukobe verzija s drugim projektima:
# Stvori virtualno okruženje
python -m venv vllm-env
source vllm-env/bin/activate
# Instaliraj vLLM (verzija >= 0.6.1.post1)
pip install vllm
Zatim tu je hardver, koji određuje što zapravo možeš opsluživati. Mistral 7B i Nemo staju na jednu GPU jedinicu od 24 GB, tipično A10G, RTX 4090 ili L4. Mixtral 8x7B zahtijeva dvije GPU jedinice od 80 GB, u praksi kartice A100-80GB. Mistral Large 2 u svojoj verziji otvorenih težina, sa svojih 123 milijarde parametara, treba najmanje četiri GPU jedinice A100-80GB. U svim slučajevima, instaliraj NVIDIA upravljačke programe i CUDA 12.x prije vLLM-a.
Offline način: Obrada serija
Offline način obrađuje serije zahtjeva bez HTTP poslužitelja. Učitaš model u memoriju, obradiš svoje zahtjeve i dohvatiš rezultate. Obrati pažnju na tri argumenta tokenizer_mode, load_format i config_format: vratit ćemo se na njih – oni nisu opcionalni.
from vllm import LLM
from vllm.sampling_params import SamplingParams
# Učitaj model s Mistral zastavicama
llm = LLM(
model="mistralai/Mistral-Nemo-Instruct-2407",
tokenizer_mode="mistral",
load_format="mistral",
config_format="mistral"
)
# Parametri generiranja
sampling = SamplingParams(
max_tokens=8192,
temperature=0.3
)
# Obradi seriju zahtjeva
messages_batch = [
[{"role": "user", "content": "What is PagedAttention?"}],
[{"role": "user", "content": "Explain tensor parallelism."}],
[{"role": "user", "content": "How does the KV cache work?"}],
]
results = llm.chat(messages=messages_batch[0], sampling_params=sampling)
for output in results:
print(output.outputs[0].text)
Ovaj način briljira kod serijske obrade dokumenata – sažimanje, klasifikacija – evaluacije modela prema referentnim vrijednostima, generiranja sintetičkih podataka te skripti za testiranje ili izradu prototipova. Kad god nitko ne čeka trenutni odgovor, imaš korist od preskakanja HTTP sloja.
Način poslužitelja: Izlaganje API-ja
Način poslužitelja pokreće HTTP krajnju točku kompatibilnu s OpenAI API-jem:
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--host 0.0.0.0 \
--port 8000
Poslužitelj izlaže API na portu 8000. Praktična posljedica je značajna: aplikacija napisana za OpenAI API prelazi na tvoj samostalno hostirani model promjenom samo dva retka, base_url i api_key. Tvoje biblioteke, okviri za agente i alati za testiranje nastavljaju raditi.
from openai import OpenAI
# Spoji se na lokalni vLLM poslužitelj
client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="not-needed" # Nema autentifikacije prema zadanim postavkama
)
response = client.chat.completions.create(
model="mistralai/Mistral-Nemo-Instruct-2407",
messages=[
{"role": "system", "content": "You are a DevOps expert."},
{"role": "user", "content": "How do I monitor a vLLM server in production?"}
],
temperature=0.3,
max_tokens=1024
)
print(response.choices[0].message.content)
Komentar # Nema autentifikacije prema zadanim postavkama zaslužuje pažnju: vLLM poslužitelj pokrenut na ovaj način ne autentificira nikoga. Na razvojnom stroju to je zgodno. Na stroju dostupnom putem mreže, to su otvorena vrata. Brzi test putem naredbenog retka potvrđuje da sve odgovara prije nego što nastaviš dalje:
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "mistralai/Mistral-Nemo-Instruct-2407",
"messages": [{"role": "user", "content": "Hello, is this working?"}],
"temperature": 0.3
}'
Implementacija putem Dockera
Za reproduktivnu implementaciju, službena slika izbjegava ponovnu instalaciju na svakom stroju:
docker run --runtime nvidia --gpus all \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--env "HUGGING_FACE_HUB_TOKEN=${HF_TOKEN}" \
-p 8000:8000 \
--ipc=host \
vllm/vllm-openai:latest \
--model mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--load_format mistral \
--config_format mistral
Tri opcije u ovoj naredbi zaslužuju objašnjenje. --runtime nvidia --gpus all daje kontejneru pristup NVIDIA GPU jedinicama; bez toga bi model pokušao raditi na CPU-u. Mount -v ~/.cache/huggingface:... dijeli predmemoriju modela s domaćinom, štedeći ti ponovno preuzimanje desetaka gigabajta svaki put kada se kontejner ponovno pokrene. --ipc=host dodjeljuje dijeljenu memoriju potrebnu za međuprocesnu komunikaciju između GPU jedinica; izostavljanje uzrokuje teško dijagnosticirane kvarove čim prijeđeš na više kartica.
Tri bitne Mistral zastavice
| Zastavica | Svrha |
|---|---|
--tokenizer_mode mistral | Koristi izvorni Mistral tokenizator (ne HF-ov) |
--config_format mistral | Učitava konfiguraciju u Mistral formatu |
--load_format mistral | Učitava težine u izvornom Mistral formatu |
Bez ovih zastavica, model se može pokrenuti, ali s degradiranim performansama ili netočnim rezultatima. Ovo je najčešća zamka kod samostalnog hostiranja Mistrala: ništa se ne ruši, poslužitelj se pokreće, odgovori stižu – samo su lošiji nego što bi trebali biti, i riskiraš pogrešno zaključiti da je model razočaravajući.
Podešavanje performansi
Kada model ne staje na jednu karticu, tenzorska paralelizacija distribuira njegove slojeve na više GPU jedinica. Vrijednost koja se prosljeđuje odgovara broju korištenih kartica:
vllm serve mistralai/Mixtral-8X7B-Instruct-v0.1 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--tensor-parallel-size 2
Druga poluga odnosi se na udio GPU memorije koji vLLM rezervira:
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--gpu-memory-utilization 0.9
Zadana vrijednost (0.9) radi u većini slučajeva. Smanji je ako drugi procesi koriste GPU – vizualna usluga, zaboravljena bilježnica – inače prvi proces uzima svu memoriju, a drugi se ne može pokrenuti.
Konačno, dva poziva su dovoljna za provjeru je li poslužitelj živ, što ih čini dobrim sondama za tvoj orchestrator:
# Izlistaj dostupne modele
curl http://localhost:8000/v1/models
# Provjeri zdravlje poslužitelja
curl http://localhost:8000/health
Ključne točke
- vLLM izlaže API kompatibilan s OpenAI-jem – možeš koristiti
openaiSDK za komunikaciju - Tri zastavice
--tokenizer_mode mistral,--config_format mistral,--load_format mistralsu obavezne - Offline način odgovara serijskoj obradi; način poslužitelja odgovara aplikacijama u stvarnom vremenu
- Docker pojednostavljuje implementaciju i osigurava reproduktivnost
- Tenzorska paralelizacija omogućuje distribuciju velikih modela na više GPU jedinica