Implementeren met vLLM
Op deze pagina
vLLM: De aanbevolen inferentie-engine
vLLM is de populairste Python-inferentie-engine voor LLM’s. Mistral AI raadt deze aan voor self-hosting omdat hij eenvoudig te gebruiken is, goed presteert en een API biedt die compatibel is met OpenAI. We lopen de installatie en configuratie samen door en behandelen vervolgens de twee gebruiksmodi: batchmodus (offline) en servermodus. Deze modus zijn niet wederzijds uitsluitend; veel teams gebruiken de eerste om gegevens voor te bereiden en de tweede om applicaties te bedienen.
Wat u nodig hebt
Het downloaden van modellen verloopt via Hugging Face, waarvoor een token met READ-rechten vereist is:
export HF_TOKEN="hf_your_token_here"
Accepteer voordat u voor het eerst iets downloadt de gebruiksvoorwaarden op de Hugging Face-pagina van het model (bijvoorbeeld: huggingface.co/mistralai/Mistral-Nemo-Instruct-2407). Dit is een eenmalige, handmatige stap per account. Als u dit vergeet, leiden downloadfouten tot urenlang diagnosewerk omdat deze lijken op authenticatieproblemen.
Gebruik voor de Python-omgeving een toegewijde virtualenv om versieconflicten met uw andere projecten te voorkomen:
# Maak een virtuele omgeving
python -m venv vllm-env
source vllm-env/bin/activate
# Installeer vLLM (versie >= 0.6.1.post1)
pip install vllm
Dan is er de hardware, die bepaalt wat u daadwerkelijk kunt hosten. Mistral 7B en Nemo passen op één GPU van 24 GB, doorgaans een A10G, RTX 4090 of L4. Mixtral 8x7B vereist twee GPU’s van 80 GB, in de praktijk A100-80GB-kaarten. Mistral Large 2 in de open-weight-versie, met zijn 123 miljard parameters, heeft minimaal vier A100-80GB-GPU’s nodig. Installeer in alle gevallen eerst NVIDIA-drivers en CUDA 12.x voordat u vLLM installeert.
Offlinemodus: Batches verwerken
De offlinemodus verwerkt batches met verzoeken zonder HTTP-server. U laadt het model in het geheugen, verwerkt uw verzoeken en haalt de resultaten op. Let op de drie argumenten tokenizer_mode, load_format en config_format: we komen hierop terug, ze zijn niet optioneel.
from vllm import LLM
from vllm.sampling_params import SamplingParams
# Laad het model met Mistral-vlaggen
llm = LLM(
model="mistralai/Mistral-Nemo-Instruct-2407",
tokenizer_mode="mistral",
load_format="mistral",
config_format="mistral"
)
# Generatieparameters
sampling = SamplingParams(
max_tokens=8192,
temperature=0.3
)
# Verwerk een batch verzoeken
messages_batch = [
[{"role": "user", "content": "What is PagedAttention?"}],
[{"role": "user", "content": "Explain tensor parallelism."}],
[{"role": "user", "content": "How does the KV cache work?"}],
]
results = llm.chat(messages=messages_batch[0], sampling_params=sampling)
for output in results:
print(output.outputs[0].text)
Deze modus blinkt uit bij batchverwerking van documenten, zoals samenvatting en classificatie, bij het evalueren van modellen tegen benchmarks, het genereren van synthetische gegevens en bij test- of prototyping-scripts. Wanneer niemand wacht op een directe reactie, profiteert u ervan dat u de HTTP-laag kunt overslaan.
Servermodus: Een API beschikbaar stellen
Servermodus start een HTTP-eindpunt dat compatibel is met de OpenAI-API:
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--host 0.0.0.0 \
--port 8000
De server stelt de API beschikbaar op poort 8000. Het praktische gevolg is aanzienlijk: een applicatie die voor de OpenAI-API is geschreven, schakelt over op uw self-hosted model door slechts twee regels aan te passen, namelijk base_url en api_key. Uw bibliotheken, agent-frameworks en testtools blijven werken.
from openai import OpenAI
# Verbind met de lokale vLLM-server
client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="not-needed" # Standaard geen authenticatie
)
response = client.chat.completions.create(
model="mistralai/Mistral-Nemo-Instruct-2407",
messages=[
{"role": "system", "content": "You are a DevOps expert."},
{"role": "user", "content": "How do I monitor a vLLM server in production?"}
],
temperature=0.3,
max_tokens=1024
)
print(response.choices[0].message.content)
De opmerking # Standaard geen authenticatie verdient aandacht: een vLLM-server die op deze manier wordt gestart, authenticeert niemand. Op een ontwikkelmachine is dat handig. Op een machine die toegankelijk is via het netwerk, is het een open deur. Een snelle test via de commandoregel bevestigt dat alles reageert voordat u verdergaat:
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "mistralai/Mistral-Nemo-Instruct-2407",
"messages": [{"role": "user", "content": "Hello, is this working?"}],
"temperature": 0.3
}'
Implementatie met Docker
Voor reproduceerbare implementatie voorkomt het officiële image dat u op elke machine opnieuw hoeft te installeren:
docker run --runtime nvidia --gpus all \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--env "HUGGING_FACE_HUB_TOKEN=${HF_TOKEN}" \
-p 8000:8000 \
--ipc=host \
vllm/vllm-openai:latest \
--model mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--load_format mistral \
--config_format mistral
Drie opties in dit commando verdienen uitleg. --runtime nvidia --gpus all geeft de container toegang tot NVIDIA-GPU’s; zonder deze optie zou het model proberen op de CPU te draaien. De mount -v ~/.cache/huggingface:... deelt de modelcache met de host, waardoor u voorkomt dat u tientallen gigabytes opnieuw moet downloaden telkens wanneer de container herstart. --ipc=host verleent het gedeelde geheugen dat nodig is voor inter-process communicatie tussen GPU’s; als u dit weglaat, veroorzaakt dit lastig te diagnosticeren crashes zodra u overschakelt naar meerdere kaarten.
De drie essentiële Mistral-vlaggen
| Vlag | Doel |
|---|---|
--tokenizer_mode mistral | Gebruikt de native Mistral-tokenizer (niet die van HF) |
--config_format mistral | Laadt configuratie in Mistral-indeling |
--load_format mistral | Laadt gewichten in native Mistral-indeling |
Zonder deze vlaggen kan het model wel draaien, maar met verminderde prestaties of onjuiste resultaten. Dit is de meest voorkomende valkuil bij self-hosting van Mistral: niets crasht, de server start, antwoorden komen binnen, maar ze zijn slechter dan ze zouden moeten zijn. U loopt het risico ten onrechte te concluderen dat het model teleurstelt.
Prestaties afstemmen
Wanneer een model niet op één kaart past, verdeelt tensor-parallelisme de lagen ervan over meerdere GPU’s. De doorgegeven waarde komt overeen met het aantal gebruikte kaarten:
vllm serve mistralai/Mixtral-8X7B-Instruct-v0.1 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--tensor-parallel-size 2
De tweede hefboom betreft het percentage GPU-geheugen dat vLLM reserveert:
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--gpu-memory-utilization 0.9
De standaardwaarde (0,9) werkt in de meeste gevallen. Verlaag deze waarde als andere processen de GPU gebruiken, zoals een visiedienst of een vergeten notebook. Anders neemt het eerste proces al het geheugen in beslag en start het tweede proces niet.
Tot slot volstaan twee aanroepen om te verifiëren of een server actief is, waardoor ze goede probes zijn voor uw orchestrator:
# Beschikbare modellen opsommen
curl http://localhost:8000/v1/models
# Server-status controleren
curl http://localhost:8000/health
Belangrijkste punten
- vLLM stelt een API beschikbaar die compatibel is met OpenAI; u kunt de
openai-SDK gebruiken om te communiceren - De drie vlaggen
--tokenizer_mode mistral,--config_format mistralen--load_format mistralzijn verplicht - Offlinemodus is geschikt voor batchverwerking; servermodus is geschikt voor realtime-toepassingen
- Docker vereenvoudigt implementatie en zorgt voor reproduceerbaarheid
- Met tensor-parallelisme kunt u grote modellen verdelen over meerdere GPU’s