Käyttöönotto vLLM:n avulla
Tällä sivulla
vLLM: Suositeltu päättelymoottori
vLLM on suosituin Python-päättelymoottori suurille kielimalleille (LLM). Mistral AI suosittelee sitä omaan isännöintiin, koska se on helppokäyttöinen, suorituskykyinen ja tarjoaa OpenAI-yhteensopivan rajapinnan. Käymme läpi asennuksen ja konfiguroinnin, minkä jälkeen tarkastelemme sen kahta käyttötilaa: eräajo (offline) ja palvelintila. Nämä tilat eivät sulje toisiaan pois – monet tiimit käyttävät ensimmäistä datan valmisteluun ja toista sovellusten palvelemiseen.
Tarvitsemasi asiat
Mallien lataaminen tapahtuu Hugging Facen kautta, mikä vaatii tunnuksen, jolla on READ-oikeus:
export HF_TOKEN="hf_your_token_here"
Ennen ensimmäistä lataustasi hyväksy käyttöehdot mallin Hugging Face -sivulla (esimerkiksi: huggingface.co/mistralai/Mistral-Nemo-Instruct-2407). Tämä on kertaluonteinen, manuaalinen vaihe tiliä kohden. Sen unohtaminen aiheuttaa latausvirheitä, joiden vianetsintä voi kestää tunnin, koska ne näyttävät tunnistautumisongelmilta.
Python-ympäristöä varten käytä erillistä virtualenviä välttääksesi versioristiriidat muiden projektiesi kanssa:
# Luo virtuaaliympäristö
python -m venv vllm-env
source vllm-env/bin/activate
# Asenna vLLM (versio >= 0.6.1.post1)
pip install vllm
Sitten on laitteisto, joka määrää, mitä voit itse asiassa palvella. Mistral 7B ja Nemo mahtuvat yhdelle 24 Gt:n näytönohjaimelle, tyypillisesti A10G, RTX 4090 tai L4. Mixtral 8x7B vaatii kaksi 80 Gt:n näytönohjainta, käytännössä A100-80GB-kortteja. Mistral Large 2 avoimen painon versiossaan, 123 miljardin parametrin kanssa, tarvitsee vähintään neljä A100-80GB-näytönohjainta. Kaikissa tapauksissa asenna NVIDIA-ajurit ja CUDA 12.x ennen vLLM:ää.
Offline-tila: Eräajojen käsittely
Offline-tila käsittelee pyyntöeriä ilman HTTP-palvelinta. Lataat mallin muistiin, käsittelet pyyntösi ja haet tulokset. Huomaa kolme argumenttia tokenizer_mode, load_format ja config_format: palaamme niihin myöhemmin – ne eivät ole valinnaisia.
from vllm import LLM
from vllm.sampling_params import SamplingParams
# Lataa malli Mistral-lipuilla
llm = LLM(
model="mistralai/Mistral-Nemo-Instruct-2407",
tokenizer_mode="mistral",
load_format="mistral",
config_format="mistral"
)
# Generointiparametrit
sampling = SamplingParams(
max_tokens=8192,
temperature=0.3
)
# Käsittele pyyntöerä
messages_batch = [
[{"role": "user", "content": "What is PagedAttention?"}],
[{"role": "user", "content": "Explain tensor parallelism."}],
[{"role": "user", "content": "How does the KV cache work?"}],
]
results = llm.chat(messages=messages_batch[0], sampling_params=sampling)
for output in results:
print(output.outputs[0].text)
Tämä tila loistaa erämuotoisessa dokumenttien käsittelyssä – tiivistäminen, luokittelu – mallien arvioinnissa vertailukohtia vastaan, synteettisen datan generoinnissa sekä testaus- ja prototyyppiskripteissä. Aina kun kukaan ei odota välitöntä vastausta, hyödyt HTTP-kerroksen ohittamisesta.
Palvelintila: Rajapinnan avaaminen
Palvelintila käynnistää OpenAI-rajapinnan kanssa yhteensopivan HTTP-päätepisteen:
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--host 0.0.0.0 \
--port 8000
Palvelin avaa rajapinnan portissa 8000. Käytännön seuraus on merkittävä: OpenAI-rajapintaa varten kirjoitettu sovellus siirtyy omaan isännöityyn malliisi muuttamalla vain kaksi riviä, base_url ja api_key. Kirjastosi, agenttikehyksesi ja testaus työkalusi toimivat edelleen.
from openai import OpenAI
# Yhdistä paikalliseen vLLM-palvelimeen
client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="not-needed" # Ei tunnistautumista oletuksena
)
response = client.chat.completions.create(
model="mistralai/Mistral-Nemo-Instruct-2407",
messages=[
{"role": "system", "content": "You are a DevOps expert."},
{"role": "user", "content": "How do I monitor a vLLM server in production?"}
],
temperature=0.3,
max_tokens=1024
)
print(response.choices[0].message.content)
Kommentti # Ei tunnistautumista oletuksena ansaitsee huomiota: näin käynnistetty vLLM-palvelin ei tunnistauduta ketään. Kehityskoneella tämä on kätevää. Verkkoon yhteydessä olevalla koneella se on avoin ovi. Nopea komentorivitesti vahvistaa, että kaikki vastaa ennen jatkamista:
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "mistralai/Mistral-Nemo-Instruct-2407",
"messages": [{"role": "user", "content": "Hello, is this working?"}],
"temperature": 0.3
}'
Docker-käyttöönotto
Toistettavaa käyttöönottoa varten virallinen image välttää uudelleenasennuksen jokaisella koneella:
docker run --runtime nvidia --gpus all \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--env "HUGGING_FACE_HUB_TOKEN=${HF_TOKEN}" \
-p 8000:8000 \
--ipc=host \
vllm/vllm-openai:latest \
--model mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--load_format mistral \
--config_format mistral
Kolme tämän komennon valintaa ansaitsee selityksen. --runtime nvidia --gpus all antaa säiliölle pääsyn NVIDIA-näytönohjaimiin; ilman sitä malli yrittäisi suorittaa CPU:lla. Liitos -v ~/.cache/huggingface:... jakaa mallivälimuistin isäntäkoneen kanssa, mikä säästää sinua lataamasta kymmeniä gigatavuja uudelleen aina säiliön käynnistyessä. --ipc=host myöntää näytönohjainten väliseen prosessien väliseen viestintään tarvittavan jaetun muistin; sen pois jättäminen aiheuttaa vaikeasti diagnosoitavia kaatumisia heti, kun siirryt useampaan korttiin.
Kolme olennaista Mistral-lippua
| Lippu | Tarkoitus |
|---|---|
--tokenizer_mode mistral | Käyttää natiivia Mistral-tokenisoijaa (ei HF:n) |
--config_format mistral | Lataa konfiguraation Mistral-muodossa |
--load_format mistral | Lataa painot natiivissa Mistral-muodossa |
Ilman näitä lippuja malli voi toimia, mutta suorituskyky heikkenee tai tulokset ovat virheellisiä. Tämä on yleisin Mistralin oman isännöinnin sudenkuoppa: mikään ei kaadu, palvelin käynnistyy, vastaukset saapuvat – ne ovat vain huonompia kuin pitäisi, ja riskinä on tehdä virheellinen johtopäätös, että malli on pettymys.
Suorituskyvyn hienosäätö
Kun malli ei mahdu yhdelle kortille, tensoririnnakkaisuus jakaa sen kerrokset useiden näytönohjainten kesken. Annettu arvo vastaa käytettyjen korttien määrää:
vllm serve mistralai/Mixtral-8X7B-Instruct-v0.1 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--tensor-parallel-size 2
Toinen vipu koskee GPU-muistin osuutta, jonka vLLM varaa:
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--gpu-memory-utilization 0.9
Oletusarvo (0,9) toimii useimmissa tapauksissa. Pienennä sitä, jos muut prosessit käyttävät näytönohjainta – kuvapalvelu, unohdettu notebook – muuten ensimmäinen prosessi vie kaiken muistin ja toinen epäonnistuu käynnistymisessä.
Lopuksi kaksi kutsua riittää varmistamaan, että palvelin on elossa, mikä tekee niistä hyviä antureita orkestraattorillesi:
# Listaa saatavilla olevat mallit
curl http://localhost:8000/v1/models
# Tarkista palvelimen tila
curl http://localhost:8000/health
Keskeiset asiat
- vLLM tarjoaa OpenAI-yhteensopivan rajapinnan – voit käyttää
openai-SDK:ta viestintään - Kolme lippua
--tokenizer_mode mistral,--config_format mistral,--load_format mistralovat pakollisia - Offline-tila sopii eräajoon; palvelintila sopii reaaliaikaisiin sovelluksiin
- Docker yksinkertaistaa käyttöönottoa ja varmistaa toistettavuuden
- Tensoririnnakkaisuus mahdollistaa suurten mallien jakamisen useiden näytönohjainten kesken