Ανάπτυξη με vLLM
Σε αυτήν τη σελίδα
vLLM: Η προτεινόμενη μηχανή συμπερασμάτων
Το vLLM είναι η πιο δημοφιλής μηχανή συμπερασμάτων Python για τα LLM. Η Mistral AI το συνιστά για αυτο-φιλοξενία (self-hosting) επειδή είναι εύκολο στη χρήση, αποδίδει καλά και προσφέρει ένα API συμβατό με το OpenAI. Θα εξετάσουμε την εγκατάσταση και τη διαμόρφωση, και στη συνέχεια θα καλύψουμε τις δύο λειτουργίες χρήσης του: τη λειτουργία παρτίδας (offline) και τη λειτουργία διακομιστή. Αυτές οι λειτουργίες δεν είναι αμοιβαία αποκλειόμενες· πολλές ομάδες χρησιμοποιούν την πρώτη για την προετοιμασία δεδομένων και τη δεύτερη για την εξυπηρέτηση εφαρμογών.
Τι θα χρειαστείτε
Η λήψη των μοντέλων γίνεται μέσω του Hugging Face, το οποίο απαιτεί ένα διακριτικό (token) με άδεια READ:
export HF_TOKEN="hf_your_token_here"
Πριν από την πρώτη σας λήψη, αποδεχτείτε τους όρους χρήσης στη σελίδα του μοντέλου στο Hugging Face (για παράδειγμα: huggingface.co/mistralai/Mistral-Nemo-Instruct-2407). Αυτό είναι ένα εφάπαξ, χειροκίνητο βήμα ανά λογαριασμό. Η παράλειψή του προκαλεί αποτυχίες λήψης των οποίων η διάγνωση μπορεί να πάρει μία ώρα, καθώς μοιάζουν με προβλήματα πιστοποίησης.
Για το περιβάλλον Python, χρησιμοποιήστε ένα αφιερωμένο virtualenv για να αποφύγετε συγκρούσεις εκδόσεων με τα άλλα έργα σας:
# Δημιουργία εικονικού περιβάλλοντος
python -m venv vllm-env
source vllm-env/bin/activate
# Εγκατάσταση του vLLM (έκδοση >= 0.6.1.post1)
pip install vllm
Στη συνέχεια, υπάρχει το υλικό, το οποίο καθορίζει τι μπορείτε πραγματικά να εξυπηρετήσετε. Τα Mistral 7B και Nemo χωρούν σε μία μόνο GPU 24 GB, τυπικά μια A10G, RTX 4090 ή L4. Το Mixtral 8x7B απαιτεί δύο GPU 80 GB, στην πράξη κάρτες A100-80GB. Το Mistral Large 2 στην έκδοση ανοιχτών βαρών του, με τις 123 δισεκατομμύρια παραμέτρους του, χρειάζεται τουλάχιστον τέσσερις GPU A100-80GB. Σε όλες τις περιπτώσεις, εγκαταστήστε τους οδηγούς NVIDIA και το CUDA 12.x πριν από το vLLM.
Λειτουργία Offline: Επεξεργασία Παρτίδων
Η λειτουργία offline διαχειρίζεται παρτίδες αιτημάτων χωρίς διακομιστή HTTP. Φορτώνετε το μοντέλο στη μνήμη, επεξεργάζεστε τα αιτήματά σας και ανακτάτε τα αποτελέσματα. Σημειώστε τα τρία ορίσματα tokenizer_mode, load_format και config_format: θα επιστρέψουμε σε αυτά—δεν είναι προαιρετικά.
from vllm import LLM
from vllm.sampling_params import SamplingParams
# Φόρτωση του μοντέλου με σημαίες Mistral
llm = LLM(
model="mistralai/Mistral-Nemo-Instruct-2407",
tokenizer_mode="mistral",
load_format="mistral",
config_format="mistral"
)
# Παράμετροι δημιουργίας
sampling = SamplingParams(
max_tokens=8192,
temperature=0.3
)
# Επεξεργασία μιας παρτίδας αιτημάτων
messages_batch = [
[{"role": "user", "content": "What is PagedAttention?"}],
[{"role": "user", "content": "Explain tensor parallelism."}],
[{"role": "user", "content": "How does the KV cache work?"}],
]
results = llm.chat(messages=messages_batch[0], sampling_params=sampling)
for output in results:
print(output.outputs[0].text)
Αυτή η λειτουργία διακρίνεται για την επεξεργασία εγγράφων σε παρτίδες—συνοψίωση, ταξινόμηση—την αξιολόγηση μοντέλων έναντι benchmarks, τη δημιουργία συνθετικών δεδομένων και scripts δοκιμής ή πρωτοτυποποίησης. Όποτε κανείς δεν περιμένει άμεση απάντηση, ωφελείστε παρακάμπτοντας το στρώμα HTTP.
Λειτουργία Διακομιστή: Έκθεση API
Η λειτουργία διακομιστή εκκινεί ένα endpoint HTTP συμβατό με το API του OpenAI:
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--host 0.0.0.0 \
--port 8000
Ο διακομιστής εκθέτει το API στη θύρα 8000. Η πρακτική συνέπεια είναι σημαντική: μια εφαρμογή γραμμένη για το API του OpenAI μεταβαίνει στο αυτο-φιλοξενούμενο μοντέλο σας αλλάζοντας δύο γραμμές, τις base_url και api_key. Οι βιβλιοθήκες, τα πλαίσια πρακτόρων και τα εργαλεία δοκιμής σας συνεχίζουν να λειτουργούν.
from openai import OpenAI
# Σύνδεση με τον τοπικό διακομιστή vLLM
client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="not-needed" # Χωρίς έλεγχο ταυτότητας από προεπιλογή
)
response = client.chat.completions.create(
model="mistralai/Mistral-Nemo-Instruct-2407",
messages=[
{"role": "system", "content": "You are a DevOps expert."},
{"role": "user", "content": "How do I monitor a vLLM server in production?"}
],
temperature=0.3,
max_tokens=1024
)
print(response.choices[0].message.content)
Το σχόλιο # Χωρίς έλεγχο ταυτότητας από προεπιλογή αξίζει προσοχής: ένας διακομιστής vLLM που εκκινείται με αυτόν τον τρόπο δεν πιστοποιεί κανέναν. Σε έναν υπολογιστή ανάπτυξης, αυτό είναι βολικό. Σε έναν υπολογιστή προσβάσιμο από το δίκτυο, είναι μια ανοιχτή πόρτα. Μια γρήγορη δοκιμή γραμμής εντολών επιβεβαιώνει ότι όλα ανταποκρίνονται πριν προχωρήσετε:
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "mistralai/Mistral-Nemo-Instruct-2407",
"messages": [{"role": "user", "content": "Hello, is this working?"}],
"temperature": 0.3
}'
Ανάπτυξη με Docker
Για αναπαραγώγιμη ανάπτυξη, η επίσημη εικόνα αποφεύγει την επανεγκατάσταση σε κάθε μηχάνημα:
docker run --runtime nvidia --gpus all \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--env "HUGGING_FACE_HUB_TOKEN=${HF_TOKEN}" \
-p 8000:8000 \
--ipc=host \
vllm/vllm-openai:latest \
--model mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--load_format mistral \
--config_format mistral
Τρεις επιλογές σε αυτήν την εντολή αξίζουν εξήγηση. Οι --runtime nvidia --gpus all δίνουν στο container πρόσβαση σε GPU NVIDIA· χωρίς αυτές, το μοντέλο θα προσπαθούσε να τρέξει σε CPU. Η προσάρτηση -v ~/.cache/huggingface:... κοινοποιεί την προσωρινή μνήμη του μοντέλου με τον κεντρικό υπολογιστή (host), γλιτώνοντάς σας από την επαναληπτική λήψη δεκάδων gigabytes κάθε φορά που επανεκκινείται το container. Το --ipc=host παρέχει την κοινόχρηστη μνήμη που απαιτείται για την επικοινωνία μεταξύ διεργασιών μεταξύ των GPU· η παράλειψή του προκαλεί δυσδιάγνωστες καταρρεύσεις μόλις μεταβείτε σε πολλαπλές κάρτες.
Οι τρεις απαραίτητες σημαίες Mistral
| Σημαία | Σκοπός |
|---|---|
--tokenizer_mode mistral | Χρησιμοποιεί τον εγγενή tokenizer της Mistral (όχι του HF) |
--config_format mistral | Φορτώνει τη διαμόρφωση σε μορφή Mistral |
--load_format mistral | Φορτώνει τα βάρη σε εγγενή μορφή Mistral |
Χωρίς αυτές τις σημαίες, το μοντέλο μπορεί να τρέξει αλλά με μειωμένη απόδοση ή λανθασμένα αποτελέσματα. Αυτή είναι η πιο κοινή παγίδα στην αυτο-φιλοξενία της Mistral: τίποτα δεν καταρρέει, ο διακομιστής ξεκινά, οι απαντήσεις φτάνουν—είναι απλώς χειρότερες από ό,τι θα έπρεπε, και κινδυνεύετε να καταλήξετε λανθασμένα ότι το μοντέλο είναι απογοητευτικό.
Βελτιστοποίηση Απόδοσης
Όταν ένα μοντέλο δεν χωράει σε μία μόνο κάρτα, ο παραλληλισμός τανυστών (tensor parallelism) κατανέμει τα στρώματά του σε πολλαπλές GPU. Η τιμή που περνάτε αντιστοιχεί στον αριθμό των καρτών που χρησιμοποιούνται:
vllm serve mistralai/Mixtral-8X7B-Instruct-v0.1 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--tensor-parallel-size 2
Ο δεύτερος μοχλός αφορά το ποσοστό της μνήμης GPU που δεσμεύει το vLLM:
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--gpu-memory-utilization 0.9
Η προεπιλεγμένη τιμή (0.9) λειτουργεί στις περισσότερες περιπτώσεις. Μειώστε την εάν άλλες διεργασίες χρησιμοποιούν τη GPU—μια υπηρεσία όρασης, ένα ξεχασμένο notebook—διαφορετικά η πρώτη διεργασία καταλαμβάνει όλη τη μνήμη και η δεύτερη αποτυγχάνει να ξεκινήσει.
Τέλος, δύο κλήσεις αρκούν για να επαληθεύσετε ότι ένας διακομιστής είναι ενεργός, καθιστώντας τες καλούς ανιχνευτές (probes) για τον ενορχηστρωτή σας:
# Λίστα διαθέσιμων μοντέλων
curl http://localhost:8000/v1/models
# Έλεγχος υγείας διακομιστή
curl http://localhost:8000/health
Βασικά σημεία
- Το vLLM εκθέτει ένα API συμβατό με το OpenAI—μπορείτε να χρησιμοποιήσετε το SDK
openaiγια επικοινωνία - Οι τρεις σημαίες
--tokenizer_mode mistral,--config_format mistral,--load_format mistralείναι υποχρεωτικές - Η λειτουργία offline είναι κατάλληλη για επεξεργασία παρτίδων· η λειτουργία διακομιστή για εφαρμογές πραγματικού χρόνου
- Το Docker απλοποιεί την ανάπτυξη και διασφαλίζει την αναπαραγωγιμότητα
- Ο παραλληλισμός τανυστών σάς επιτρέπει να κατανέμετε μεγάλα μοντέλα σε πολλαπλές GPU