Υποδομή και GPUs
Σε αυτήν τη σελίδα
Διαστασιολόγηση της Υποδομής GPU σας
Η επιλογή του κατάλληλου GPU, της χωρητικότητας μνήμης και του εργαλείου ενορχήστρωσης αποτελεί κρίσιμο βήμα για το self-hosting. Ένα μοντέλο με υποδιαστασιολόγηση δεν υποβαθμίζεται ομαλά: αρνείται να ξεκινήσει ή καταρρέει υπό το πρώτο πραγματικό φορτίο. Θα καλύψουμε τις απαιτήσεις υλικού για τα μοντέλα Mistral, τις τεχνικές κβάντωσης που μειώνουν τις ανάγκες μνήμης και δύο εργαλεία ενορχήστρωσης: τα SkyPilot και Cerebrium.
Απαιτήσεις κάθε μοντέλου
Ο παρακάτω πίνακας παραθέτει τις απαιτήσεις FP16 χωρίς κβάντωση—τη βάση για κάθε υπολογισμό διαστασιολόγησης.
| Μοντέλο | Παράμετροι | Ελάχιστη VRAM | Προτεινόμενο GPU |
|---|---|---|---|
| Mistral 7B | 7B | 16 GB | 1x A10G / L4 |
| Mistral Nemo | 12B | 24 GB | 1x A10G / RTX 4090 |
| Mixtral 8x7B | 46.7B | 100 GB | 2x A100-80GB |
| Mixtral 8x22B | 141B | 300 GB | 4x A100-80GB |
| Mistral Large 2 | 123B | 250 GB | 4x A100-80GB |
| Codestral | 22B | 48 GB | 1x A100-80GB |
Δεν χρειάζεστε αυτόν τον πίνακα για να εκτιμήσετε ένα μοντέλο που δεν αναφέρεται. Σε FP16, υπολογίστε περίπου 2 GB VRAM ανά δισεκατομμύριο παραμέτρων: για ένα μοντέλο 7B, 7 x 2 = 14 GB ελάχιστο, συν το γενικό κόστος για την cache KV και τη μηχανή συμπερασμάτων—γι’ αυτό ο πίνακας δείχνει 16 GB. Αυτό το περιθώριο εξηγεί γιατί μια κάρτα 16 GB δύσκολα διαχειρίζεται το Mistral 7B και γιατί δεν θα επαρκεί μόλις εξυπηρετείτε μεγάλα context σε πολλούς ταυτόχρονους χρήστες.
Κβάντωση: Ανταλλαγή ακρίβειας για μνήμη
Η κβάντωση μειώνει την ακρίβεια των βαρών του μοντέλου για να μειώσει την κατανάλωση μνήμης, συχνά με ελάχιστη επίπτωση στην ποιότητα. Σε FP8 (οκτώ bits ανά βάρος), η χρήση μνήμης μειώνεται στο μισό σε σύγκριση με το FP16 και η ενεργοποίηση ταιριάζει με ένα απλό όρισμα:
# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--dtype float8_e4m3fn
| Μοντέλο | FP16 | FP8 | Μείωση |
|---|---|---|---|
| Mistral 7B | 14 GB | 7 GB | -50% |
| Mistral Nemo | 24 GB | 12 GB | -50% |
| Mixtral 8x7B | 100 GB | 50 GB | -50% |
Η πρακτική συνέπεια είναι ξεκάθαρη: ένα Mixtral 8x7B που απαιτούσε δύο κάρτες A100-80GB σε FP16 χωράει σε μία μόνο κάρτα σε FP8, μειώνοντας τον ωριαίο λογαριασμό σας στο μισό. Το INT4 (τέσσερα bits) πηγαίνει ακόμα πιο μακριά, αλλά η επίπτωση στην ποιότητα γίνεται αισθητή· ενεργοποιείται στο TGI μέσω ενός ειδικού ορίσματος:
# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--quantize awq
| Ακρίβεια | Μνήμη | Ποιότητα | Ταχύτητα |
|---|---|---|---|
| FP16 | Βάση | Βάση | Βάση |
| FP8 | -50% | -1 έως -2% | +10-20% |
| INT4 | -75% | -3 έως -5% | +30-50% |
Πρακτικά, συνιστούμε το FP8 για παραγωγή—η απώλεια ποιότητας είναι αμελητέα. Το INT4 λειτουργεί για πρωτοτυποποίηση ή περιβάλλοντα με περιορισμένη μνήμη, τυπικά ένα demo σε workstation με καταναλωτική GPU.
SkyPilot: Ενορχήστρωση πολλαπλών cloud
Το SkyPilot είναι ένα framework ανοιχτού κώδικα για την ανάπτυξη LLM σε οποιοδήποτε cloud—AWS, GCP, Azure, Lambda Labs και άλλα. Επιλέγει αυτόματα το φθηνότερο GPU και διαχειρίζεται την προμήθεια, ώστε να μην χρειάζεται να συγκρίνετε χειροκίνητα τις τιμές spot σε τρεις παρόχους πριν από κάθε εκκίνηση. Η Mistral παρέχει έτοιμα αρχεία YAML των οποίων η δομή περιγράφει το μηχάνημα, τη ρύθμιση και την εντολή serve:
# mistral-7b.yaml
resources:
accelerators: A10G:1
cloud: aws
setup: |
pip install vllm
run: |
vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral
Ολόκληρος ο κύκλος ζωής ενός cluster ανάγεται τότε σε τέσσερις εντολές:
# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"
# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1
# Check status
sky status
# Stop (to save money)
sky stop mistral-7b
# Delete
sky down mistral-7b
Αυτές οι δύο τελευταίες εντολές είναι αυτές που ξεχνούν οι άνθρωποι. Ένα cluster A10G που μένει ενεργό κατά τη διάρκεια ενός Σαββατοκύριακου κοστίζει όσο ένας μήνας χρήσης API για μέτρια φορτία, γι’ αυτό έχει σημασία να γνωρίζετε τις κατά προσέγγιση τιμές:
| Μοντέλο | Ρύθμιση SkyPilot | Εκτιμώμενο Κόστος Cloud |
|---|---|---|
| Mistral 7B | A10G:1 | ~$1/ώρα |
| Mixtral 8x7B | A100-80GB:2 | ~$6/ώρα |
| Mixtral 8x22B | A100-80GB:4 | ~$12/ώρα |
Ένα τελευταίο σημείο αξίζει την προσοχή σας: το SkyPilot δημιουργεί VM με θύρες ανοιχτές από προεπιλογή. Στην παραγωγή, περιορίστε την πρόσβαση δικτύου με Security Groups ή κανόνες Firewall, τοποθετήστε έναν load balancer με αυθεντικοποίηση μπροστά από την υπηρεσία και μην αφήνετε ποτέ τη θύρα 8000 εκτεθειμένη στο διαδίκτυο. Ένας διακομιστής vLLM χωρίς αυθεντικοποίηση προσβάσιμος δημόσια είναι μια GPU για την οποία πληρώνετε εσείς εκ μέρους κάποιου άλλου.
Cerebrium: Serverless GPU
Το Cerebrium ακολουθεί την αντίθετη προσέγγιση από το SkyPilot: αντί να διαχειρίζεστε μηχανήματα, περιγράφετε μια υπηρεσία και πληρώνετε μόνο για τον υπολογισμό που χρησιμοποιείτε πραγματικά, με αυτόματη κλιμάκωση. Η εκκίνηση απαιτεί τρεις εντολές:
pip install cerebrium
cerebrium login
cerebrium init mistral-vllm
Ολόκληρη η ανάπτυξη περιγράφεται τότε σε ένα αρχείο cerebrium.toml:
[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"
[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16
[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60
[cerebrium.dependencies.pip]
vllm = "latest"
Η ρύθμιση min_replicas = 0 είναι το βασικό πλεονέκτημα αυτής της προσέγγισης: όταν κανείς δεν καλεί την υπηρεσία, δεν κοστίζει τίποτα. Η αντιστάθμιση είναι ότι το πρώτο αίτημα μετά από μια περίοδο αδράνειας πρέπει να περιμένει μέχρι να ξεκινήσει ένα instance. Η εντολή cerebrium deploy είναι το μόνο που χρειάζεστε για δημοσίευση· η πλατφόρμα διαχειρίζεται την προμήθεια GPU, την αυτόματη κλιμάκωση από το μηδέν σε N replicas, την εξισορρόπηση φορτίου και την παρακολούθηση.
Διαχείριση φορτίου παραγωγής
Για να αυξήσετε τη διαπερατότητα, μην ψάχνετε για μεγαλύτερο GPU—πολλαπλασιάστε τα instances πίσω από έναν load balancer, το καθένα να εξυπηρετεί το ίδιο μοντέλο στη δική του κάρτα:
┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
└─── vLLM instance 3 (GPU C)
Πέντε μετρικές αρκούν για τη διαχείριση ολόκληρης της ρύθμισης: τα tokens ανά δευτερόλεπτο μετρούν τη διαπερατότητα παραγωγής· το TTFB (Time To First Byte) δίνει τον λανθάνοντα χρόνο πριν από το πρώτο token, κάτι που αντιλαμβάνεται ο χρήστης· η utilization της GPU πρέπει να ξεπερνά το 80% υπό φορτίο, διαφορετικά πληρώνετε για αδρανές υλικό· παρακολουθείτε τη μνήμη GPU για να προβλέψετε σφάλματα OOM· και το βάθος ουράς, ο αριθμός των εκκρεμών αιτημάτων, σηματοδοτεί τον κορεσμό πριν παραπονεθούν οι χρήστες. Σε ένα μόνο μηχάνημα, μια απλή συνεχής ανανέωση σας δίνει ήδη τα βασικά:
# Monitor GPU utilization
watch -n 1 nvidia-smi
Βασικά σημεία
- Υπολογίστε ~2 GB VRAM ανά δισεκατομμύριο παραμέτρων σε FP16
- Η κβάντωση FP8 μειώνει στο μισό τη χρήση μνήμης με αμελητέα επίπτωση στην ποιότητα
- Το SkyPilot απλοποιεί την ανάπτυξη σε πολλαπλά cloud με έτοιμες ρυθμίσεις YAML
- Το Cerebrium προσφέρει serverless GPU με αυτόματη κλιμάκωση (πληρωμή ανά υπολογισμό)
- Στην παραγωγή, προσθέστε έναν load balancer και παρακολουθείτε συνεχώς τις μετρικές GPU