Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Υποδομή και GPUs

Μάθημα 13 / 14 Ενημερώθηκε 29 Ιουλίου 2026 Προχωρημένος
Σε αυτήν τη σελίδα
  1. Διαστασιολόγηση της Υποδομής GPU σας
  2. Απαιτήσεις κάθε μοντέλου
  3. Κβάντωση: Ανταλλαγή ακρίβειας για μνήμη
  4. SkyPilot: Ενορχήστρωση πολλαπλών cloud
  5. Cerebrium: Serverless GPU
  6. Διαχείριση φορτίου παραγωγής
  7. Βασικά σημεία

Διαστασιολόγηση της Υποδομής GPU σας

Η επιλογή του κατάλληλου GPU, της χωρητικότητας μνήμης και του εργαλείου ενορχήστρωσης αποτελεί κρίσιμο βήμα για το self-hosting. Ένα μοντέλο με υποδιαστασιολόγηση δεν υποβαθμίζεται ομαλά: αρνείται να ξεκινήσει ή καταρρέει υπό το πρώτο πραγματικό φορτίο. Θα καλύψουμε τις απαιτήσεις υλικού για τα μοντέλα Mistral, τις τεχνικές κβάντωσης που μειώνουν τις ανάγκες μνήμης και δύο εργαλεία ενορχήστρωσης: τα SkyPilot και Cerebrium.

Απαιτήσεις κάθε μοντέλου

Ο παρακάτω πίνακας παραθέτει τις απαιτήσεις FP16 χωρίς κβάντωση—τη βάση για κάθε υπολογισμό διαστασιολόγησης.

ΜοντέλοΠαράμετροιΕλάχιστη VRAMΠροτεινόμενο GPU
Mistral 7B7B16 GB1x A10G / L4
Mistral Nemo12B24 GB1x A10G / RTX 4090
Mixtral 8x7B46.7B100 GB2x A100-80GB
Mixtral 8x22B141B300 GB4x A100-80GB
Mistral Large 2123B250 GB4x A100-80GB
Codestral22B48 GB1x A100-80GB

Δεν χρειάζεστε αυτόν τον πίνακα για να εκτιμήσετε ένα μοντέλο που δεν αναφέρεται. Σε FP16, υπολογίστε περίπου 2 GB VRAM ανά δισεκατομμύριο παραμέτρων: για ένα μοντέλο 7B, 7 x 2 = 14 GB ελάχιστο, συν το γενικό κόστος για την cache KV και τη μηχανή συμπερασμάτων—γι’ αυτό ο πίνακας δείχνει 16 GB. Αυτό το περιθώριο εξηγεί γιατί μια κάρτα 16 GB δύσκολα διαχειρίζεται το Mistral 7B και γιατί δεν θα επαρκεί μόλις εξυπηρετείτε μεγάλα context σε πολλούς ταυτόχρονους χρήστες.

Κβάντωση: Ανταλλαγή ακρίβειας για μνήμη

Η κβάντωση μειώνει την ακρίβεια των βαρών του μοντέλου για να μειώσει την κατανάλωση μνήμης, συχνά με ελάχιστη επίπτωση στην ποιότητα. Σε FP8 (οκτώ bits ανά βάρος), η χρήση μνήμης μειώνεται στο μισό σε σύγκριση με το FP16 και η ενεργοποίηση ταιριάζει με ένα απλό όρισμα:

# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --dtype float8_e4m3fn
ΜοντέλοFP16FP8Μείωση
Mistral 7B14 GB7 GB-50%
Mistral Nemo24 GB12 GB-50%
Mixtral 8x7B100 GB50 GB-50%

Η πρακτική συνέπεια είναι ξεκάθαρη: ένα Mixtral 8x7B που απαιτούσε δύο κάρτες A100-80GB σε FP16 χωράει σε μία μόνο κάρτα σε FP8, μειώνοντας τον ωριαίο λογαριασμό σας στο μισό. Το INT4 (τέσσερα bits) πηγαίνει ακόμα πιο μακριά, αλλά η επίπτωση στην ποιότητα γίνεται αισθητή· ενεργοποιείται στο TGI μέσω ενός ειδικού ορίσματος:

# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --quantize awq
ΑκρίβειαΜνήμηΠοιότηταΤαχύτητα
FP16ΒάσηΒάσηΒάση
FP8-50%-1 έως -2%+10-20%
INT4-75%-3 έως -5%+30-50%

Πρακτικά, συνιστούμε το FP8 για παραγωγή—η απώλεια ποιότητας είναι αμελητέα. Το INT4 λειτουργεί για πρωτοτυποποίηση ή περιβάλλοντα με περιορισμένη μνήμη, τυπικά ένα demo σε workstation με καταναλωτική GPU.

SkyPilot: Ενορχήστρωση πολλαπλών cloud

Το SkyPilot είναι ένα framework ανοιχτού κώδικα για την ανάπτυξη LLM σε οποιοδήποτε cloud—AWS, GCP, Azure, Lambda Labs και άλλα. Επιλέγει αυτόματα το φθηνότερο GPU και διαχειρίζεται την προμήθεια, ώστε να μην χρειάζεται να συγκρίνετε χειροκίνητα τις τιμές spot σε τρεις παρόχους πριν από κάθε εκκίνηση. Η Mistral παρέχει έτοιμα αρχεία YAML των οποίων η δομή περιγράφει το μηχάνημα, τη ρύθμιση και την εντολή serve:

# mistral-7b.yaml
resources:
  accelerators: A10G:1
  cloud: aws

setup: |
  pip install vllm

run: |
  vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
      --tokenizer_mode mistral \
      --config_format mistral \
      --load_format mistral

Ολόκληρος ο κύκλος ζωής ενός cluster ανάγεται τότε σε τέσσερις εντολές:

# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"

# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1

# Check status
sky status

# Stop (to save money)
sky stop mistral-7b

# Delete
sky down mistral-7b

Αυτές οι δύο τελευταίες εντολές είναι αυτές που ξεχνούν οι άνθρωποι. Ένα cluster A10G που μένει ενεργό κατά τη διάρκεια ενός Σαββατοκύριακου κοστίζει όσο ένας μήνας χρήσης API για μέτρια φορτία, γι’ αυτό έχει σημασία να γνωρίζετε τις κατά προσέγγιση τιμές:

ΜοντέλοΡύθμιση SkyPilotΕκτιμώμενο Κόστος Cloud
Mistral 7BA10G:1~$1/ώρα
Mixtral 8x7BA100-80GB:2~$6/ώρα
Mixtral 8x22BA100-80GB:4~$12/ώρα

Ένα τελευταίο σημείο αξίζει την προσοχή σας: το SkyPilot δημιουργεί VM με θύρες ανοιχτές από προεπιλογή. Στην παραγωγή, περιορίστε την πρόσβαση δικτύου με Security Groups ή κανόνες Firewall, τοποθετήστε έναν load balancer με αυθεντικοποίηση μπροστά από την υπηρεσία και μην αφήνετε ποτέ τη θύρα 8000 εκτεθειμένη στο διαδίκτυο. Ένας διακομιστής vLLM χωρίς αυθεντικοποίηση προσβάσιμος δημόσια είναι μια GPU για την οποία πληρώνετε εσείς εκ μέρους κάποιου άλλου.

Cerebrium: Serverless GPU

Το Cerebrium ακολουθεί την αντίθετη προσέγγιση από το SkyPilot: αντί να διαχειρίζεστε μηχανήματα, περιγράφετε μια υπηρεσία και πληρώνετε μόνο για τον υπολογισμό που χρησιμοποιείτε πραγματικά, με αυτόματη κλιμάκωση. Η εκκίνηση απαιτεί τρεις εντολές:

pip install cerebrium
cerebrium login
cerebrium init mistral-vllm

Ολόκληρη η ανάπτυξη περιγράφεται τότε σε ένα αρχείο cerebrium.toml:

[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"

[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16

[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60

[cerebrium.dependencies.pip]
vllm = "latest"

Η ρύθμιση min_replicas = 0 είναι το βασικό πλεονέκτημα αυτής της προσέγγισης: όταν κανείς δεν καλεί την υπηρεσία, δεν κοστίζει τίποτα. Η αντιστάθμιση είναι ότι το πρώτο αίτημα μετά από μια περίοδο αδράνειας πρέπει να περιμένει μέχρι να ξεκινήσει ένα instance. Η εντολή cerebrium deploy είναι το μόνο που χρειάζεστε για δημοσίευση· η πλατφόρμα διαχειρίζεται την προμήθεια GPU, την αυτόματη κλιμάκωση από το μηδέν σε N replicas, την εξισορρόπηση φορτίου και την παρακολούθηση.

Διαχείριση φορτίου παραγωγής

Για να αυξήσετε τη διαπερατότητα, μην ψάχνετε για μεγαλύτερο GPU—πολλαπλασιάστε τα instances πίσω από έναν load balancer, το καθένα να εξυπηρετεί το ίδιο μοντέλο στη δική του κάρτα:

                    ┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
                    └─── vLLM instance 3 (GPU C)

Πέντε μετρικές αρκούν για τη διαχείριση ολόκληρης της ρύθμισης: τα tokens ανά δευτερόλεπτο μετρούν τη διαπερατότητα παραγωγής· το TTFB (Time To First Byte) δίνει τον λανθάνοντα χρόνο πριν από το πρώτο token, κάτι που αντιλαμβάνεται ο χρήστης· η utilization της GPU πρέπει να ξεπερνά το 80% υπό φορτίο, διαφορετικά πληρώνετε για αδρανές υλικό· παρακολουθείτε τη μνήμη GPU για να προβλέψετε σφάλματα OOM· και το βάθος ουράς, ο αριθμός των εκκρεμών αιτημάτων, σηματοδοτεί τον κορεσμό πριν παραπονεθούν οι χρήστες. Σε ένα μόνο μηχάνημα, μια απλή συνεχής ανανέωση σας δίνει ήδη τα βασικά:

# Monitor GPU utilization
watch -n 1 nvidia-smi

Βασικά σημεία

  • Υπολογίστε ~2 GB VRAM ανά δισεκατομμύριο παραμέτρων σε FP16
  • Η κβάντωση FP8 μειώνει στο μισό τη χρήση μνήμης με αμελητέα επίπτωση στην ποιότητα
  • Το SkyPilot απλοποιεί την ανάπτυξη σε πολλαπλά cloud με έτοιμες ρυθμίσεις YAML
  • Το Cerebrium προσφέρει serverless GPU με αυτόματη κλιμάκωση (πληρωμή ανά υπολογισμό)
  • Στην παραγωγή, προσθέστε έναν load balancer και παρακολουθείτε συνεχώς τις μετρικές GPU