Infrastruktur und GPUs
Auf dieser Seite
Dimensionierung Ihrer GPU-Infrastruktur
Die Wahl der richtigen GPU, des Speichervolumens und des Orchestrierungswerkzeugs ist ein entscheidender Schritt beim Selbsthosting. Ein zu kleines Modell degradiert nicht sanft: Es startet gar nicht erst oder stürzt unter der ersten echten Last ab. Wir behandeln die Hardwareanforderungen für Mistral-Modelle, Quantisierungstechniken, die den Speicherbedarf senken, sowie zwei Orchestrierungswerkzeuge: SkyPilot und Cerebrium.
Anforderungen pro Modell
Die folgende Tabelle listet die Anforderungen für FP16 ohne Quantisierung auf – dies ist die Basis für jede Dimensionierungsrechnung.
| Modell | Parameter | Minimale VRAM | Empfohlene GPU |
|---|---|---|---|
| Mistral 7B | 7B | 16 GB | 1x A10G / L4 |
| Mistral Nemo | 12B | 24 GB | 1x A10G / RTX 4090 |
| Mixtral 8x7B | 46.7B | 100 GB | 2x A100-80GB |
| Mixtral 8x22B | 141B | 300 GB | 4x A100-80GB |
| Mistral Large 2 | 123B | 250 GB | 4x A100-80GB |
| Codestral | 22B | 48 GB | 1x A100-80GB |
Sie benötigen diese Tabelle nicht, um ein nicht aufgeführtes Modell zu schätzen. In FP16 sollten Sie mit etwa 2 GB VRAM pro Milliarden Parametern rechnen: Für ein 7B-Modell sind das 7 x 2 = 14 GB Minimum, plus Overhead für den KV-Cache und den Inferenz-Engine – daher zeigt die Tabelle 16 GB an. Dieser Puffer erklärt, warum eine 16-GB-Karte Mistral 7B gerade noch bewältigt, aber nicht ausreicht, sobald Sie lange Kontexte für mehrere gleichzeitige Benutzer bereitstellen.
Quantisierung: Präzision gegen Speicher eintauschen
Quantisierung reduziert die Präzision der Modellgewichte, um den Speicherverbrauch zu senken, oft mit minimalem Einfluss auf die Qualität. In FP8 (acht Bits pro Gewicht) wird der Speicherbedarf im Vergleich zu FP16 halbiert, und die Aktivierung passt mit einem einfachen Argument:
# Ein Modell in FP8 mit vLLM bereitstellen
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--dtype float8_e4m3fn
| Modell | FP16 | FP8 | Reduktion |
|---|---|---|---|
| Mistral 7B | 14 GB | 7 GB | -50% |
| Mistral Nemo | 24 GB | 12 GB | -50% |
| Mixtral 8x7B | 100 GB | 50 GB | -50% |
Die praktische Konsequenz ist klar: Ein Mixtral 8x7B, der in FP16 zwei A100-80GB-Karten erforderte, passt in FP8 auf eine einzige Karte und halbiert Ihre stündliche Rechnung. INT4 (vier Bits) geht noch weiter, aber der Einfluss auf die Qualität wird spürbar; es wird in TGI über ein dediziertes Argument aktiviert:
# AWQ-Quantisierung mit TGI
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--quantize awq
| Präzision | Speicher | Qualität | Geschwindigkeit |
|---|---|---|---|
| FP16 | Basislinie | Basislinie | Basislinie |
| FP8 | -50% | -1 bis -2% | +10-20% |
| INT4 | -75% | -3 bis -5% | +30-50% |
In der Praxis empfehlen wir FP8 für die Produktion – der Qualitätsverlust ist vernachlässigbar. INT4 funktioniert für Prototypen oder speicherbeschränkte Umgebungen, typischerweise eine Demo auf einem Arbeitsplatzrechner mit einer Consumer-GPU.
SkyPilot: Multi-Cloud-Orchestrierung
SkyPilot ist ein Open-Source-Framework zum Bereitstellen von LLMs auf jeder Cloud – AWS, GCP, Azure, Lambda Labs und andere. Es wählt automatisch die günstigste GPU aus und übernimmt die Bereitstellung, sodass Sie nicht manuell Spot-Preise bei drei Anbietern vergleichen müssen, bevor Sie jeden Start durchführen. Mistral stellt bereitgestellte YAML-Dateien zur Verfügung, deren Struktur die Maschine, die Einrichtung und den Befehl zum Bereitstellen beschreibt:
# mistral-7b.yaml
resources:
accelerators: A10G:1
cloud: aws
setup: |
pip install vllm
run: |
vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral
Der gesamte Lebenszyklus eines Clusters reduziert sich dann auf vier Befehle:
# SkyPilot installieren
pip install "skypilot[aws,gcp,azure]"
# Cluster starten
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1
# Status prüfen
sky status
# Stoppen (um Geld zu sparen)
sky stop mistral-7b
# Löschen
sky down mistral-7b
Diese letzten beiden Befehle sind die, die Menschen vergessen. Ein A10G-Cluster, der über ein Wochenende laufen gelassen wird, kostet so viel wie ein Monat API-Nutzung für moderate Workloads, weshalb es wichtig ist, die Größenordnungen zu kennen:
| Modell | SkyPilot-Konfiguration | Geschätzte Cloud-Kosten |
|---|---|---|
| Mistral 7B | A10G:1 | ~$1/h |
| Mixtral 8x7B | A100-80GB:2 | ~$6/h |
| Mixtral 8x22B | A100-80GB:4 | ~$12/h |
Ein letzter Punkt verdient Ihre Aufmerksamkeit: SkyPilot erstellt VMs mit standardmäßig offenen Ports. In der Produktion sollten Sie den Netzwerkzugriff mit Security Groups oder Firewall-Regeln einschränken, einen Load Balancer mit Authentifizierung vor den Dienst stellen und Port 8000 niemals dem Internet aussetzen. Ein nicht authentifizierter vLLM-Server, der öffentlich erreichbar ist, ist eine GPU, für die Sie auf fremde Rechnung bezahlen.
Cerebrium: Serverlose GPU
Cerebrium verfolgt den gegenteiligen Ansatz zu SkyPilot: Statt Maschinen zu verwalten, beschreiben Sie einen Dienst und zahlen nur für die Rechenleistung, die Sie tatsächlich nutzen, mit automatischer Skalierung. Der Start erfolgt mit drei Befehlen:
pip install cerebrium
cerebrium login
cerebrium init mistral-vllm
Die gesamte Bereitstellung wird dann in einer cerebrium.toml-Datei beschrieben:
[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"
[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16
[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60
[cerebrium.dependencies.pip]
vllm = "latest"
Die Einstellung min_replicas = 0 ist der entscheidende Vorteil dieses Ansatzes: Wenn niemand den Dienst aufruft, kostet er nichts. Der Kompromiss ist, dass die erste Anfrage nach einer Inaktivitätsphase warten muss, bis eine Instanz gestartet ist. Der Befehl cerebrium deploy reicht aus, um die Veröffentlichung durchzuführen; die Plattform übernimmt die GPU-Bereitstellung, die automatische Skalierung von null auf N Replikate, das Lastverteilung und die Überwachung.
Umgang mit Produktionslast
Um die Durchsatzleistung zu erhöhen, suchen Sie nicht nach einer größeren GPU – multiplizieren Sie die Instanzen hinter einem Load Balancer, wobei jede Instanz das gleiche Modell auf ihrer eigenen Karte bereitstellt:
┌─── vLLM-Instanz 1 (GPU A)
Load Balancer ──────┼─── vLLM-Instanz 2 (GPU B)
└─── vLLM-Instanz 3 (GPU C)
Fünf Metriken reichen aus, um die gesamte Einrichtung zu verwalten: Tokens pro Sekunde misst den Generierungsdurchsatz; TTFB (Time To First Byte) gibt die Latenz vor dem ersten Token an, was der Benutzer wahrnimmt; die GPU-Auslastung sollte unter Last 80 % überschreiten, sonst zahlen Sie für inaktive Hardware; überwachen Sie den GPU-Speicher, um OOM-Fehler vorherzusehen; und die Warteschlangen Tiefe, die Anzahl der ausstehenden Anfragen, signalisiert Sättigung, bevor sich Benutzer beschweren. Auf einem einzelnen Rechner gibt bereits eine einfache kontinuierliche Aktualisierung die Grundlagen:
# GPU-Auslastung überwachen
watch -n 1 nvidia-smi
Kernaussagen
- Budgetieren Sie ~2 GB VRAM pro Milliarden Parametern in FP16
- FP8-Quantisierung halbiert den Speicherbedarf mit vernachlässigbarem Qualitätsverlust
- SkyPilot vereinfacht die Multi-Cloud-Bereitstellung mit bereitgestellten YAML-Konfigurationen
- Cerebrium bietet serverlose GPU mit automatischer Skalierung (Pay-per-Compute)
- In der Produktion einen Load Balancer hinzufügen und GPU-Metriken kontinuierlich überwachen