Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Infrastruktur und GPUs

Lektion 13 von 14 Aktualisiert am 29. Juli 2026 Fortgeschritten
Auf dieser Seite
  1. Dimensionierung Ihrer GPU-Infrastruktur
  2. Anforderungen pro Modell
  3. Quantisierung: Präzision gegen Speicher eintauschen
  4. SkyPilot: Multi-Cloud-Orchestrierung
  5. Cerebrium: Serverlose GPU
  6. Umgang mit Produktionslast
  7. Kernaussagen

Dimensionierung Ihrer GPU-Infrastruktur

Die Wahl der richtigen GPU, des Speichervolumens und des Orchestrierungswerkzeugs ist ein entscheidender Schritt beim Selbsthosting. Ein zu kleines Modell degradiert nicht sanft: Es startet gar nicht erst oder stürzt unter der ersten echten Last ab. Wir behandeln die Hardwareanforderungen für Mistral-Modelle, Quantisierungstechniken, die den Speicherbedarf senken, sowie zwei Orchestrierungswerkzeuge: SkyPilot und Cerebrium.

Anforderungen pro Modell

Die folgende Tabelle listet die Anforderungen für FP16 ohne Quantisierung auf – dies ist die Basis für jede Dimensionierungsrechnung.

ModellParameterMinimale VRAMEmpfohlene GPU
Mistral 7B7B16 GB1x A10G / L4
Mistral Nemo12B24 GB1x A10G / RTX 4090
Mixtral 8x7B46.7B100 GB2x A100-80GB
Mixtral 8x22B141B300 GB4x A100-80GB
Mistral Large 2123B250 GB4x A100-80GB
Codestral22B48 GB1x A100-80GB

Sie benötigen diese Tabelle nicht, um ein nicht aufgeführtes Modell zu schätzen. In FP16 sollten Sie mit etwa 2 GB VRAM pro Milliarden Parametern rechnen: Für ein 7B-Modell sind das 7 x 2 = 14 GB Minimum, plus Overhead für den KV-Cache und den Inferenz-Engine – daher zeigt die Tabelle 16 GB an. Dieser Puffer erklärt, warum eine 16-GB-Karte Mistral 7B gerade noch bewältigt, aber nicht ausreicht, sobald Sie lange Kontexte für mehrere gleichzeitige Benutzer bereitstellen.

Quantisierung: Präzision gegen Speicher eintauschen

Quantisierung reduziert die Präzision der Modellgewichte, um den Speicherverbrauch zu senken, oft mit minimalem Einfluss auf die Qualität. In FP8 (acht Bits pro Gewicht) wird der Speicherbedarf im Vergleich zu FP16 halbiert, und die Aktivierung passt mit einem einfachen Argument:

# Ein Modell in FP8 mit vLLM bereitstellen
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --dtype float8_e4m3fn
ModellFP16FP8Reduktion
Mistral 7B14 GB7 GB-50%
Mistral Nemo24 GB12 GB-50%
Mixtral 8x7B100 GB50 GB-50%

Die praktische Konsequenz ist klar: Ein Mixtral 8x7B, der in FP16 zwei A100-80GB-Karten erforderte, passt in FP8 auf eine einzige Karte und halbiert Ihre stündliche Rechnung. INT4 (vier Bits) geht noch weiter, aber der Einfluss auf die Qualität wird spürbar; es wird in TGI über ein dediziertes Argument aktiviert:

# AWQ-Quantisierung mit TGI
docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --quantize awq
PräzisionSpeicherQualitätGeschwindigkeit
FP16BasislinieBasislinieBasislinie
FP8-50%-1 bis -2%+10-20%
INT4-75%-3 bis -5%+30-50%

In der Praxis empfehlen wir FP8 für die Produktion – der Qualitätsverlust ist vernachlässigbar. INT4 funktioniert für Prototypen oder speicherbeschränkte Umgebungen, typischerweise eine Demo auf einem Arbeitsplatzrechner mit einer Consumer-GPU.

SkyPilot: Multi-Cloud-Orchestrierung

SkyPilot ist ein Open-Source-Framework zum Bereitstellen von LLMs auf jeder Cloud – AWS, GCP, Azure, Lambda Labs und andere. Es wählt automatisch die günstigste GPU aus und übernimmt die Bereitstellung, sodass Sie nicht manuell Spot-Preise bei drei Anbietern vergleichen müssen, bevor Sie jeden Start durchführen. Mistral stellt bereitgestellte YAML-Dateien zur Verfügung, deren Struktur die Maschine, die Einrichtung und den Befehl zum Bereitstellen beschreibt:

# mistral-7b.yaml
resources:
  accelerators: A10G:1
  cloud: aws

setup: |
  pip install vllm

run: |
  vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
      --tokenizer_mode mistral \
      --config_format mistral \
      --load_format mistral

Der gesamte Lebenszyklus eines Clusters reduziert sich dann auf vier Befehle:

# SkyPilot installieren
pip install "skypilot[aws,gcp,azure]"

# Cluster starten
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1

# Status prüfen
sky status

# Stoppen (um Geld zu sparen)
sky stop mistral-7b

# Löschen
sky down mistral-7b

Diese letzten beiden Befehle sind die, die Menschen vergessen. Ein A10G-Cluster, der über ein Wochenende laufen gelassen wird, kostet so viel wie ein Monat API-Nutzung für moderate Workloads, weshalb es wichtig ist, die Größenordnungen zu kennen:

ModellSkyPilot-KonfigurationGeschätzte Cloud-Kosten
Mistral 7BA10G:1~$1/h
Mixtral 8x7BA100-80GB:2~$6/h
Mixtral 8x22BA100-80GB:4~$12/h

Ein letzter Punkt verdient Ihre Aufmerksamkeit: SkyPilot erstellt VMs mit standardmäßig offenen Ports. In der Produktion sollten Sie den Netzwerkzugriff mit Security Groups oder Firewall-Regeln einschränken, einen Load Balancer mit Authentifizierung vor den Dienst stellen und Port 8000 niemals dem Internet aussetzen. Ein nicht authentifizierter vLLM-Server, der öffentlich erreichbar ist, ist eine GPU, für die Sie auf fremde Rechnung bezahlen.

Cerebrium: Serverlose GPU

Cerebrium verfolgt den gegenteiligen Ansatz zu SkyPilot: Statt Maschinen zu verwalten, beschreiben Sie einen Dienst und zahlen nur für die Rechenleistung, die Sie tatsächlich nutzen, mit automatischer Skalierung. Der Start erfolgt mit drei Befehlen:

pip install cerebrium
cerebrium login
cerebrium init mistral-vllm

Die gesamte Bereitstellung wird dann in einer cerebrium.toml-Datei beschrieben:

[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"

[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16

[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60

[cerebrium.dependencies.pip]
vllm = "latest"

Die Einstellung min_replicas = 0 ist der entscheidende Vorteil dieses Ansatzes: Wenn niemand den Dienst aufruft, kostet er nichts. Der Kompromiss ist, dass die erste Anfrage nach einer Inaktivitätsphase warten muss, bis eine Instanz gestartet ist. Der Befehl cerebrium deploy reicht aus, um die Veröffentlichung durchzuführen; die Plattform übernimmt die GPU-Bereitstellung, die automatische Skalierung von null auf N Replikate, das Lastverteilung und die Überwachung.

Umgang mit Produktionslast

Um die Durchsatzleistung zu erhöhen, suchen Sie nicht nach einer größeren GPU – multiplizieren Sie die Instanzen hinter einem Load Balancer, wobei jede Instanz das gleiche Modell auf ihrer eigenen Karte bereitstellt:

                    ┌─── vLLM-Instanz 1 (GPU A)
Load Balancer ──────┼─── vLLM-Instanz 2 (GPU B)
                    └─── vLLM-Instanz 3 (GPU C)

Fünf Metriken reichen aus, um die gesamte Einrichtung zu verwalten: Tokens pro Sekunde misst den Generierungsdurchsatz; TTFB (Time To First Byte) gibt die Latenz vor dem ersten Token an, was der Benutzer wahrnimmt; die GPU-Auslastung sollte unter Last 80 % überschreiten, sonst zahlen Sie für inaktive Hardware; überwachen Sie den GPU-Speicher, um OOM-Fehler vorherzusehen; und die Warteschlangen Tiefe, die Anzahl der ausstehenden Anfragen, signalisiert Sättigung, bevor sich Benutzer beschweren. Auf einem einzelnen Rechner gibt bereits eine einfache kontinuierliche Aktualisierung die Grundlagen:

# GPU-Auslastung überwachen
watch -n 1 nvidia-smi

Kernaussagen

  • Budgetieren Sie ~2 GB VRAM pro Milliarden Parametern in FP16
  • FP8-Quantisierung halbiert den Speicherbedarf mit vernachlässigbarem Qualitätsverlust
  • SkyPilot vereinfacht die Multi-Cloud-Bereitstellung mit bereitgestellten YAML-Konfigurationen
  • Cerebrium bietet serverlose GPU mit automatischer Skalierung (Pay-per-Compute)
  • In der Produktion einen Load Balancer hinzufügen und GPU-Metriken kontinuierlich überwachen