Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Einführung in das Self-Hosting

Lektion 10 von 14 Aktualisiert am 29. Juli 2026 Fortgeschritten
Auf dieser Seite
  1. Warum ein Mistral-Modell selbst hosten
  2. Die Motivationen für das Self-Hosting
  3. Die Herausforderungen, Angesicht zu Angesicht
  4. Die Open-Weights-Modelle von Mistral
  5. Die drei Inferenz-Engines
  6. Entscheidung in vier Fragen
  7. Kernaussagen

Warum ein Mistral-Modell selbst hosten

Self-Hosting bedeutet den Einsatz von Mistral-Modellen auf Ihrer eigenen Infrastruktur, sei es ein Rechenzentrum vor Ort, eine private Cloud oder gemietete GPUs. Dieser Ansatz bietet Ihnen volle Kontrolle, führt jedoch zu erheblicher Komplexität. Bevor Sie sich mit den in den kommenden Lektionen behandelten Inferenz-Engines befassen, sollten Sie prüfen, ob dies für Ihren Anwendungsfall tatsächlich der richtige Weg ist. Dies ist eine architektonische Entscheidung, die nicht innerhalb weniger Stunden rückgängig gemacht werden kann.

Die Motivationen für das Self-Hosting

Der häufigste Grund ist die Datenhoheit: Ihre Anfragen verlassen Ihre Infrastruktur nicht und transitieren weder über die Server von Mistral noch über einen Drittanbieter-Cloud-Anbieter. Dies ist oft eine regulatorische Anforderung in der Verteidigungs- und Regierungsführung für vertrauliche Daten, im Gesundheitswesen für Patientendaten gemäß der HDS-Zertifizierung (französische Zertifizierung für die Hosting von Gesundheitsdaten) oder HIPAA, im Finanzsektor für Handelsdaten und Kundeninformationen sowie im Rechtsbereich für vertrauliche Akten. In diesen Szenarien stellt sich die Frage nicht, ob das Self-Hosting kosteneffizient ist, sondern ob die Alternative überhaupt erlaubt ist.

Als nächstes folgt die Kostenkontrolle im großen Maßstab. Bei geringen Volumina ist die Mistral-API günstiger: Sie zahlen nur für das, was Sie verbrauchen, ohne dass Maschinen ungenutzt laufen. Ab einem bestimmten Schwellenwert für Anfragen sinkt die Kosten pro Token für dedizierte Infrastruktur unter die Pay-as-you-go-Preise, da die GPU bereits läuft und jedes zusätzliche Token fast nichts kostet. Der Break-Even-Punkt hängt von Ihrem monatlichen Token-Volumen, dem verwendeten Modell (Small oder Large), Ihren GPU-Kosten (ob gemietet oder im Besitz) und den Betriebskosten, einschließlich DevOps-Personal und Strom, ab.

Der dritte Grund ist die vollständige Anpassbarkeit. Das Self-Hosting gibt Ihnen Zugriff auf die rohen Modellgewichte, ermöglicht Quantisierung auf FP8 oder INT4 zur Reduzierung des GPU-Speicherverbrauchs, die Optimierung der Batch-Größe und des Scheduling, den Einsatz von feinabgestimmten Modellen, die über die API nicht verfügbar sind, und eine präzise Konfiguration der Inferenzparameter. Schließlich gibt es die Latenz: Das Netzwerk ist auf Ihre interne Infrastruktur beschränkt. Für einen Chatbot, der eine Time-to-First-Byte (TTFB) von weniger als 100 ms anstrebt, verbraucht das Überqueren des Internets zu einer entfernten API bereits einen signifikanten Teil Ihres Budgets; eine lokale Bereitstellung liefert eine Leistung, die sonst unerreichbar ist.

Die Herausforderungen, Angesicht zu Angesicht

Operative Komplexität ist die erste Hürde. Sie werden für die Installation und Aktualisierung des Inferenz-Engines, das Management von GPUs (NVIDIA-Treiber, CUDA, Speicher), das Monitoring und Alerting, die Sicherstellung der Hochverfügbarkeit und Failover sowie die Handhabung von Netzwerksicherheit und Zertifikaten verantwortlich. Jeder dieser Bereiche ist für sich genommen eine Spezialität; die Kombination dieser Bereiche innerhalb eines Teams aus drei Backend-Entwicklern führt selten zu einem zuverlässigen Service.

Die Anfangskosten sind nicht nur ein monatlicher Posten; es handelt sich um eine Investition zur Amortisation, und die Berechnung muss umfassend sein:

GPU-Infrastruktur (Miete oder Kauf)
+ Speicher (Modelle wiegen 15–140 GB)
+ Netzwerkbandbreite
+ Ingenieurszeit für Einrichtung und Wartung
= Gesamtbetriebskosten (TCO)

Erforderliche Kompetenzen stellen die dritte Barriere dar, die oft am schwierigsten schnell zu besetzen ist: Linux- und Docker-Administration, NVIDIA-Treiber und CUDA, Inferenz-Engines (vLLM, TensorRT-LLM, TGI) sowie Monitoring und Observability. Wenn keine dieser Domänen bereits intern abgedeckt ist, wird das Self-Hosting mit einem Recruiting-Prozess beginnen.

Die Open-Weights-Modelle von Mistral

Die meisten Mistral-Modelle stehen als Open-Weights unter der Apache 2.0-Lizenz zur Verfügung. Mistral 7B ist das Grundmodell mit 7 Milliarden Parametern; Mixtral 8x7B nutzt eine Mixture-of-Experts-Architektur mit insgesamt 46,7 Milliarden Parametern; Mistral Nemo ist ein vielseitiges 12B-Modell; und Codestral spezialisiert sich auf Code. Sie können die Gewichte mit einem Konto und einem Token über Hugging Face abrufen:

# Modell über Hugging Face CLI herunterladen
pip install huggingface_hub
huggingface-cli login  # Erfordert ein HF-Token

# Das Downloaden erfolgt automatisch beim ersten Start des Engines

Die drei Inferenz-Engines

Mistral empfiehlt drei Engines für das Self-Hosting. vLLM ist die Standardwahl: eine hochaktive Open-Source-Python-Engine, die standardmäßig eine OpenAI-kompatible API bereitstellt, PagedAttention für ein optimales Speichermanagement verwendet und Mistral-Modelle nativ unterstützt. TensorRT-LLM, das Optimierungsframework von NVIDIA, zielt auf maximale Leistung auf NVIDIA-GPUs ab, zum Preis einer komplexeren Konfiguration; es ist für sehr hohe Durchsatz-Produktionen konzipiert. TGI (Text Generation Inference), das Toolkit von Hugging Face, bringt integrierte Quantisierung, Tensor-Parallelität, Streaming und natives Batching mit. Die kommenden Lektionen werden jede dieser Engines im Detail erläutern.

Entscheidung in vier Fragen

Beantworten Sie diese Fragen in der angegebenen Reihenfolge, da die erste Antwort mit „Ja” oft den Streit beendet. Sind Ihre Daten strengen regulatorischen Einschränkungen unterworfen? Wenn ja, wird das Self-Hosting wahrscheinlich unabhängig von anderen Faktoren. Wenn nicht, schauen Sie auf das Volumen: Ab 100 Millionen Token pro Monat kippt die wirtschaftliche Gleichung zugunsten dedizierter Infrastruktur; darunter bleibt die API wahrscheinlich günstiger. Haben Sie ein kompetentes DevOps- oder MLOps-Team? Ohne eines bleiben Sie bei der API oder einer verwalteten Cloud. Schließlich benötigen Sie Latenzen unter 100 ms? Dies ist das einzige Argument, das eine entfernte API nicht bieten kann.

Ein KMU, das 5 Millionen Token pro Monat für einen internen Assistenten verarbeitet, antwortet viermal mit „Nein”: Es würde nur einige hundert Euro an API-Gebühren sparen, um mehrere tausend Euro für GPUs und Ingenieurszeit auszugeben. Ein Krankenhaus, das medizinische Berichte analysiert, bleibt jedoch bei der ersten Frage stehen.

Kernaussagen

  • Self-Hosting bietet Hoheit, Kostenkontrolle und vollständige Anpassbarkeit
  • Operative Komplexität und Anfangskosten sind die Hauptbarrieren
  • Mistral Open-Weights-Modelle sind kostenlos auf Hugging Face verfügbar
  • Drei empfohlene Engines: vLLM (empfohlen), TensorRT-LLM (Leistung), TGI (Hugging Face)
  • Self-Hosting ist nicht immer die richtige Antwort – bewerten Sie Ihre tatsächlichen Einschränkungen, bevor Sie beginnen