Google Vertex AI
Auf dieser Seite
Aktualisiert am 2. November 2026 — Google Cloud. Google gruppiert seine KI-Angebote nun unter der Gemini Enterprise Agent Platform („Agent Platform”); der Model Garden bleibt Teil dieses Ökosystems. Verfügbare Mistral-Modelle sind Mistral Medium 3 (
mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) und Mistral Small 3.1 (mistral-small-2503). Mit Mistral SDK v2 und höher importieren Sie den Client überfrom mistralai.gcp.client import MistralGCPund installieren ihn mitpip install "mistralai[gcp]". Quellen: Mistral AI-Modelle (Google Cloud) · Vertex AI (Mistral).
Mistral auf Google Cloud
Google Cloud Vertex AI integriert Mistral-Modelle in seine einheitliche ML-Plattform. Der Zugriff erfordert einen dedizierten Client, MistralGCP. Sein entscheidender Unterschied liegt in der Authentifizierung: Sie verwalten keinen Mistral-API-Schlüssel, da der Client auf die Google Cloud-Zertifikate zurückgreift, die bereits auf Ihrer Maschine oder Ihrem Dienst konfiguriert sind. Diese Lektion behandelt die Konfiguration, Python-Code und die Funktion, die Vertex AI am meisten hervorhebt: Fill-in-the-Middle (FIM) mit Codestral.
Auf Vertex AI verfügbare Modelle
Vertex AI bietet den Zugriff auf mehrere Modelle; da sich das Katalog regelmäßig ändert, überprüfen Sie die offizielle Seite für die aktuelle Liste. Mistral Medium 3 (mistral-medium-3) dient als leistungsstarkes Generalistenmodell und ist Ihre Standardwahl für Textgenerierung oder -analyse. Codestral 2 (25.08) (codestral-2) spezialisiert sich auf Code und unterstützt FIM, was später in dieser Lektion detailliert beschrieben wird. Mistral OCR (25.05) (mistral-ocr-2505) übernimmt die optische Zeichenerkennung, typischerweise zum Extrahieren von Text aus Chargen gescannter Rechnungen, bevor dieser an ein anderes Modell weitergegeben wird. Schließlich ist Mistral Small 3.1 (25.03) (mistral-small-2503) leichtgewichtig und schnell, was ihn ideal für Hochvolumenverarbeitung macht, bei der Latenz wichtiger ist als Antwortnuancen.
Voraussetzungen
Richten Sie Ihre Google Cloud-Konfiguration ein, bevor Sie eine einzige Zeile Python schreiben. Sie benötigen ein Google Cloud-Projekt mit aktivierter Vertex AI API, die gcloud-CLI installiert und konfiguriert sowie zwei IAM-Rollen, die Ihrem Dienstkonten zugewiesen sind:
Vertex AI User— um Modelle aufzurufenConsumer Procurement Entitlement Manager— um Mistral-Modelle zu aktivieren
Die zweite Rolle ist diejenige, die in neun von zehn Fällen fehlt: Ohne sie scheitert die Modellaktivierung, obwohl Ihre Aufrufe scheinbar korrekt authentifiziert sind.
# gcloud CLI installieren
curl https://sdk.cloud.google.com | bash
# Einloggen
gcloud auth application-default login
# Projekt konfigurieren
gcloud config set project mon-projet-gcp
Ein Schritt bleibt, den Sie nicht über die Befehlszeile ausführen können: Sie müssen Mistral-Modelle im Vertex AI Model Garden aktivieren, bevor Sie sie verwenden. Gehen Sie zum Vertex AI-Portal, öffnen Sie Model Garden, suchen Sie nach Mistral und aktivieren Sie die gewünschten Modelle.
Der MistralGCP-Client
Die Installation erfordert das gcp-Extra, das Abhängigkeiten für die Google-Authentifizierung enthält.
pip install mistralai[gcp]
Die Initialisierung benötigt im Standardfall keine Argumente:
from mistralai.gcp.client import MistralGCP
# Automatische Authentifizierung über google.auth.default()
client = MistralGCP()
Der Client verwendet Google Cloud Application Default Credentials (ADC). Wenn Sie gcloud auth application-default login ausgeführt haben oder Ihr Code auf einer Maschine mit einem Dienstkonto läuft, ist keine weitere Konfiguration erforderlich. Standardmäßig ist die ausgewählte Region europe-west4; Sie können eine andere erzwingen. Wählen Sie basierend auf der Lage Ihrer Benutzer, da jede Millisekunde Netzwerkreise die Generierungszeit erhöht.
client = MistralGCP(region="us-central1")
Chat-Vollständigungen
Der Aufruf selbst birgt keine Überraschungen: Im Gegensatz zu Azure verwendet der model-Parameter hier den tatsächlichen Modellnamen.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.chat.complete(
model="mistral-medium-3",
messages=[
{"role": "system", "content": "Sie sind ein Experte für Cloud-Architektur."},
{"role": "user", "content": "Was sind die Vorteile von Vertex AI im Vergleich zu einer selbst gehosteten Bereitstellung?"}
],
temperature=0.3,
max_tokens=500
)
print(response.choices[0].message.content)
FIM mit Codestral
Fill-in-the-Middle ist eine Fähigkeit, die einzigartig für Codestral ist. Anstatt Text fortzusetzen, füllt das Modell eine Lücke zwischen einem Anfang (übergeben in prompt) und einem Ende (übergeben in suffix). Dieser Unterschied ist entscheidend für IDE-Autovervollständigung, bei der sich der Cursor fast immer in der Mitte einer Datei befindet: Das Modell sieht, was folgt, und kann daher einen Funktionskörper schreiben, der mit der kommenden return-Anweisung konsistent ist, oder einen fehlenden Block in bestehendem Code vervollständigen.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.fim.complete(
model="codestral-2",
prompt="def count_words(file_path: str) -> int:",
suffix="return n_words"
)
print(response.choices[0].message.content)
# Generiert den Funktionskörper zwischen Prompt und Suffix
Das Beispiel macht noch mehr Sinn mit einer echten Klasse. Hier erhält das Modell den vollständigen Header, bereits definierte Attribute und die folgende disconnect()-Methode; es muss den Körper von connect() produzieren, der mit dieser Umgebung konsistent ist.
response = client.fim.complete(
model="codestral-2",
prompt="""class DatabaseConnection:
def __init__(self, host: str, port: int, database: str):
self.host = host
self.port = port
self.database = database
self.connection = None
def connect(self):""",
suffix="""
def disconnect(self):
if self.connection:
self.connection.close()
self.connection = None
"""
)
print(response.choices[0].message.content)
Der generierte Code wird self.host, self.port und self.database wiederverwenden und self.connection zuweisen – etwas, das eine standardmäßige Vervollständigung, die den Rest der Datei blind ist, keinen Grund hätte zu tun.
Streaming auf Vertex AI
Streaming funktioniert wie überall sonst, indem über zurückgegebene Chunks iteriert wird.
stream = client.chat.stream(
model="mistral-medium-3",
messages=[
{"role": "user", "content": "Generieren Sie ein Terraform-Skript für einen GKE-Cluster."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
Unterschiede zur direkten Mistral-API
| Aspekt | Mistral-API | Vertex AI |
|---|---|---|
| Client | Mistral() | MistralGCP() |
| Authentifizierung | API-Schlüssel | Google ADC |
| Region | Automatisch | Konfigurierbar |
| FIM | Ja | Ja (Codestral) |
| Abrechnung | Mistral | Google Cloud |
Kernaussagen
- Der
MistralGCP-Client verwendet die native Google Cloud-Authentifizierung (kein Mistral-API-Schlüssel) - Die Standardregion ist
europe-west4— passen Sie sie an Ihren Anwendungsfall an - Codestral auf Vertex AI unterstützt FIM für Code-Autovervollständigung
- Aktivieren Sie Modelle im Model Garden, bevor Sie sie verwenden
- Vertex-Identifikatoren sind versioniert (
codestral-2,mistral-medium-3) und entwickeln sich mit jeder Generation weiter: Verifizieren Sie den genauen Wert im Model Garden, bevor Sie eine Bereitstellung einrichten - Die Abrechnung läuft über Ihr Google Cloud-Konto, nicht über Mistral