Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Google Vertex AI

Lektion 7 von 14 Aktualisiert am 2. November 2026 Fortgeschritten
Auf dieser Seite
  1. Mistral auf Google Cloud
  2. Auf Vertex AI verfügbare Modelle
  3. Voraussetzungen
  4. Der MistralGCP-Client
  5. Chat-Vollständigungen
  6. FIM mit Codestral
  7. Streaming auf Vertex AI
  8. Unterschiede zur direkten Mistral-API
  9. Kernaussagen

Aktualisiert am 2. November 2026 — Google Cloud. Google gruppiert seine KI-Angebote nun unter der Gemini Enterprise Agent Platform („Agent Platform”); der Model Garden bleibt Teil dieses Ökosystems. Verfügbare Mistral-Modelle sind Mistral Medium 3 (mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) und Mistral Small 3.1 (mistral-small-2503). Mit Mistral SDK v2 und höher importieren Sie den Client über from mistralai.gcp.client import MistralGCP und installieren ihn mit pip install "mistralai[gcp]". Quellen: Mistral AI-Modelle (Google Cloud) · Vertex AI (Mistral).

Mistral auf Google Cloud

Google Cloud Vertex AI integriert Mistral-Modelle in seine einheitliche ML-Plattform. Der Zugriff erfordert einen dedizierten Client, MistralGCP. Sein entscheidender Unterschied liegt in der Authentifizierung: Sie verwalten keinen Mistral-API-Schlüssel, da der Client auf die Google Cloud-Zertifikate zurückgreift, die bereits auf Ihrer Maschine oder Ihrem Dienst konfiguriert sind. Diese Lektion behandelt die Konfiguration, Python-Code und die Funktion, die Vertex AI am meisten hervorhebt: Fill-in-the-Middle (FIM) mit Codestral.

Auf Vertex AI verfügbare Modelle

Vertex AI bietet den Zugriff auf mehrere Modelle; da sich das Katalog regelmäßig ändert, überprüfen Sie die offizielle Seite für die aktuelle Liste. Mistral Medium 3 (mistral-medium-3) dient als leistungsstarkes Generalistenmodell und ist Ihre Standardwahl für Textgenerierung oder -analyse. Codestral 2 (25.08) (codestral-2) spezialisiert sich auf Code und unterstützt FIM, was später in dieser Lektion detailliert beschrieben wird. Mistral OCR (25.05) (mistral-ocr-2505) übernimmt die optische Zeichenerkennung, typischerweise zum Extrahieren von Text aus Chargen gescannter Rechnungen, bevor dieser an ein anderes Modell weitergegeben wird. Schließlich ist Mistral Small 3.1 (25.03) (mistral-small-2503) leichtgewichtig und schnell, was ihn ideal für Hochvolumenverarbeitung macht, bei der Latenz wichtiger ist als Antwortnuancen.

Voraussetzungen

Richten Sie Ihre Google Cloud-Konfiguration ein, bevor Sie eine einzige Zeile Python schreiben. Sie benötigen ein Google Cloud-Projekt mit aktivierter Vertex AI API, die gcloud-CLI installiert und konfiguriert sowie zwei IAM-Rollen, die Ihrem Dienstkonten zugewiesen sind:

  • Vertex AI User — um Modelle aufzurufen
  • Consumer Procurement Entitlement Manager — um Mistral-Modelle zu aktivieren

Die zweite Rolle ist diejenige, die in neun von zehn Fällen fehlt: Ohne sie scheitert die Modellaktivierung, obwohl Ihre Aufrufe scheinbar korrekt authentifiziert sind.

# gcloud CLI installieren
curl https://sdk.cloud.google.com | bash

# Einloggen
gcloud auth application-default login

# Projekt konfigurieren
gcloud config set project mon-projet-gcp

Ein Schritt bleibt, den Sie nicht über die Befehlszeile ausführen können: Sie müssen Mistral-Modelle im Vertex AI Model Garden aktivieren, bevor Sie sie verwenden. Gehen Sie zum Vertex AI-Portal, öffnen Sie Model Garden, suchen Sie nach Mistral und aktivieren Sie die gewünschten Modelle.

Der MistralGCP-Client

Die Installation erfordert das gcp-Extra, das Abhängigkeiten für die Google-Authentifizierung enthält.

pip install mistralai[gcp]

Die Initialisierung benötigt im Standardfall keine Argumente:

from mistralai.gcp.client import MistralGCP

# Automatische Authentifizierung über google.auth.default()
client = MistralGCP()

Der Client verwendet Google Cloud Application Default Credentials (ADC). Wenn Sie gcloud auth application-default login ausgeführt haben oder Ihr Code auf einer Maschine mit einem Dienstkonto läuft, ist keine weitere Konfiguration erforderlich. Standardmäßig ist die ausgewählte Region europe-west4; Sie können eine andere erzwingen. Wählen Sie basierend auf der Lage Ihrer Benutzer, da jede Millisekunde Netzwerkreise die Generierungszeit erhöht.

client = MistralGCP(region="us-central1")

Chat-Vollständigungen

Der Aufruf selbst birgt keine Überraschungen: Im Gegensatz zu Azure verwendet der model-Parameter hier den tatsächlichen Modellnamen.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.chat.complete(
    model="mistral-medium-3",
    messages=[
        {"role": "system", "content": "Sie sind ein Experte für Cloud-Architektur."},
        {"role": "user", "content": "Was sind die Vorteile von Vertex AI im Vergleich zu einer selbst gehosteten Bereitstellung?"}
    ],
    temperature=0.3,
    max_tokens=500
)

print(response.choices[0].message.content)

FIM mit Codestral

Fill-in-the-Middle ist eine Fähigkeit, die einzigartig für Codestral ist. Anstatt Text fortzusetzen, füllt das Modell eine Lücke zwischen einem Anfang (übergeben in prompt) und einem Ende (übergeben in suffix). Dieser Unterschied ist entscheidend für IDE-Autovervollständigung, bei der sich der Cursor fast immer in der Mitte einer Datei befindet: Das Modell sieht, was folgt, und kann daher einen Funktionskörper schreiben, der mit der kommenden return-Anweisung konsistent ist, oder einen fehlenden Block in bestehendem Code vervollständigen.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.fim.complete(
    model="codestral-2",
    prompt="def count_words(file_path: str) -> int:",
    suffix="return n_words"
)

print(response.choices[0].message.content)
# Generiert den Funktionskörper zwischen Prompt und Suffix

Das Beispiel macht noch mehr Sinn mit einer echten Klasse. Hier erhält das Modell den vollständigen Header, bereits definierte Attribute und die folgende disconnect()-Methode; es muss den Körper von connect() produzieren, der mit dieser Umgebung konsistent ist.

response = client.fim.complete(
    model="codestral-2",
    prompt="""class DatabaseConnection:
    def __init__(self, host: str, port: int, database: str):
        self.host = host
        self.port = port
        self.database = database
        self.connection = None

    def connect(self):""",
    suffix="""
    def disconnect(self):
        if self.connection:
            self.connection.close()
            self.connection = None
"""
)
print(response.choices[0].message.content)

Der generierte Code wird self.host, self.port und self.database wiederverwenden und self.connection zuweisen – etwas, das eine standardmäßige Vervollständigung, die den Rest der Datei blind ist, keinen Grund hätte zu tun.

Streaming auf Vertex AI

Streaming funktioniert wie überall sonst, indem über zurückgegebene Chunks iteriert wird.

stream = client.chat.stream(
    model="mistral-medium-3",
    messages=[
        {"role": "user", "content": "Generieren Sie ein Terraform-Skript für einen GKE-Cluster."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Unterschiede zur direkten Mistral-API

AspektMistral-APIVertex AI
ClientMistral()MistralGCP()
AuthentifizierungAPI-SchlüsselGoogle ADC
RegionAutomatischKonfigurierbar
FIMJaJa (Codestral)
AbrechnungMistralGoogle Cloud

Kernaussagen

  • Der MistralGCP-Client verwendet die native Google Cloud-Authentifizierung (kein Mistral-API-Schlüssel)
  • Die Standardregion ist europe-west4 — passen Sie sie an Ihren Anwendungsfall an
  • Codestral auf Vertex AI unterstützt FIM für Code-Autovervollständigung
  • Aktivieren Sie Modelle im Model Garden, bevor Sie sie verwenden
  • Vertex-Identifikatoren sind versioniert (codestral-2, mistral-medium-3) und entwickeln sich mit jeder Generation weiter: Verifizieren Sie den genauen Wert im Model Garden, bevor Sie eine Bereitstellung einrichten
  • Die Abrechnung läuft über Ihr Google Cloud-Konto, nicht über Mistral