Mistral auf Google Vertex AI — Mistral API: Schnellstart

Aktualisiert am 2. November 2026 — Google Cloud. Google gruppiert seine KI-Angebote nun unter Gemini Enterprise Agent Platform („Agent Platform”); der Model Garden bleibt darin verfügbar. Die verfügbaren Mistral-Modelle sind Mistral Medium 3 (mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) und Mistral Small 3.1 (mistral-small-2503). Mit Mistral SDK v2 und höher importieren Sie den Client über from mistralai.gcp.client import MistralGCP und installieren ihn mit pip install "mistralai[gcp]". Quellen: Mistral AI-Modelle (Google Cloud) · Vertex AI (Mistral).

Warum Vertex AI?

Google Cloud Vertex AI ist die MLOps-Plattform von Google und beherbergt Partnermodelle, einschließlich solcher von Mistral. Die Logik entspricht hier Azure: Wenn Ihre Infrastruktur bereits auf Google Cloud basiert – BigQuery für Daten, Cloud Run oder GKE für die Ausführung – verhindert die Nutzung von Vertex die Einführung eines weiteren Anbieters in Ihre Kette.

Das entscheidende Argument ist hier die Authentifizierung. Sie müssen einen Mistral-API-Schlüssel nicht mehr verteilen, rotieren oder überwachen: Ihre Dienste authentifizieren sich mit ihrem Google Service Account, genau wie sie es bereits tun, um auf einen Bucket oder eine BigQuery-Tabelle zuzugreifen. Dies fügt zudem eine zentrale Abrechnung auf Ihrem Cloud Billing-Konto hinzu und bietet Zugang zu den MLOps-Tools von Google.

Auf Vertex AI verfügbare Modelle

Ab April 2026 bietet Vertex AI Zugriff auf folgende Modelle:

Modell	Positionierung
Mistral Medium	Hochleistungsmodell für allgemeine Zwecke
Mistral Small	Schnell und kosteneffizient
Codestral	Spezialisiert für Code, mit Unterstützung für FIM (Fill-in-the-Middle)
Mistral OCR	Extraktion von Dokumenteninhalten

Vorbereitung Ihrer Google Cloud-Umgebung

Die Konfiguration erfolgt einmalig und bestimmt alle weiteren Schritte:

Ein Google Cloud-Projekt mit aktivierter Vertex AI API
Die folgenden IAM-Rollen für Ihr Konto zugewiesen:
- Vertex AI User — um Modelle aufzurufen
- Consumer Procurement Entitlement Manager — um Partnermodelle zu aktivieren
Die gcloud CLI installiert und konfiguriert

Die zweite Rolle überrascht Menschen oft: Sie hat nichts mit Inferenz zu tun; sie autorisiert die Aktivierung von Partnermodellen im Katalog. Ohne sie sehen Sie Mistral-Modelle zwar in der Oberfläche, können sie aber niemals aktivieren, und die zurückgegebene Fehlermeldung weist diesen Mangel an Berechtigungen nicht klar auf.

# gcloud installieren (falls noch nicht geschehen)
# Siehe https://cloud.google.com/sdk/docs/install

# Authentifizieren
gcloud auth application-default login

# Standardprojekt festlegen
gcloud config set project your-project-id

Ein Schritt wird regelmäßig vergessen: Gehen Sie zur Vertex AI-Konsole, finden Sie das gewünschte Mistral-Modell im Model Garden und klicken Sie auf Aktivieren. Diese Aktivierung ist pro Modell und pro Projekt nur einmal erforderlich. Ein Aufruf eines nicht aktivierten Modells schlägt fehl, auch wenn Ihre IAM-Rollen korrekt sind – dies ist die erste Sache zu prüfen, wenn Sie auf eine unerklärliche Autorisierungsfehler stoßen.

Ein erster Aufruf ohne API-Schlüssel

Beachten Sie zunächst, was im folgenden Code fehlt: kein API-Schlüssel, kein zu ladendes Geheimnis. Mistral SDK V2 bietet einen dedizierten Client für Google Cloud, MistralGCP, der auf google.auth.default() basiert: Er nimmt die Credentials auf, die gcloud auth application-default login lokal abgelegt hat, oder den Service Account, der der Maschine in der Produktion angehängt ist.

from mistralai.gcp.client import MistralGCP

# Authentifizierung nutzt google.auth.default()
# Stellen Sie sicher, dass Sie ausgeführt haben: gcloud auth application-default login
client = MistralGCP()

response = client.chat.complete(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "Erklären Sie die Architektur von BigQuery."}
    ]
)

print(response.choices[0].message.content)

Standardmäßig verwendet der Client die Region europe-west4 in den Niederlanden. Um dies zu ändern, geben Sie sie einfach an den Konstruktor weiter – unter Berücksichtigung, dass verfügbare Regionen vom Modell abhängen und die Vertex AI-Dokumentation in dieser Hinsicht maßgeblich ist.

client = MistralGCP(region="us-central1")

Streaming folgt demselben Mechanismus wie bei der direkten API: Iterieren Sie über den Stream, greifen Sie über chunk.data auf den Inhalt zu und testen Sie vor dem Ausdrucken, da einige Fragmente leer ankommen können.

stream = client.chat.stream(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "Listen Sie die serverlosen Dienste von Google Cloud auf."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Der Sonderfall FIM mit Codestral

Codestral auf Vertex AI unterstützt Fill-in-the-Middle (FIM), eine Funktion, die Ihre Herangehensweise an die Code-Ergänzung verändert. Anstatt zu fragen „schreiben Sie mir eine Funktion”, stellen Sie den Anfang und das Ende bereit, und das Modell erzeugt das, was zwischen den beiden fehlt. Die Methode ändert sich ebenfalls: Es ist nicht mehr chat.complete(), sondern fim.complete(), mit einem prompt für den oberen Teil und einem suffix für den unteren Teil.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.fim.complete(
    model="codestral-2",
    prompt="def calculate_average(grades: list[float]) -> float:",
    suffix="    return average"
)

print(response.choices[0].message.content)

In diesem Beispiel generiert das Modell den Funktionskörper zwischen der Signatur und dem return. Es weiß, dass eine Variable average am Ende existieren muss, da sie im Suffix erscheint: Die Einschränkung führt es viel besser als eine natürliche Sprachanweisung. Genau das passiert, wenn eine IDE eine Funktion in der Mitte einer Datei ergänzt, wodurch FIM besonders effektiv für Ergänzungen in einem Editor ist, fehlende Code-Blöcke ausfüllt und Code generiert, der in eine bestehende Struktur passt.

Der Vertex-Client in TypeScript

In JavaScript und TypeScript wird der Google Cloud-Client in einem separaten Paket veröffentlicht, @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp), und heißt seit SDK-Version 2.0 MistralGCP (früher MistralGoogleCloud). Die Region und die Projekt-ID werden bei der Konstruktion deklariert, und auch hier erscheint kein Schlüssel im Code.

import { MistralGCP } from '@mistralai/mistralai-gcp';

const client = new MistralGCP({
  region: 'europe-west4',
  projectId: process.env.GOOGLE_PROJECT_ID,
});

const response = await client.chat.complete({
  model: 'mistral-small-2503',
  messages: [
    { role: 'user', content: 'Wie optimiert man eine BigQuery-Abfrage?' },
  ],
});

console.log(response.choices?.[0]?.message?.content);

Quellen: TypeScript SDK @mistralai/mistralai-gcp · TypeScript SDK Release Notes 2.0.0

Sicher in die Produktion gehen

Die Benutzerauthentifizierung über gcloud auth application-default login ist für die Entwicklung perfekt, aber sie bindet Ihre Aufrufe an eine Person: Verlässt diese Person das Team, bricht der Dienst. In der Produktion verwenden Sie Service Accounts, deren Rechte explizit und überprüfbar sind. Halten Sie europe-west4 als Standardregion, wenn die europäische Compliance Teil Ihrer Anforderungen ist. Aktivieren Sie Cloud Logging, um Ihre Aufrufe zu verfolgen und Fehler zu diagnostizieren, und konfigurieren Sie Cloud Billing-Budgets: Auf einer Plattform, auf der Inferenz nach Nutzung abgerechnet wird, ist eine Budgetwarnung Ihre einzige Absicherung gegen einen ausufernden Loop.

Kernaussagen

Der MistralGCP-Client nutzt die native Google Cloud-Authentifizierung (gcloud auth)
Die Standardregion ist europe-west4 — änderbar bei der Initialisierung
Codestral auf Vertex unterstützt FIM (Fill-in-the-Middle) für Code-Ergänzung
Ein Mistral-API-Schlüssel ist nicht erforderlich: Die Authentifizierung erfolgt über Google Cloud IAM
Aktivieren Sie jedes Modell im Model Garden, bevor Sie es verwenden