Google Vertex AI
Op deze pagina
Bijgewerkt op 2 november 2026 — Google Cloud. Google bundelt zijn AI-aanbod nu onder het Gemini Enterprise Agent Platform (“Agent Platform”); de Model Garden blijft onderdeel van dit ecosysteem. Beschikbare Mistral-modellen zijn Mistral Medium 3 (
mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) en Mistral Small 3.1 (mistral-small-2503). Met Mistral SDK v2 en hoger importeert u de client viafrom mistralai.gcp.client import MistralGCPen installeert u deze metpip install "mistralai[gcp]". Bronnen: Mistral AI-modellen (Google Cloud) · Vertex AI (Mistral).
Mistral op Google Cloud
Google Cloud Vertex AI integreert Mistral-modellen in zijn uniforme ML-platform. Toegang vereist een specifieke client, MistralGCP. Het belangrijkste onderscheid ligt in de authenticatie: u beheert geen Mistral API-sleutel, omdat de client vertrouwt op de Google Cloud-referenties die al op uw machine of service zijn geconfigureerd. Deze les behandelt de configuratie, Python-code en de functie die Vertex AI het meest benadrukt: Fill-in-the-Middle (FIM) met Codestral.
Beschikbare modellen op Vertex AI
Vertex AI biedt toegang tot verschillende modellen; aangezien de catalogus regelmatig evolueert, raadpleegt u de officiële pagina voor de huidige lijst. Mistral Medium 3 (mistral-medium-3) fungeert als het hoogwaardige algemene model, uw standaardkeuze voor tekstgeneratie of -analyse. Codestral 2 (25.08) (codestral-2) is gespecialiseerd in code en ondersteunt FIM, wat later in deze les aan bod komt. Mistral OCR (25.05) (mistral-ocr-2505) verzorgt optische tekenherkenning, doorgaans om tekst uit batches gescande facturen te extraheren voordat deze naar een ander model wordt gestuurd. Tot slot is Mistral Small 3.1 (25.03) (mistral-small-2503) lichtgewicht en snel, waardoor het ideaal is voor verwerking met hoge volumes waarbij latentie belangrijker is dan nuance in het antwoord.
Vereisten
Stel uw Google Cloud-configuratie in voordat u ook maar één regel Python schrijft. U heeft een Google Cloud-project nodig met de Vertex AI API ingeschakeld, de gcloud CLI geïnstalleerd en geconfigureerd, en twee IAM-rollen toegewezen aan uw serviceaccount:
Vertex AI User— om modellen aan te roepenConsumer Procurement Entitlement Manager— om Mistral-modellen in te schakelen
De tweede rol is degene die negen op de tien keer ontbreekt: zonder deze rol mislukt de modelactivatie, zelfs als uw aanroepen correct geverifieerd lijken.
# Installeer gcloud CLI
curl https://sdk.cloud.google.com | bash
# Log in
gcloud auth application-default login
# Configureer het project
gcloud config set project mon-projet-gcp
Er resteert één stap die u niet via de commandoregel kunt uitvoeren: u moet Mistral-modellen activeren in de Vertex AI Model Garden voordat u ze kunt gebruiken. Ga naar de Vertex AI-portal, open Model Garden, zoek naar Mistral en schakel de gewenste modellen in.
De MistralGCP-client
Installatie vereist de gcp-extra, die afhankelijkheden voor Google-authenticatie bevat.
pip install mistralai[gcp]
Initialisatie vereist in het standaardgeval geen argumenten:
from mistralai.gcp.client import MistralGCP
# Automatische authenticatie via google.auth.default()
client = MistralGCP()
De client maakt gebruik van Google Cloud Application Default Credentials (ADC). Als u gcloud auth application-default login heeft uitgevoerd, of als uw code draait op een machine met een serviceaccount, is geen verdere configuratie nodig. Standaard is de geselecteerde regio europe-west4; u kunt een andere afdwingen. Kies op basis van de locatie van uw gebruikers, aangezien elke milliseconde netwerkreistijd bijdraagt aan de generatietijd.
client = MistralGCP(region="us-central1")
Chat-completions
De aanroep zelf bevat geen verrassingen: in tegenstelling tot Azure gebruikt de parameter model hier de werkelijke naam van het model.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.chat.complete(
model="mistral-medium-3",
messages=[
{"role": "system", "content": "You are a cloud architecture expert."},
{"role": "user", "content": "What are the advantages of Vertex AI compared to a self-hosted deployment?"}
],
temperature=0.3,
max_tokens=500
)
print(response.choices[0].message.content)
FIM met Codestral
Fill-in-the-Middle is een mogelijkheid die uniek is voor Codestral. In plaats van tekst voort te zetten, vult het model een gat tussen een begin (doorgegeven in prompt) en een einde (doorgegeven in suffix). Dit verschil is doorslaggevend voor auto-aanvulling in IDE’s, waar de cursor bijna altijd ergens in het midden van een bestand staat: het model ziet wat er volgt en kan daarom een functieromp schrijven die consistent is met de aankomende return-instructie, of een ontbrekend blok in bestaande code aanvullen.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.fim.complete(
model="codestral-2",
prompt="def count_words(file_path: str) -> int:",
suffix="return n_words"
)
print(response.choices[0].message.content)
# Genereert de functieromp tussen de prompt en suffix
Het voorbeeld wordt nog zinvoller met een echte klasse. Hier ontvangt het model de volledige header, reeds gedefinieerde attributen en de volgende disconnect()-methode; het moet de romp van connect() produceren die consistent is met deze omgeving.
response = client.fim.complete(
model="codestral-2",
prompt="""class DatabaseConnection:
def __init__(self, host: str, port: int, database: str):
self.host = host
self.port = port
self.database = database
self.connection = None
def connect(self):""",
suffix="""
def disconnect(self):
if self.connection:
self.connection.close()
self.connection = None
"""
)
print(response.choices[0].message.content)
De gegenereerde code zal self.host, self.port en self.database hergebruiken en self.connection toewijzen—iets waar standaard aanvulling, die blind is voor de rest van het bestand, geen reden toe zou hebben.
Streaming op Vertex AI
Streaming werkt zoals elders, door te itereren over de geretourneerde chunks.
stream = client.chat.stream(
model="mistral-medium-3",
messages=[
{"role": "user", "content": "Generate a Terraform script for a GKE cluster."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
Verschillen met de directe Mistral API
| Aspect | Mistral API | Vertex AI |
|---|---|---|
| Client | Mistral() | MistralGCP() |
| Auth | API-sleutel | Google ADC |
| Regio | Automatisch | Configureerbaar |
| FIM | Ja | Ja (Codestral) |
| Facturering | Mistral | Google Cloud |
Belangrijkste punten
- De
MistralGCP-client gebruikt native Google Cloud-authenticatie (geen Mistral API-sleutel) - De standaardregio is
europe-west4—pas deze aan uw use case aan - Codestral op Vertex AI ondersteunt FIM voor code-auto-aanvulling
- Schakel modellen in de Model Garden in voordat u ze gebruikt
- Vertex-identificatoren zijn geversioneerd (
codestral-2,mistral-medium-3) en evolueren met elke generatie: verifieer de exacte waarde in de Model Garden voordat u een implementatie configureert - Facturering verloopt via uw Google Cloud-account, niet via Mistral