Google Vertex AI
På denne side
Opdateret 2. november 2026 — Google Cloud. Google samler nu sine AI-tilbud under Gemini Enterprise Agent Platform („Agent Platform”); Model Garden forbliver en del af dette økosystem. Tilgængelige Mistral-modeller inkluderer Mistral Medium 3 (
mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) og Mistral Small 3.1 (mistral-small-2503). Med Mistral SDK v2 og nyere importerer du klienten viafrom mistralai.gcp.client import MistralGCPog installerer den medpip install "mistralai[gcp]". Kilder: Mistral AI-modeller (Google Cloud) · Vertex AI (Mistral).
Mistral på Google Cloud
Google Cloud Vertex AI integrerer Mistral-modeller i sin samlede ML-platform. Adgang kræver en dedikeret klient, MistralGCP. Den væsentligste forskel ligger i autentificeringen: Du behøver ikke administrere en Mistral API-nøgle, da klienten bruger de Google Cloud-legitimationsoplysninger, der allerede er konfigureret på din maskine eller tjeneste. Denne lektion dækker konfiguration, Python-kode og den funktion, som Vertex AI fremhæver mest: Fill-in-the-Middle (FIM) med Codestral.
Modeller tilgængelige på Vertex AI
Vertex AI giver adgang til flere modeller; da kataloget udvikler sig løbende, bør du tjekke den officielle side for den aktuelle liste. Mistral Medium 3 (mistral-medium-3) fungerer som den højtydende generalistmodel og er dit standardvalg til tekstgenerering eller analyse. Codestral 2 (25.08) (codestral-2) specialiserer sig i kode og understøtter FIM, hvilket uddybes senere i denne lektion. Mistral OCR (25.05) (mistral-ocr-2505) håndterer optisk tegngenkendelse, typisk for at udtrække tekst fra batch af scannede fakturaer, før dataene sendes videre til en anden model. Endelig er Mistral Small 3.1 (25.03) (mistral-small-2503) letvægtig og hurtig, hvilket gør den ideel til behandling af store volumener, hvor lav latency vejer tungere end nuancer i svaret.
Forudsætninger
Opsæt din Google Cloud-konfiguration, før du skriver en eneste linje Python. Du har brug for et Google Cloud-projekt med Vertex AI API aktiveret, gcloud CLI installeret og konfigureret, samt to IAM-roller tildelt din tjenestekonto:
Vertex AI User— til at kalde modellerConsumer Procurement Entitlement Manager— til at aktivere Mistral-modeller
Den anden rolle er den, der mangler ni ud af ti gange: Uden den mislykkes modelaktiveringen, selvom dine kald ser korrekt autentificerede ud.
# Installer gcloud CLI
curl https://sdk.cloud.google.com | bash
# Log ind
gcloud auth application-default login
# Konfigurer projektet
gcloud config set project mon-projet-gcp
Ét trin tilbage, som du ikke kan udføre via kommandolinjen: Du skal aktivere Mistral-modeller i Vertex AI Model Garden, før du kan bruge dem. Gå til Vertex AI-portalen, åbn Model Garden, søg efter Mistral, og aktiver de ønskede modeller.
MistralGCP-klienten
Installation kræver gcp-ekstrapakken, som inkluderer afhængigheder til Google-autentificering.
pip install mistralai[gcp]
Initialisering kræver ingen argumenter i standardtilfældet:
from mistralai.gcp.client import MistralGCP
# Automatisk autentificering via google.auth.default()
client = MistralGCP()
Klienten bruger Google Cloud Application Default Credentials (ADC). Hvis du har kørt gcloud auth application-default login, eller hvis din kode kører på en maskine med en tjenestekonto, er yderligere konfiguration ikke nødvendig. Som standard er den valgte region europe-west4; du kan gennemtvinge en anden. Vælg baseret på dine brugeres placering, da hver millisekunds netværksrejse lægger til genereringstiden.
client = MistralGCP(region="us-central1")
Chat Completions
Selve kaldet byder ikke på overraskelser: I modsætning til Azure bruger parameteren model her modellens faktiske navn.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.chat.complete(
model="mistral-medium-3",
messages=[
{"role": "system", "content": "You are a cloud architecture expert."},
{"role": "user", "content": "What are the advantages of Vertex AI compared to a self-hosted deployment?"}
],
temperature=0.3,
max_tokens=500
)
print(response.choices[0].message.content)
FIM med Codestral
Fill-in-the-Middle er en funktion, der er unik for Codestral. I stedet for at fortsætte tekst udfylder modellen et hul mellem en begyndelse (sendt i prompt) og en slutning (sendt i suffix). Denne forskel er afgørende for autoudfyldning i IDE’er, hvor markøren næsten altid sidder midt i en fil: Modellen ser, hvad der følger, og kan derfor skrive en funktionskrop, der er konsistent med den kommende return-sætning, eller udfylde en manglende blok i eksisterende kode.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.fim.complete(
model="codestral-2",
prompt="def count_words(file_path: str) -> int:",
suffix="return n_words"
)
print(response.choices[0].message.content)
# Genererer funktionskroppen mellem prompt og suffix
Eksemplet giver endnu mere mening med en rigtig klasse. Her modtager modellen hele headeren, allerede-definerede attributter og den efterfølgende disconnect()-metode; den skal producere kroppen af connect() konsistent med dette miljø.
response = client.fim.complete(
model="codestral-2",
prompt="""class DatabaseConnection:
def __init__(self, host: str, port: int, database: str):
self.host = host
self.port = port
self.database = database
self.connection = None
def connect(self):""",
suffix="""
def disconnect(self):
if self.connection:
self.connection.close()
self.connection = None
"""
)
print(response.choices[0].message.content)
Den genererede kode vil genbruge self.host, self.port og self.database og tildele self.connection — noget standard autoudfyldning, der er blind for resten af filen, ikke ville have nogen grund til at gøre.
Streaming på Vertex AI
Streaming fungerer som andre steder ved at iterere over de returnerede chunks.
stream = client.chat.stream(
model="mistral-medium-3",
messages=[
{"role": "user", "content": "Generate a Terraform script for a GKE cluster."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
Forskelle fra den direkte Mistral API
| Aspekt | Mistral API | Vertex AI |
|---|---|---|
| Klient | Mistral() | MistralGCP() |
| Auth | API-nøgle | Google ADC |
| Region | Automatisk | Konfigurerbar |
| FIM | Ja | Ja (Codestral) |
| Fakturering | Mistral | Google Cloud |
Vigtige pointer
- Klienten
MistralGCPbruger native Google Cloud-autentificering (ingen Mistral API-nøgle) - Standardregionen er
europe-west4— tilpas den til dit brugstilfælde - Codestral på Vertex AI understøtter FIM til kode-autoudfyldning
- Aktivér modeller i Model Garden, før du bruger dem
- Vertex-identifikatorer er versionsbestemte (
codestral-2,mistral-medium-3) og udvikler sig med hver generation: Verificér den nøjagtige værdi i Model Garden, før du kobler en deployment op - Fakturering løber gennem din Google Cloud-konto, ikke Mistral