Google Vertex AI
På denna sida
Uppdaterat 2 november 2026 — Google Cloud. Google grupperar nu sina AI-erbjudanden under Gemini Enterprise Agent Platform (« Agent Platform »); Model Garden förblir en del av detta ekosystem. Tillgängliga Mistral-modeller inkluderar Mistral Medium 3 (
mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) och Mistral Small 3.1 (mistral-small-2503). Med Mistral SDK v2 och senare importerar du klienten viafrom mistralai.gcp.client import MistralGCPoch installerar den medpip install "mistralai[gcp]". Källor: Mistral AI-modeller (Google Cloud) · Vertex AI (Mistral).
Mistral på Google Cloud
Google Cloud Vertex AI integrerar Mistral-modeller i sin enhetliga ML-plattform. Åtkomst kräver en dedikerad klient, MistralGCP. Den främsta skillnaden ligger i autentiseringen: du behöver inte hantera någon Mistral API-nyckel eftersom klienten förlitar sig på de Google Cloud-identitetsuppgifter som redan är konfigurerade på din maskin eller tjänst. Denna lektion täcker konfiguration, Python-kod och den funktion som Vertex AI lyfter fram mest: Fill-in-the-Middle (FIM) med Codestral.
Modeller tillgängliga på Vertex AI
Vertex AI ger tillgång till flera modeller; eftersom katalogen utvecklas regelbundet bör du kontrollera den officiella sidan för den aktuella listan. Mistral Medium 3 (mistral-medium-3) fungerar som den allmänna högpresterande modellen, ditt förstaval för textgenerering eller analys. Codestral 2 (25.08) (codestral-2) är specialiserad på kod och stöder FIM, vilket beskrivs närmare senare i denna lektion. Mistral OCR (25.05) (mistral-ocr-2505) hanterar optisk teckenigenkänning, vanligtvis för att extrahera text från batchar av skannade fakturor innan den skickas vidare till en annan modell. Slutligen är Mistral Small 3.1 (25.03) (mistral-small-2503) lättviktig och snabb, vilket gör den idealisk för bearbetning av stora volymer där latens är viktigare än nyanser i svaret.
Förutsättningar
Konfigurera din Google Cloud-miljö innan du skriver en enda rad Python. Du behöver ett Google Cloud-projekt med Vertex AI API aktiverat, gcloud CLI installerat och konfigurerat, samt två IAM-roller tilldelade ditt tjänstekonto:
Vertex AI User— för att anropa modellerConsumer Procurement Entitlement Manager— för att aktivera Mistral-modeller
Den andra rollen är den som saknas nio gånger av tio: utan den misslyckas modellaktiveringen även om dina anrop verkar vara korrekt autentiserade.
# Installera gcloud CLI
curl https://sdk.cloud.google.com | bash
# Logga in
gcloud auth application-default login
# Konfigurera projektet
gcloud config set project mon-projet-gcp
Ett steg återstår som du inte kan utföra via kommandoraden: du måste aktivera Mistral-modeller i Vertex AI Model Garden innan du använder dem. Gå till Vertex AI-portalen, öppna Model Garden, sök efter Mistral och aktivera önskade modeller.
Klienten MistralGCP
Installationen kräver tillägget gcp, vilket inkluderar beroenden för Google-autentisering.
pip install mistralai[gcp]
Initieringen tar inga argument i standardfallet:
from mistralai.gcp.client import MistralGCP
# Automatisk autentisering via google.auth.default()
client = MistralGCP()
Klienten använder Google Cloud Application Default Credentials (ADC). Om du har kört gcloud auth application-default login, eller om din kod körs på en maskin med ett tjänstekonto, behövs ingen ytterligare konfiguration. Som standard är den valda regionen europe-west4; du kan tvinga fram en annan. Välj baserat på dina användares plats, eftersom varje millisekunds nätverksresa adderar tid till genereringen.
client = MistralGCP(region="us-central1")
Chat Completions
Själva anropet innehåller inga överraskningar: till skillnad från Azure använder parametern model här modellens faktiska namn.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.chat.complete(
model="mistral-medium-3",
messages=[
{"role": "system", "content": "Du är en expert på cloudarkitektur."},
{"role": "user", "content": "Vilka är fördelarna med Vertex AI jämfört med en självhostad distribution?"}
],
temperature=0.3,
max_tokens=500
)
print(response.choices[0].message.content)
FIM med Codestral
Fill-in-the-Middle är en förmåga som är unik för Codestral. Istället för att fortsätta text fyller modellen ett gap mellan en början (skickas i prompt) och ett slut (skickas i suffix). Denna skillnad är avgörande för automatisk kodkomplettering i IDE:n, där markören nästan alltid sitter mitt i en fil: modellen ser vad som följer och kan därför skriva en funktionskropp som är konsekvent med det kommande return-uttrycket, eller komplettera ett saknat block i befintlig kod.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.fim.complete(
model="codestral-2",
prompt="def count_words(file_path: str) -> int:",
suffix="return n_words"
)
print(response.choices[0].message.content)
# Genererar funktionskroppen mellan prompt och suffix
Exemplet blir ännu tydligare med en riktig klass. Här får modellen hela headern, redan definierade attribut och den efterföljande metoden disconnect(); den måste producera kroppen för connect() som är konsekvent med denna miljö.
response = client.fim.complete(
model="codestral-2",
prompt="""class DatabaseConnection:
def __init__(self, host: str, port: int, database: str):
self.host = host
self.port = port
self.database = database
self.connection = None
def connect(self):""",
suffix="""
def disconnect(self):
if self.connection:
self.connection.close()
self.connection = None
"""
)
print(response.choices[0].message.content)
Den genererade koden kommer att återanvända self.host, self.port och self.database, samt tilldela self.connection — något som standardkomplettering, som är blind för resten av filen, inte skulle ha någon anledning att göra.
Streaming på Vertex AI
Streaming fungerar som på andra ställen, genom att iterera över returnerade chunkar.
stream = client.chat.stream(
model="mistral-medium-3",
messages=[
{"role": "user", "content": "Generera ett Terraform-skript för ett GKE-kluster."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
Skillnader jämfört med det direkta Mistral API:t
| Aspekt | Mistral API | Vertex AI |
|---|---|---|
| Klient | Mistral() | MistralGCP() |
| Autentisering | API-nyckel | Google ADC |
| Region | Automatisk | Konfigurerbar |
| FIM | Ja | Ja (Codestral) |
| Fakturering | Mistral | Google Cloud |
Viktiga punkter
- Klienten
MistralGCPanvänder native Google Cloud-autentisering (ingen Mistral API-nyckel) - Standardregionen är
europe-west4— anpassa den till ditt användningsområde - Codestral på Vertex AI stöder FIM för automatisk kodkomplettering
- Aktivera modeller i Model Garden innan du använder dem
- Vertex-identifierare är versionsmärkta (
codestral-2,mistral-medium-3) och utvecklas med varje generation: verifiera det exakta värdet i Model Garden innan du kopplar upp en distribution - Fakturering sker via ditt Google Cloud-konto, inte Mistral