Mistral på Google Vertex AI
På denne side
Opdateret 2. november 2026 — Google Cloud. Google samler nu sine AI-tilbud under Gemini Enterprise Agent Platform („Agent Platform”); Model Garden forbliver tilgængelig inden for denne. De tilgængelige Mistral-modeller er Mistral Medium 3 (
mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) og Mistral Small 3.1 (mistral-small-2503). Med Mistral SDK v2 og nyere importerer du klienten viafrom mistralai.gcp.client import MistralGCPog installerer den medpip install "mistralai[gcp]". Kilder: Mistral AI-modeller (Google Cloud) · Vertex AI (Mistral).
Hvorfor Vertex AI?
Google Cloud Vertex AI er Googles MLOps-platform, og den hoster partnermodeller, herunder dem fra Mistral. Logikken her spejler Azure: Hvis din infrastruktur allerede hviler på Google Cloud – BigQuery til data, Cloud Run eller GKE til eksekvering – forhindrer brugen af Vertex, at du introducerer en anden leverandør i din kæde.
Det afgørende argument her er autentificering. Du behøver ikke længere distribuere, rotere eller overvåge en Mistral API-nøgle: Dine tjenester autentificerer ved hjælp af deres Google-servicekonto, præcis som de allerede gør for at få adgang til en bucket eller en BigQuery-tabel. Dette tilføjer også centraliseret fakturering på din Cloud Billing-konto og adgang til Googles MLOps-værktøjer.
Modeller tilgængelige på Vertex AI
Fra april 2026 giver Vertex AI adgang til følgende modeller:
| Model | Positionering |
|---|---|
| Mistral Medium | Generel model med høj ydeevne |
| Mistral Small | Hurtig og omkostningseffektiv |
| Codestral | Specialiseret til kode med understøttelse af FIM (Fill-in-the-Middle) |
| Mistral OCR | Uddragelse af dokumentindhold |
Forbered dit Google Cloud-miljø
Konfigurationen sker én gang og betinger alt andet:
- Et Google Cloud-projekt med Vertex AI-API’en aktiveret
- Følgende IAM-roller tildelt din konto:
Vertex AI User– til at kalde modellerConsumer Procurement Entitlement Manager– til at aktivere partnermodeller
- gcloud CLI installeret og konfigureret
Den anden rolle overrasker ofte folk: Den har intet med inferens at gøre; den autoriserer aktivering af partnermodeller i kataloget. Uden den vil du se Mistral-modeller i grænsefladen, men aldrig kunne aktivere dem, og den returnerede fejl peger ikke klart på denne manglende tilladelse.
# Installer gcloud (hvis ikke allerede gjort)
# Se https://cloud.google.com/sdk/docs/install
# Autentificer
gcloud auth application-default login
# Indstil standardprojektet
gcloud config set project your-project-id
Ét trin bliver regelmæssigt glemt: Gå til Vertex AI-konsollen, find den ønskede Mistral-model i Model Garden, og klik på Enable. Denne aktivering kræves kun én gang pr. model og pr. projekt. Et kald til en ikke-aktiveret model fejler, selvom dine IAM-roller er korrekte – dette er det første, du skal tjekke, når du står over for en uforklarlig autoriseringsfejl.
Et første kald uden en API-nøgle
Bemærk først, hvad der mangler i koden nedenfor: Ingen API-nøgle, ingen hemmelighed at indlæse. Mistral SDK V2 leverer en dedikeret klient til Google Cloud, MistralGCP, som stole på google.auth.default(): Den henter de legitimationer, som gcloud auth application-default login har deponeret lokalt, eller den servicekonto, der er knyttet til maskinen i produktion.
from mistralai.gcp.client import MistralGCP
# Autentificering bruger google.auth.default()
# Sørg for at have kørt: gcloud auth application-default login
client = MistralGCP()
response = client.chat.complete(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "Explain the architecture of BigQuery."}
]
)
print(response.choices[0].message.content)
Som standard bruger klienten regionen europe-west4 i Holland. For at ændre dette skal du blot sende det til konstruktøren – husk på, at tilgængelige regioner afhænger af modellen, og at Vertex AI-dokumentationen er afgørende på dette punkt.
client = MistralGCP(region="us-central1")
Streaming følger den samme mekanisme, som vi så med den direkte API: Iterer over strømmen, få adgang til indholdet via chunk.data, og test før udskrivning, da nogle fragmenter ankommer tomme.
stream = client.chat.stream(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "List the serverless services of Google Cloud."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
Det særlige tilfælde af FIM med Codestral
Codestral på Vertex AI understøtter Fill-in-the-Middle (FIM), en funktion, der ændrer, hvordan du griber kodeudfyldning an. I stedet for at bede om „skriv en funktion til mig”, giver du begyndelsen og slutningen, og modellen producerer det, der mangler mellem de to. Metoden ændres også: Det er ikke længere chat.complete(), men fim.complete(), med en prompt for den upstream-del og en suffix for den downstream-del.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.fim.complete(
model="codestral-2",
prompt="def calculate_average(grades: list[float]) -> float:",
suffix=" return average"
)
print(response.choices[0].message.content)
I dette eksempel genererer modellen funktionskroppen mellem signaturen og return. Den ved, at en variabel average skal eksistere til sidst, da den forekommer i suffikset: Begrænsningen guider den langt bedre end en instruktion på naturligt sprog. Dette er præcis, hvad der sker, når en IDE udfylder en funktion midt i en fil, hvilket gør FIM særligt effektivt til fuldførelse i en editor, udfyldning af manglende kodeblokke og generering af kode, der skal passe ind i en eksisterende struktur.
Vertex-klienten i TypeScript
I JavaScript og TypeScript udgives Google Cloud-klienten i en separat pakke, @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp), og kaldes MistralGCP siden SDK-version 2.0 (den hed tidligere MistralGoogleCloud). Regionen og projekt-ID’et erklæres ved konstruktion, og igen vises ingen nøgle i koden.
import { MistralGCP } from '@mistralai/mistralai-gcp';
const client = new MistralGCP({
region: 'europe-west4',
projectId: process.env.GOOGLE_PROJECT_ID,
});
const response = await client.chat.complete({
model: 'mistral-small-2503',
messages: [
{ role: 'user', content: 'How to optimize a BigQuery query?' },
],
});
console.log(response.choices?.[0]?.message?.content);
Kilder: TypeScript SDK
@mistralai/mistralai-gcp· TypeScript SDK udgivelsesnoter 2.0.0
Korrekt vej til produktion
Brugerautentificering via gcloud auth application-default login er perfekt til udvikling, men den binder dine kald til en person: Den dag personen forlader teamet, bryder tjenesten. I produktion skal du bruge servicekontoer, hvis rettigheder er eksplicitte og reviderbare. Behold europe-west4 som standardregion, hvis europæisk overholdelse er en del af dine begrænsninger. Aktiver Cloud Logging for at spore dine kald og diagnosticere fejl, og konfigurér Cloud Billing-budgetter: På en platform, hvor inferens faktureres efter forbrug, er en budgetalarm din eneste sikkerhed mod en løbsk løkke.
Vigtige pointer
- Klienten
MistralGCPbruger native Google Cloud-autentificering (gcloud auth) - Standardregionen er
europe-west4– kan ændres ved initialisering - Codestral på Vertex understøtter FIM (Fill-in-the-Middle) til kodeudfyldning
- Ingen Mistral API-nøgle er påkrævet: Autentificering sker via Google Cloud IAM
- Aktivér hver model i Model Garden, før du bruger den