Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Mistral på Google Vertex AI

Lektion 12 af 14 Opdateret 2. november 2026 Udvikler
På denne side
  1. Hvorfor Vertex AI?
  2. Modeller tilgængelige på Vertex AI
  3. Forbered dit Google Cloud-miljø
  4. Et første kald uden en API-nøgle
  5. Det særlige tilfælde af FIM med Codestral
  6. Vertex-klienten i TypeScript
  7. Korrekt vej til produktion
  8. Vigtige pointer

Opdateret 2. november 2026 — Google Cloud. Google samler nu sine AI-tilbud under Gemini Enterprise Agent Platform („Agent Platform”); Model Garden forbliver tilgængelig inden for denne. De tilgængelige Mistral-modeller er Mistral Medium 3 (mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) og Mistral Small 3.1 (mistral-small-2503). Med Mistral SDK v2 og nyere importerer du klienten via from mistralai.gcp.client import MistralGCP og installerer den med pip install "mistralai[gcp]". Kilder: Mistral AI-modeller (Google Cloud) · Vertex AI (Mistral).

Hvorfor Vertex AI?

Google Cloud Vertex AI er Googles MLOps-platform, og den hoster partnermodeller, herunder dem fra Mistral. Logikken her spejler Azure: Hvis din infrastruktur allerede hviler på Google Cloud – BigQuery til data, Cloud Run eller GKE til eksekvering – forhindrer brugen af Vertex, at du introducerer en anden leverandør i din kæde.

Det afgørende argument her er autentificering. Du behøver ikke længere distribuere, rotere eller overvåge en Mistral API-nøgle: Dine tjenester autentificerer ved hjælp af deres Google-servicekonto, præcis som de allerede gør for at få adgang til en bucket eller en BigQuery-tabel. Dette tilføjer også centraliseret fakturering på din Cloud Billing-konto og adgang til Googles MLOps-værktøjer.

Modeller tilgængelige på Vertex AI

Fra april 2026 giver Vertex AI adgang til følgende modeller:

ModelPositionering
Mistral MediumGenerel model med høj ydeevne
Mistral SmallHurtig og omkostningseffektiv
CodestralSpecialiseret til kode med understøttelse af FIM (Fill-in-the-Middle)
Mistral OCRUddragelse af dokumentindhold

Forbered dit Google Cloud-miljø

Konfigurationen sker én gang og betinger alt andet:

  1. Et Google Cloud-projekt med Vertex AI-API’en aktiveret
  2. Følgende IAM-roller tildelt din konto:
    • Vertex AI User – til at kalde modeller
    • Consumer Procurement Entitlement Manager – til at aktivere partnermodeller
  3. gcloud CLI installeret og konfigureret

Den anden rolle overrasker ofte folk: Den har intet med inferens at gøre; den autoriserer aktivering af partnermodeller i kataloget. Uden den vil du se Mistral-modeller i grænsefladen, men aldrig kunne aktivere dem, og den returnerede fejl peger ikke klart på denne manglende tilladelse.

# Installer gcloud (hvis ikke allerede gjort)
# Se https://cloud.google.com/sdk/docs/install

# Autentificer
gcloud auth application-default login

# Indstil standardprojektet
gcloud config set project your-project-id

Ét trin bliver regelmæssigt glemt: Gå til Vertex AI-konsollen, find den ønskede Mistral-model i Model Garden, og klik på Enable. Denne aktivering kræves kun én gang pr. model og pr. projekt. Et kald til en ikke-aktiveret model fejler, selvom dine IAM-roller er korrekte – dette er det første, du skal tjekke, når du står over for en uforklarlig autoriseringsfejl.

Et første kald uden en API-nøgle

Bemærk først, hvad der mangler i koden nedenfor: Ingen API-nøgle, ingen hemmelighed at indlæse. Mistral SDK V2 leverer en dedikeret klient til Google Cloud, MistralGCP, som stole på google.auth.default(): Den henter de legitimationer, som gcloud auth application-default login har deponeret lokalt, eller den servicekonto, der er knyttet til maskinen i produktion.

from mistralai.gcp.client import MistralGCP

# Autentificering bruger google.auth.default()
# Sørg for at have kørt: gcloud auth application-default login
client = MistralGCP()

response = client.chat.complete(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "Explain the architecture of BigQuery."}
    ]
)

print(response.choices[0].message.content)

Som standard bruger klienten regionen europe-west4 i Holland. For at ændre dette skal du blot sende det til konstruktøren – husk på, at tilgængelige regioner afhænger af modellen, og at Vertex AI-dokumentationen er afgørende på dette punkt.

client = MistralGCP(region="us-central1")

Streaming følger den samme mekanisme, som vi så med den direkte API: Iterer over strømmen, få adgang til indholdet via chunk.data, og test før udskrivning, da nogle fragmenter ankommer tomme.

stream = client.chat.stream(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "List the serverless services of Google Cloud."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Det særlige tilfælde af FIM med Codestral

Codestral på Vertex AI understøtter Fill-in-the-Middle (FIM), en funktion, der ændrer, hvordan du griber kodeudfyldning an. I stedet for at bede om „skriv en funktion til mig”, giver du begyndelsen og slutningen, og modellen producerer det, der mangler mellem de to. Metoden ændres også: Det er ikke længere chat.complete(), men fim.complete(), med en prompt for den upstream-del og en suffix for den downstream-del.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.fim.complete(
    model="codestral-2",
    prompt="def calculate_average(grades: list[float]) -> float:",
    suffix="    return average"
)

print(response.choices[0].message.content)

I dette eksempel genererer modellen funktionskroppen mellem signaturen og return. Den ved, at en variabel average skal eksistere til sidst, da den forekommer i suffikset: Begrænsningen guider den langt bedre end en instruktion på naturligt sprog. Dette er præcis, hvad der sker, når en IDE udfylder en funktion midt i en fil, hvilket gør FIM særligt effektivt til fuldførelse i en editor, udfyldning af manglende kodeblokke og generering af kode, der skal passe ind i en eksisterende struktur.

Vertex-klienten i TypeScript

I JavaScript og TypeScript udgives Google Cloud-klienten i en separat pakke, @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp), og kaldes MistralGCP siden SDK-version 2.0 (den hed tidligere MistralGoogleCloud). Regionen og projekt-ID’et erklæres ved konstruktion, og igen vises ingen nøgle i koden.

import { MistralGCP } from '@mistralai/mistralai-gcp';

const client = new MistralGCP({
  region: 'europe-west4',
  projectId: process.env.GOOGLE_PROJECT_ID,
});

const response = await client.chat.complete({
  model: 'mistral-small-2503',
  messages: [
    { role: 'user', content: 'How to optimize a BigQuery query?' },
  ],
});

console.log(response.choices?.[0]?.message?.content);

Kilder: TypeScript SDK @mistralai/mistralai-gcp · TypeScript SDK udgivelsesnoter 2.0.0

Korrekt vej til produktion

Brugerautentificering via gcloud auth application-default login er perfekt til udvikling, men den binder dine kald til en person: Den dag personen forlader teamet, bryder tjenesten. I produktion skal du bruge servicekontoer, hvis rettigheder er eksplicitte og reviderbare. Behold europe-west4 som standardregion, hvis europæisk overholdelse er en del af dine begrænsninger. Aktiver Cloud Logging for at spore dine kald og diagnosticere fejl, og konfigurér Cloud Billing-budgetter: På en platform, hvor inferens faktureres efter forbrug, er en budgetalarm din eneste sikkerhed mod en løbsk løkke.

Vigtige pointer

  • Klienten MistralGCP bruger native Google Cloud-autentificering (gcloud auth)
  • Standardregionen er europe-west4 – kan ændres ved initialisering
  • Codestral på Vertex understøtter FIM (Fill-in-the-Middle) til kodeudfyldning
  • Ingen Mistral API-nøgle er påkrævet: Autentificering sker via Google Cloud IAM
  • Aktivér hver model i Model Garden, før du bruger den