Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Google Vertex AI

Lektion 7 af 14 Opdateret 2. november 2026 Avanceret
På denne side
  1. Mistral på Google Cloud
  2. Modeller tilgængelige på Vertex AI
  3. Forudsætninger
  4. MistralGCP-klienten
  5. Chat Completions
  6. FIM med Codestral
  7. Streaming på Vertex AI
  8. Forskelle fra den direkte Mistral API
  9. Vigtige pointer

Opdateret 2. november 2026 — Google Cloud. Google samler nu sine AI-tilbud under Gemini Enterprise Agent Platform („Agent Platform”); Model Garden forbliver en del af dette økosystem. Tilgængelige Mistral-modeller inkluderer Mistral Medium 3 (mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) og Mistral Small 3.1 (mistral-small-2503). Med Mistral SDK v2 og nyere importerer du klienten via from mistralai.gcp.client import MistralGCP og installerer den med pip install "mistralai[gcp]". Kilder: Mistral AI-modeller (Google Cloud) · Vertex AI (Mistral).

Mistral på Google Cloud

Google Cloud Vertex AI integrerer Mistral-modeller i sin samlede ML-platform. Adgang kræver en dedikeret klient, MistralGCP. Den væsentligste forskel ligger i autentificeringen: Du behøver ikke administrere en Mistral API-nøgle, da klienten bruger de Google Cloud-legitimationsoplysninger, der allerede er konfigureret på din maskine eller tjeneste. Denne lektion dækker konfiguration, Python-kode og den funktion, som Vertex AI fremhæver mest: Fill-in-the-Middle (FIM) med Codestral.

Modeller tilgængelige på Vertex AI

Vertex AI giver adgang til flere modeller; da kataloget udvikler sig løbende, bør du tjekke den officielle side for den aktuelle liste. Mistral Medium 3 (mistral-medium-3) fungerer som den højtydende generalistmodel og er dit standardvalg til tekstgenerering eller analyse. Codestral 2 (25.08) (codestral-2) specialiserer sig i kode og understøtter FIM, hvilket uddybes senere i denne lektion. Mistral OCR (25.05) (mistral-ocr-2505) håndterer optisk tegngenkendelse, typisk for at udtrække tekst fra batch af scannede fakturaer, før dataene sendes videre til en anden model. Endelig er Mistral Small 3.1 (25.03) (mistral-small-2503) letvægtig og hurtig, hvilket gør den ideel til behandling af store volumener, hvor lav latency vejer tungere end nuancer i svaret.

Forudsætninger

Opsæt din Google Cloud-konfiguration, før du skriver en eneste linje Python. Du har brug for et Google Cloud-projekt med Vertex AI API aktiveret, gcloud CLI installeret og konfigureret, samt to IAM-roller tildelt din tjenestekonto:

  • Vertex AI User — til at kalde modeller
  • Consumer Procurement Entitlement Manager — til at aktivere Mistral-modeller

Den anden rolle er den, der mangler ni ud af ti gange: Uden den mislykkes modelaktiveringen, selvom dine kald ser korrekt autentificerede ud.

# Installer gcloud CLI
curl https://sdk.cloud.google.com | bash

# Log ind
gcloud auth application-default login

# Konfigurer projektet
gcloud config set project mon-projet-gcp

Ét trin tilbage, som du ikke kan udføre via kommandolinjen: Du skal aktivere Mistral-modeller i Vertex AI Model Garden, før du kan bruge dem. Gå til Vertex AI-portalen, åbn Model Garden, søg efter Mistral, og aktiver de ønskede modeller.

MistralGCP-klienten

Installation kræver gcp-ekstrapakken, som inkluderer afhængigheder til Google-autentificering.

pip install mistralai[gcp]

Initialisering kræver ingen argumenter i standardtilfældet:

from mistralai.gcp.client import MistralGCP

# Automatisk autentificering via google.auth.default()
client = MistralGCP()

Klienten bruger Google Cloud Application Default Credentials (ADC). Hvis du har kørt gcloud auth application-default login, eller hvis din kode kører på en maskine med en tjenestekonto, er yderligere konfiguration ikke nødvendig. Som standard er den valgte region europe-west4; du kan gennemtvinge en anden. Vælg baseret på dine brugeres placering, da hver millisekunds netværksrejse lægger til genereringstiden.

client = MistralGCP(region="us-central1")

Chat Completions

Selve kaldet byder ikke på overraskelser: I modsætning til Azure bruger parameteren model her modellens faktiske navn.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.chat.complete(
    model="mistral-medium-3",
    messages=[
        {"role": "system", "content": "You are a cloud architecture expert."},
        {"role": "user", "content": "What are the advantages of Vertex AI compared to a self-hosted deployment?"}
    ],
    temperature=0.3,
    max_tokens=500
)

print(response.choices[0].message.content)

FIM med Codestral

Fill-in-the-Middle er en funktion, der er unik for Codestral. I stedet for at fortsætte tekst udfylder modellen et hul mellem en begyndelse (sendt i prompt) og en slutning (sendt i suffix). Denne forskel er afgørende for autoudfyldning i IDE’er, hvor markøren næsten altid sidder midt i en fil: Modellen ser, hvad der følger, og kan derfor skrive en funktionskrop, der er konsistent med den kommende return-sætning, eller udfylde en manglende blok i eksisterende kode.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.fim.complete(
    model="codestral-2",
    prompt="def count_words(file_path: str) -> int:",
    suffix="return n_words"
)

print(response.choices[0].message.content)
# Genererer funktionskroppen mellem prompt og suffix

Eksemplet giver endnu mere mening med en rigtig klasse. Her modtager modellen hele headeren, allerede-definerede attributter og den efterfølgende disconnect()-metode; den skal producere kroppen af connect() konsistent med dette miljø.

response = client.fim.complete(
    model="codestral-2",
    prompt="""class DatabaseConnection:
    def __init__(self, host: str, port: int, database: str):
        self.host = host
        self.port = port
        self.database = database
        self.connection = None

    def connect(self):""",
    suffix="""
    def disconnect(self):
        if self.connection:
            self.connection.close()
            self.connection = None
"""
)
print(response.choices[0].message.content)

Den genererede kode vil genbruge self.host, self.port og self.database og tildele self.connection — noget standard autoudfyldning, der er blind for resten af filen, ikke ville have nogen grund til at gøre.

Streaming på Vertex AI

Streaming fungerer som andre steder ved at iterere over de returnerede chunks.

stream = client.chat.stream(
    model="mistral-medium-3",
    messages=[
        {"role": "user", "content": "Generate a Terraform script for a GKE cluster."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Forskelle fra den direkte Mistral API

AspektMistral APIVertex AI
KlientMistral()MistralGCP()
AuthAPI-nøgleGoogle ADC
RegionAutomatiskKonfigurerbar
FIMJaJa (Codestral)
FaktureringMistralGoogle Cloud

Vigtige pointer

  • Klienten MistralGCP bruger native Google Cloud-autentificering (ingen Mistral API-nøgle)
  • Standardregionen er europe-west4 — tilpas den til dit brugstilfælde
  • Codestral på Vertex AI understøtter FIM til kode-autoudfyldning
  • Aktivér modeller i Model Garden, før du bruger dem
  • Vertex-identifikatorer er versionsbestemte (codestral-2, mistral-medium-3) og udvikler sig med hver generation: Verificér den nøjagtige værdi i Model Garden, før du kobler en deployment op
  • Fakturering løber gennem din Google Cloud-konto, ikke Mistral