Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Google Vertex AI

Lektion 7 av 14 Uppdaterad 2 november 2026 Avancerad
På denna sida
  1. Mistral på Google Cloud
  2. Modeller tillgängliga på Vertex AI
  3. Förutsättningar
  4. Klienten MistralGCP
  5. Chat Completions
  6. FIM med Codestral
  7. Streaming på Vertex AI
  8. Skillnader jämfört med det direkta Mistral API:t
  9. Viktiga punkter

Uppdaterat 2 november 2026 — Google Cloud. Google grupperar nu sina AI-erbjudanden under Gemini Enterprise Agent Platform (« Agent Platform »); Model Garden förblir en del av detta ekosystem. Tillgängliga Mistral-modeller inkluderar Mistral Medium 3 (mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) och Mistral Small 3.1 (mistral-small-2503). Med Mistral SDK v2 och senare importerar du klienten via from mistralai.gcp.client import MistralGCP och installerar den med pip install "mistralai[gcp]". Källor: Mistral AI-modeller (Google Cloud) · Vertex AI (Mistral).

Mistral på Google Cloud

Google Cloud Vertex AI integrerar Mistral-modeller i sin enhetliga ML-plattform. Åtkomst kräver en dedikerad klient, MistralGCP. Den främsta skillnaden ligger i autentiseringen: du behöver inte hantera någon Mistral API-nyckel eftersom klienten förlitar sig på de Google Cloud-identitetsuppgifter som redan är konfigurerade på din maskin eller tjänst. Denna lektion täcker konfiguration, Python-kod och den funktion som Vertex AI lyfter fram mest: Fill-in-the-Middle (FIM) med Codestral.

Modeller tillgängliga på Vertex AI

Vertex AI ger tillgång till flera modeller; eftersom katalogen utvecklas regelbundet bör du kontrollera den officiella sidan för den aktuella listan. Mistral Medium 3 (mistral-medium-3) fungerar som den allmänna högpresterande modellen, ditt förstaval för textgenerering eller analys. Codestral 2 (25.08) (codestral-2) är specialiserad på kod och stöder FIM, vilket beskrivs närmare senare i denna lektion. Mistral OCR (25.05) (mistral-ocr-2505) hanterar optisk teckenigenkänning, vanligtvis för att extrahera text från batchar av skannade fakturor innan den skickas vidare till en annan modell. Slutligen är Mistral Small 3.1 (25.03) (mistral-small-2503) lättviktig och snabb, vilket gör den idealisk för bearbetning av stora volymer där latens är viktigare än nyanser i svaret.

Förutsättningar

Konfigurera din Google Cloud-miljö innan du skriver en enda rad Python. Du behöver ett Google Cloud-projekt med Vertex AI API aktiverat, gcloud CLI installerat och konfigurerat, samt två IAM-roller tilldelade ditt tjänstekonto:

  • Vertex AI User — för att anropa modeller
  • Consumer Procurement Entitlement Manager — för att aktivera Mistral-modeller

Den andra rollen är den som saknas nio gånger av tio: utan den misslyckas modellaktiveringen även om dina anrop verkar vara korrekt autentiserade.

# Installera gcloud CLI
curl https://sdk.cloud.google.com | bash

# Logga in
gcloud auth application-default login

# Konfigurera projektet
gcloud config set project mon-projet-gcp

Ett steg återstår som du inte kan utföra via kommandoraden: du måste aktivera Mistral-modeller i Vertex AI Model Garden innan du använder dem. Gå till Vertex AI-portalen, öppna Model Garden, sök efter Mistral och aktivera önskade modeller.

Klienten MistralGCP

Installationen kräver tillägget gcp, vilket inkluderar beroenden för Google-autentisering.

pip install mistralai[gcp]

Initieringen tar inga argument i standardfallet:

from mistralai.gcp.client import MistralGCP

# Automatisk autentisering via google.auth.default()
client = MistralGCP()

Klienten använder Google Cloud Application Default Credentials (ADC). Om du har kört gcloud auth application-default login, eller om din kod körs på en maskin med ett tjänstekonto, behövs ingen ytterligare konfiguration. Som standard är den valda regionen europe-west4; du kan tvinga fram en annan. Välj baserat på dina användares plats, eftersom varje millisekunds nätverksresa adderar tid till genereringen.

client = MistralGCP(region="us-central1")

Chat Completions

Själva anropet innehåller inga överraskningar: till skillnad från Azure använder parametern model här modellens faktiska namn.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.chat.complete(
    model="mistral-medium-3",
    messages=[
        {"role": "system", "content": "Du är en expert på cloudarkitektur."},
        {"role": "user", "content": "Vilka är fördelarna med Vertex AI jämfört med en självhostad distribution?"}
    ],
    temperature=0.3,
    max_tokens=500
)

print(response.choices[0].message.content)

FIM med Codestral

Fill-in-the-Middle är en förmåga som är unik för Codestral. Istället för att fortsätta text fyller modellen ett gap mellan en början (skickas i prompt) och ett slut (skickas i suffix). Denna skillnad är avgörande för automatisk kodkomplettering i IDE:n, där markören nästan alltid sitter mitt i en fil: modellen ser vad som följer och kan därför skriva en funktionskropp som är konsekvent med det kommande return-uttrycket, eller komplettera ett saknat block i befintlig kod.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.fim.complete(
    model="codestral-2",
    prompt="def count_words(file_path: str) -> int:",
    suffix="return n_words"
)

print(response.choices[0].message.content)
# Genererar funktionskroppen mellan prompt och suffix

Exemplet blir ännu tydligare med en riktig klass. Här får modellen hela headern, redan definierade attribut och den efterföljande metoden disconnect(); den måste producera kroppen för connect() som är konsekvent med denna miljö.

response = client.fim.complete(
    model="codestral-2",
    prompt="""class DatabaseConnection:
    def __init__(self, host: str, port: int, database: str):
        self.host = host
        self.port = port
        self.database = database
        self.connection = None

    def connect(self):""",
    suffix="""
    def disconnect(self):
        if self.connection:
            self.connection.close()
            self.connection = None
"""
)
print(response.choices[0].message.content)

Den genererade koden kommer att återanvända self.host, self.port och self.database, samt tilldela self.connection — något som standardkomplettering, som är blind för resten av filen, inte skulle ha någon anledning att göra.

Streaming på Vertex AI

Streaming fungerar som på andra ställen, genom att iterera över returnerade chunkar.

stream = client.chat.stream(
    model="mistral-medium-3",
    messages=[
        {"role": "user", "content": "Generera ett Terraform-skript för ett GKE-kluster."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Skillnader jämfört med det direkta Mistral API:t

AspektMistral APIVertex AI
KlientMistral()MistralGCP()
AutentiseringAPI-nyckelGoogle ADC
RegionAutomatiskKonfigurerbar
FIMJaJa (Codestral)
FaktureringMistralGoogle Cloud

Viktiga punkter

  • Klienten MistralGCP använder native Google Cloud-autentisering (ingen Mistral API-nyckel)
  • Standardregionen är europe-west4 — anpassa den till ditt användningsområde
  • Codestral på Vertex AI stöder FIM för automatisk kodkomplettering
  • Aktivera modeller i Model Garden innan du använder dem
  • Vertex-identifierare är versionsmärkta (codestral-2, mistral-medium-3) och utvecklas med varje generation: verifiera det exakta värdet i Model Garden innan du kopplar upp en distribution
  • Fakturering sker via ditt Google Cloud-konto, inte Mistral