Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Mistral na Google Vertex AI

Lekcija 12 od 14 Posodobljeno 2. november 2026 Razvijalec
Na tej strani
  1. Zakaj Vertex AI?
  2. Modeli, na voljo na Vertex AI
  3. Priprava okolja Google Cloud
  4. Prvi klic brez ključa API
  5. Poseben primer FIM s Codestralom
  6. Odjemalec Vertex v TypeScriptu
  7. Pravilen prehod v proizvodno okolje
  8. Ključne ugotovitve

Posodobljeno 2. novembra 2026 — Google Cloud. Google zdaj združuje svoje ponudbe umetne inteligence pod imenom Gemini Enterprise Agent Platform („Agent Platform”); Model Garden ostaja dostopen znotraj njega. Razpoložljivi modeli Mistral so Mistral Medium 3 (mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) in Mistral Small 3.1 (mistral-small-2503). Pri Mistral SDK v2 in novejših različicah odjemalca uvoziš preko from mistralai.gcp.client import MistralGCP in ga namestiš z pip install "mistralai[gcp]". Viri: Modeli Mistral AI (Google Cloud) · Vertex AI (Mistral).

Zakaj Vertex AI?

Google Cloud Vertex AI je Googlova platforma MLOps, ki gosti partnerske modele, vključno s tistimi od Mistrala. Logika je tu enaka kot pri Azureu: če tvoja infrastruktura že temelji na Google Cloudu – BigQuery za podatke, Cloud Run ali GKE za izvajanje – ti uporaba Vertexa prepreči uvajanje dodatnega ponudnika v tvoje verige.

Odločilni argument je avtentikacija. Ključa API Mistral ni treba več distribuirati, menjati ali nadzorovati: tvoje storitve se avtenticirajo z uporabo svojega Googlovega storitvenega računa, točno tako, kot že počnejo za dostop do vedra ali tabele BigQuery. To dodaja tudi centralizirano obračunavanje na tvojem računu Cloud Billing in dostop do Googlovih orodij MLOps.

Modeli, na voljo na Vertex AI

Od aprila 2026 Vertex AI omogoča dostop do naslednjih modelov:

ModelPozicioniranje
Mistral MediumSplošni model visokih zmogljivosti
Mistral SmallHiter in stroškovno učinkovit
CodestralSpecializiran za kodo, s podporo za FIM (Fill-in-the-Middle)
Mistral OCRIzvleček vsebine dokumentov

Priprava okolja Google Cloud

Konfiguracija se opravi enkrat in določa vse ostalo:

  1. Projekt Google Cloud z omogočenim API-jem Vertex AI
  2. Dodeljene naslednje vloge IAM tvojem računu:
    • Vertex AI User — za priklic modelov
    • Consumer Procurement Entitlement Manager — za omogočanje partnerskih modelov
  3. Nameščen in konfiguriran CLI gcloud

Druga vloga pogosto preseneti: nima ničesar z inferenco; avtorizira omogočanje partnerskih modelov v katalogu. Brez nje boš modele Mistral videl v vmesniku, a jih nikoli ne boš mogel omogočiti, vrnjena napaka pa tega pomanjkanja dovoljenj ne kaže jasno.

# Namesti gcloud (če še ni storjeno)
# Glej https://cloud.google.com/sdk/docs/install

# Avtenticiraj se
gcloud auth application-default login

# Nastavi privzeti projekt
gcloud config set project your-project-id

En korak se redno pozabi: pojdi na konzolo Vertex AI, v Model Garden poišči želeni model Mistral in klikni Enable (Omogoči). Ta aktivacija je potrebna le enkrat na model in na projekt. Klic neomogočenega modela ne uspe, tudi če so tvoje vloge IAM pravilne – to je prva stvar, ki jo preveriš ob nepojasnjeni napaki avtorizacije.

Prvi klic brez ključa API

Najprej opazi, kaj v spodnji kodi manjka: ni ključa API, ni skrivnosti za nalaganje. Mistral SDK V2 ponuja namenskega odjemalca za Google Cloud, MistralGCP, ki temelji na google.auth.default(): prevzame poverilnice, ki jih je gcloud auth application-default login shranil lokalno, ali storitveni račun, pripet stroju v proizvodnem okolju.

from mistralai.gcp.client import MistralGCP

# Avtentikacija uporablja google.auth.default()
# Poskrbi, da si zagnal: gcloud auth application-default login
client = MistralGCP()

response = client.chat.complete(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "Explain the architecture of BigQuery."}
    ]
)

print(response.choices[0].message.content)

Odjemalec privzeto uporablja regijo europe-west4 na Nizozemskem. Če jo želiš spremeniti, jo preprosto podaj konstruktorju – imej v mislih, da so razpoložljive regije odvisne od modela in da je dokumentacija Vertex AI pri tem merodajna.

client = MistralGCP(region="us-central1")

Pretakanje (streaming) sledi istemu mehanizmu, kot smo ga videli pri neposrednem API-ju: iteriraj preko toka, dostopaj do vsebine preko chunk.data in pred izpisom preveri, saj nekateri fragmenti prispejo prazni.

stream = client.chat.stream(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "List the serverless services of Google Cloud."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Poseben primer FIM s Codestralom

Codestral na Vertex AI podpira Fill-in-the-Middle (FIM), funkcijo, ki spremeni tvoj pristop k dopolnjevanju kode. Namesto da bi prosil „napiši mi funkcijo”, podaš začetek in konec, model pa proizvede tisto, kar manjka med njima. Spremeni se tudi metoda: ni več chat.complete(), temveč fim.complete(), s parametroma prompt za zgornji del in suffix za spodnji del.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.fim.complete(
    model="codestral-2",
    prompt="def calculate_average(grades: list[float]) -> float:",
    suffix="    return average"
)

print(response.choices[0].message.content)

V tem primeru model generira telo funkcije med podpisom in return. Ve, da mora na koncu obstajati spremenljivka average, saj se ta pojavi v sufiksu: omejitev ga vodi veliko bolje kot navodilo v naravnem jeziku. Točno to se zgodi, ko IDE dopolni funkcijo sredi datoteke, zaradi česar je FIM še posebej učinkovit za dopolnjevanje v urejevalniku, izpolnjevanje manjkajočih blokov kode in generiranje kode, ki se mora prilegati obstoječi strukturi.

Odjemalec Vertex v TypeScriptu

V JavaScriptu in TypeScriptu je odjemalec Google Cloud objavljen v ločenem paketu @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp) in se od različice SDK 2.0 imenuje MistralGCP (prej se je imenoval MistralGoogleCloud). Regija in ID projekta sta deklarirana ob konstrukciji in tudi tu se v kodi ne pojavi noben ključ.

import { MistralGCP } from '@mistralai/mistralai-gcp';

const client = new MistralGCP({
  region: 'europe-west4',
  projectId: process.env.GOOGLE_PROJECT_ID,
});

const response = await client.chat.complete({
  model: 'mistral-small-2503',
  messages: [
    { role: 'user', content: 'How to optimize a BigQuery query?' },
  ],
});

console.log(response.choices?.[0]?.message?.content);

Viri: TypeScript SDK @mistralai/mistralai-gcp · Opombe ob izdaji TypeScript SDK 2.0.0

Pravilen prehod v proizvodno okolje

Avtentikacija uporabnika preko gcloud auth application-default login je popolna za razvoj, a tvoje klice veže na osebo: ko ta oseba zapusti ekipo, storitev odpove. V proizvodnem okolju uporabi storitvene račune, katerih pravice so eksplicitne in revidirljive. Kot privzeto regijo obdrži europe-west4, če je evropska skladnost del tvojih omejitev. Omogoči Cloud Logging za sledenje klicem in diagnosticiranje napak ter konfiguriraj proračunska opozorila Cloud Billing: na platformi, kjer se inferenca obračunava glede na uporabo, je proračunsko opozorilo tvoje edino varovalo pred zanko, ki bi ušla nadzoru.

Ključne ugotovitve

  • Odjemalec MistralGCP uporablja izvorno avtentikacijo Google Cloud (gcloud auth)
  • Privzeta regija je europe-west4 – spremenljiva ob inicializaciji
  • Codestral na Vertex podpira FIM (Fill-in-the-Middle) za dopolnjevanje kode
  • Ključ API Mistral ni potreben: avtentikacija poteka preko Google Cloud IAM
  • Pred uporabo omogoči vsak model v Model Garden