Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Mistral na Google Vertex AI

Lekcija 12 od 14 Ažurirano 2. studenoga 2026. Programer
Na ovoj stranici
  1. Zašto Vertex AI?
  2. Modeli dostupni na Vertex AI-u
  3. Pripremi svoje Google Cloud okruženje
  4. Prvi poziv bez API ključa
  5. Poseban slučaj FIM-a s Codestralom
  6. Vertex klijent u TypeScriptu
  7. Ispravan prelazak u produkciju
  8. Ključne točke

Ažurirano 2. studenoga 2026. — Google Cloud. Google sada grupira svoje ponude umjetne inteligencije pod nazivom Gemini Enterprise Agent Platform („Agent Platform“); Model Garden ostaje dostupan unutar njega. Dostupni Mistral modeli su Mistral Medium 3 (mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) i Mistral Small 3.1 (mistral-small-2503). Uz Mistral SDK v2 i novije verzije, klijenta uvoziš putem from mistralai.gcp.client import MistralGCP i instaliraš ga s pip install "mistralai[gcp]". Izvori: Mistral AI modeli (Google Cloud) · Vertex AI (Mistral).

Zašto Vertex AI?

Google Cloud Vertex AI je Googleova MLOps platforma koja hosta partnerske modele, uključujući one od Mistrala. Logika je ovdje ista kao kod Azurea: ako tvoja infrastruktura već ovisi o Google Cloudu—BigQuery za podatke, Cloud Run ili GKE za izvršavanje—korištenje Vertexa sprječava uvođenje još jednog dobavljača u tvoj lanac.

Odlučujući argument ovdje je autentifikacija. Više ne moraš distribuirati, rotirati niti nadzirati Mistral API ključ: tvoje se usluge autentificiraju koristeći svoj Google servisni račun, točno onako kako to već čine za pristup bucketu ili BigQuery tablici. Ovo također dodaje centralizirano naplaćivanje na tvoj Cloud Billing račun i pristup Googleovim MLOps alatima.

Modeli dostupni na Vertex AI-u

Od travnja 2026., Vertex AI omogućuje pristup sljedećim modelima:

ModelPozicioniranje
Mistral MediumOpćenamjenski model visokih performansi
Mistral SmallBrz i isplativ
CodestralSpecijaliziran za kod, s podrškom za FIM (Fill-in-the-Middle)
Mistral OCREkstrakcija sadržaja dokumenata

Pripremi svoje Google Cloud okruženje

Konfiguracija se događa jednom i uvjetuje sve ostalo:

  1. Google Cloud projekt s omogućenim Vertex AI API-jem
  2. Sljedeće IAM uloge dodijeljene tvom računu:
    • Vertex AI User — za pozivanje modela
    • Consumer Procurement Entitlement Manager — za omogućavanje partnerskih modela
  3. gcloud CLI instaliran i konfiguriran

Druga uloga često iznenadi ljude: ona nema veze s inferencijom; ona ovlašćuje omogućavanje partnerskih modela u katalogu. Bez nje vidjet ćeš Mistral modele u sučelju, ali ih nikada nećeš moći omogućiti, a vraćena greška neće jasno ukazivati na ovaj nedostatak dopuštenja.

# Instaliraj gcloud (ako već nije učinjeno)
# Pogledaj https://cloud.google.com/sdk/docs/install

# Autentificiraj se
gcloud auth application-default login

# Postavi zadani projekt
gcloud config set project your-project-id

Jedan se korak redovito zaboravlja: idi na Vertex AI konzolu, pronađi željeni Mistral model u Model Gardenu i klikni Enable. Ova aktivacija je potrebna samo jednom po modelu i po projektu. Poziv neomogućenom modelu neće uspjeti čak i ako su tvoje IAM uloge ispravne—ovo je prva stvar koju trebaš provjeriti kada se suočiš s neobjašnjivom greškom autorizacije.

Prvi poziv bez API ključa

Prvo primijeti što nedostaje u kodu ispod: nema API ključa, nema tajne za učitavanje. Mistral SDK V2 pruža namjenskog klijenta za Google Cloud, MistralGCP, koji se oslanja na google.auth.default(): on preuzima vjerodajnice koje je gcloud auth application-default login pohranio lokalno ili servisni račun attached na stroj u produkciji.

from mistralai.gcp.client import MistralGCP

# Autentifikacija koristi google.auth.default()
# Provjeri jesi li pokrenuo: gcloud auth application-default login
client = MistralGCP()

response = client.chat.complete(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "Explain the architecture of BigQuery."}
    ]
)

print(response.choices[0].message.content)

Zadano, klijent koristi regiju europe-west4, u Nizozemskoj. Da bi je promijenio, jednostavno je proslijedi konstruktoru—imajući na umu da dostupne regije ovise o modelu i da je Vertex AI dokumentacija mjerodavna po tom pitanju.

client = MistralGCP(region="us-central1")

Streaming prati isti mehanizam viđen s izravnim API-jem: iteriraj kroz stream, pristupi sadržaju putem chunk.data i testiraj prije ispisa jer neki fragmenti stižu prazni.

stream = client.chat.stream(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "List the serverless services of Google Cloud."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Poseban slučaj FIM-a s Codestralom

Codestral na Vertex AI-u podržava Fill-in-the-Middle (FIM), značajku koja mijenja način na koji pristupaš dovršavanju koda. Umjesto da pitaš „napiši mi funkciju“, pružaš početak i kraj, a model proizvodi ono što nedostaje između ta dva dijela. Metoda se također mijenja: više nije chat.complete() već fim.complete(), s prompt za gornji dio i suffix za donji dio.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.fim.complete(
    model="codestral-2",
    prompt="def calculate_average(grades: list[float]) -> float:",
    suffix="    return average"
)

print(response.choices[0].message.content)

U ovom primjeru, model generira tijelo funkcije između potpisa i return. Zna da varijabla average mora postojati na kraju jer se pojavljuje u suffixu: ograničenje ga vodi puno bolje od instrukcije u prirodnom jeziku. Točno se to događa kada IDE dovršava funkciju usred datoteke, čineći FIM posebno učinkovitim za dovršavanje u uređivaču, popunjavanje nedostajućih blokova koda i generiranje koda koji se mora uklopiti u postojeću strukturu.

Vertex klijent u TypeScriptu

U JavaScriptu i TypeScriptu, Google Cloud klijent objavljen je u zasebnom paketu, @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp), i naziva se MistralGCP od SDK verzije 2.0 (prethodno se zvao MistralGoogleCloud). Regija i ID projekta deklariraju se pri konstrukciji, i ponovno, nijedan ključ se ne pojavljuje u kodu.

import { MistralGCP } from '@mistralai/mistralai-gcp';

const client = new MistralGCP({
  region: 'europe-west4',
  projectId: process.env.GOOGLE_PROJECT_ID,
});

const response = await client.chat.complete({
  model: 'mistral-small-2503',
  messages: [
    { role: 'user', content: 'How to optimize a BigQuery query?' },
  ],
});

console.log(response.choices?.[0]?.message?.content);

Izvori: TypeScript SDK @mistralai/mistralai-gcp · TypeScript SDK bilješke o izdanju 2.0.0

Ispravan prelazak u produkciju

Autentifikacija korisnika putem gcloud auth application-default login savršena je za razvoj, ali veže tvoje pozive na osobu: dan kada ta osoba napusti tim, usluga puca. U produkciji koristi servise račune, čija su prava eksplicitna i revizibilna. Zadrži europe-west4 kao zadanu regiju ako je europska usklađenost dio tvojih ograničenja. Omogući Cloud Logging za praćenje tvojih poziva i dijagnosticiranje grešaka te konfiguriraj Cloud Billing proračune: na platformi gdje se inferencija naplaćuje prema korištenju, upozorenje o proračunu tvoja je jedina zaštita od petlje koja je izmakla kontroli.

Ključne točke

  • Klijent MistralGCP koristi izvornu Google Cloud autentifikaciju (gcloud auth)
  • Zadana regija je europe-west4 — modificirana pri inicijalizaciji
  • Codestral na Vertexu podržava FIM (Fill-in-the-Middle) za dovršavanje koda
  • Nije potreban Mistral API ključ: autentifikacija ide kroz Google Cloud IAM
  • Omogući svaki model u Model Gardenu prije korištenja