Mistral na Google Vertex AI
Na ovoj stranici
Ažurirano 2. studenoga 2026. — Google Cloud. Google sada grupira svoje ponude umjetne inteligencije pod nazivom Gemini Enterprise Agent Platform („Agent Platform“); Model Garden ostaje dostupan unutar njega. Dostupni Mistral modeli su Mistral Medium 3 (
mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) i Mistral Small 3.1 (mistral-small-2503). Uz Mistral SDK v2 i novije verzije, klijenta uvoziš putemfrom mistralai.gcp.client import MistralGCPi instaliraš ga spip install "mistralai[gcp]". Izvori: Mistral AI modeli (Google Cloud) · Vertex AI (Mistral).
Zašto Vertex AI?
Google Cloud Vertex AI je Googleova MLOps platforma koja hosta partnerske modele, uključujući one od Mistrala. Logika je ovdje ista kao kod Azurea: ako tvoja infrastruktura već ovisi o Google Cloudu—BigQuery za podatke, Cloud Run ili GKE za izvršavanje—korištenje Vertexa sprječava uvođenje još jednog dobavljača u tvoj lanac.
Odlučujući argument ovdje je autentifikacija. Više ne moraš distribuirati, rotirati niti nadzirati Mistral API ključ: tvoje se usluge autentificiraju koristeći svoj Google servisni račun, točno onako kako to već čine za pristup bucketu ili BigQuery tablici. Ovo također dodaje centralizirano naplaćivanje na tvoj Cloud Billing račun i pristup Googleovim MLOps alatima.
Modeli dostupni na Vertex AI-u
Od travnja 2026., Vertex AI omogućuje pristup sljedećim modelima:
| Model | Pozicioniranje |
|---|---|
| Mistral Medium | Općenamjenski model visokih performansi |
| Mistral Small | Brz i isplativ |
| Codestral | Specijaliziran za kod, s podrškom za FIM (Fill-in-the-Middle) |
| Mistral OCR | Ekstrakcija sadržaja dokumenata |
Pripremi svoje Google Cloud okruženje
Konfiguracija se događa jednom i uvjetuje sve ostalo:
- Google Cloud projekt s omogućenim Vertex AI API-jem
- Sljedeće IAM uloge dodijeljene tvom računu:
Vertex AI User— za pozivanje modelaConsumer Procurement Entitlement Manager— za omogućavanje partnerskih modela
- gcloud CLI instaliran i konfiguriran
Druga uloga često iznenadi ljude: ona nema veze s inferencijom; ona ovlašćuje omogućavanje partnerskih modela u katalogu. Bez nje vidjet ćeš Mistral modele u sučelju, ali ih nikada nećeš moći omogućiti, a vraćena greška neće jasno ukazivati na ovaj nedostatak dopuštenja.
# Instaliraj gcloud (ako već nije učinjeno)
# Pogledaj https://cloud.google.com/sdk/docs/install
# Autentificiraj se
gcloud auth application-default login
# Postavi zadani projekt
gcloud config set project your-project-id
Jedan se korak redovito zaboravlja: idi na Vertex AI konzolu, pronađi željeni Mistral model u Model Gardenu i klikni Enable. Ova aktivacija je potrebna samo jednom po modelu i po projektu. Poziv neomogućenom modelu neće uspjeti čak i ako su tvoje IAM uloge ispravne—ovo je prva stvar koju trebaš provjeriti kada se suočiš s neobjašnjivom greškom autorizacije.
Prvi poziv bez API ključa
Prvo primijeti što nedostaje u kodu ispod: nema API ključa, nema tajne za učitavanje. Mistral SDK V2 pruža namjenskog klijenta za Google Cloud, MistralGCP, koji se oslanja na google.auth.default(): on preuzima vjerodajnice koje je gcloud auth application-default login pohranio lokalno ili servisni račun attached na stroj u produkciji.
from mistralai.gcp.client import MistralGCP
# Autentifikacija koristi google.auth.default()
# Provjeri jesi li pokrenuo: gcloud auth application-default login
client = MistralGCP()
response = client.chat.complete(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "Explain the architecture of BigQuery."}
]
)
print(response.choices[0].message.content)
Zadano, klijent koristi regiju europe-west4, u Nizozemskoj. Da bi je promijenio, jednostavno je proslijedi konstruktoru—imajući na umu da dostupne regije ovise o modelu i da je Vertex AI dokumentacija mjerodavna po tom pitanju.
client = MistralGCP(region="us-central1")
Streaming prati isti mehanizam viđen s izravnim API-jem: iteriraj kroz stream, pristupi sadržaju putem chunk.data i testiraj prije ispisa jer neki fragmenti stižu prazni.
stream = client.chat.stream(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "List the serverless services of Google Cloud."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
Poseban slučaj FIM-a s Codestralom
Codestral na Vertex AI-u podržava Fill-in-the-Middle (FIM), značajku koja mijenja način na koji pristupaš dovršavanju koda. Umjesto da pitaš „napiši mi funkciju“, pružaš početak i kraj, a model proizvodi ono što nedostaje između ta dva dijela. Metoda se također mijenja: više nije chat.complete() već fim.complete(), s prompt za gornji dio i suffix za donji dio.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.fim.complete(
model="codestral-2",
prompt="def calculate_average(grades: list[float]) -> float:",
suffix=" return average"
)
print(response.choices[0].message.content)
U ovom primjeru, model generira tijelo funkcije između potpisa i return. Zna da varijabla average mora postojati na kraju jer se pojavljuje u suffixu: ograničenje ga vodi puno bolje od instrukcije u prirodnom jeziku. Točno se to događa kada IDE dovršava funkciju usred datoteke, čineći FIM posebno učinkovitim za dovršavanje u uređivaču, popunjavanje nedostajućih blokova koda i generiranje koda koji se mora uklopiti u postojeću strukturu.
Vertex klijent u TypeScriptu
U JavaScriptu i TypeScriptu, Google Cloud klijent objavljen je u zasebnom paketu, @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp), i naziva se MistralGCP od SDK verzije 2.0 (prethodno se zvao MistralGoogleCloud). Regija i ID projekta deklariraju se pri konstrukciji, i ponovno, nijedan ključ se ne pojavljuje u kodu.
import { MistralGCP } from '@mistralai/mistralai-gcp';
const client = new MistralGCP({
region: 'europe-west4',
projectId: process.env.GOOGLE_PROJECT_ID,
});
const response = await client.chat.complete({
model: 'mistral-small-2503',
messages: [
{ role: 'user', content: 'How to optimize a BigQuery query?' },
],
});
console.log(response.choices?.[0]?.message?.content);
Izvori: TypeScript SDK
@mistralai/mistralai-gcp· TypeScript SDK bilješke o izdanju 2.0.0
Ispravan prelazak u produkciju
Autentifikacija korisnika putem gcloud auth application-default login savršena je za razvoj, ali veže tvoje pozive na osobu: dan kada ta osoba napusti tim, usluga puca. U produkciji koristi servise račune, čija su prava eksplicitna i revizibilna. Zadrži europe-west4 kao zadanu regiju ako je europska usklađenost dio tvojih ograničenja. Omogući Cloud Logging za praćenje tvojih poziva i dijagnosticiranje grešaka te konfiguriraj Cloud Billing proračune: na platformi gdje se inferencija naplaćuje prema korištenju, upozorenje o proračunu tvoja je jedina zaštita od petlje koja je izmakla kontroli.
Ključne točke
- Klijent
MistralGCPkoristi izvornu Google Cloud autentifikaciju (gcloud auth) - Zadana regija je
europe-west4— modificirana pri inicijalizaciji - Codestral na Vertexu podržava FIM (Fill-in-the-Middle) za dovršavanje koda
- Nije potreban Mistral API ključ: autentifikacija ide kroz Google Cloud IAM
- Omogući svaki model u Model Gardenu prije korištenja