Mistral na Google Vertex AI
Na tej strani
Posodobljeno 2. novembra 2026 — Google Cloud. Google zdaj združuje svoje ponudbe umetne inteligence pod imenom Gemini Enterprise Agent Platform („Agent Platform”); Model Garden ostaja dostopen znotraj njega. Razpoložljivi modeli Mistral so Mistral Medium 3 (
mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) in Mistral Small 3.1 (mistral-small-2503). Pri Mistral SDK v2 in novejših različicah odjemalca uvoziš prekofrom mistralai.gcp.client import MistralGCPin ga namestiš zpip install "mistralai[gcp]". Viri: Modeli Mistral AI (Google Cloud) · Vertex AI (Mistral).
Zakaj Vertex AI?
Google Cloud Vertex AI je Googlova platforma MLOps, ki gosti partnerske modele, vključno s tistimi od Mistrala. Logika je tu enaka kot pri Azureu: če tvoja infrastruktura že temelji na Google Cloudu – BigQuery za podatke, Cloud Run ali GKE za izvajanje – ti uporaba Vertexa prepreči uvajanje dodatnega ponudnika v tvoje verige.
Odločilni argument je avtentikacija. Ključa API Mistral ni treba več distribuirati, menjati ali nadzorovati: tvoje storitve se avtenticirajo z uporabo svojega Googlovega storitvenega računa, točno tako, kot že počnejo za dostop do vedra ali tabele BigQuery. To dodaja tudi centralizirano obračunavanje na tvojem računu Cloud Billing in dostop do Googlovih orodij MLOps.
Modeli, na voljo na Vertex AI
Od aprila 2026 Vertex AI omogoča dostop do naslednjih modelov:
| Model | Pozicioniranje |
|---|---|
| Mistral Medium | Splošni model visokih zmogljivosti |
| Mistral Small | Hiter in stroškovno učinkovit |
| Codestral | Specializiran za kodo, s podporo za FIM (Fill-in-the-Middle) |
| Mistral OCR | Izvleček vsebine dokumentov |
Priprava okolja Google Cloud
Konfiguracija se opravi enkrat in določa vse ostalo:
- Projekt Google Cloud z omogočenim API-jem Vertex AI
- Dodeljene naslednje vloge IAM tvojem računu:
Vertex AI User— za priklic modelovConsumer Procurement Entitlement Manager— za omogočanje partnerskih modelov
- Nameščen in konfiguriran CLI gcloud
Druga vloga pogosto preseneti: nima ničesar z inferenco; avtorizira omogočanje partnerskih modelov v katalogu. Brez nje boš modele Mistral videl v vmesniku, a jih nikoli ne boš mogel omogočiti, vrnjena napaka pa tega pomanjkanja dovoljenj ne kaže jasno.
# Namesti gcloud (če še ni storjeno)
# Glej https://cloud.google.com/sdk/docs/install
# Avtenticiraj se
gcloud auth application-default login
# Nastavi privzeti projekt
gcloud config set project your-project-id
En korak se redno pozabi: pojdi na konzolo Vertex AI, v Model Garden poišči želeni model Mistral in klikni Enable (Omogoči). Ta aktivacija je potrebna le enkrat na model in na projekt. Klic neomogočenega modela ne uspe, tudi če so tvoje vloge IAM pravilne – to je prva stvar, ki jo preveriš ob nepojasnjeni napaki avtorizacije.
Prvi klic brez ključa API
Najprej opazi, kaj v spodnji kodi manjka: ni ključa API, ni skrivnosti za nalaganje. Mistral SDK V2 ponuja namenskega odjemalca za Google Cloud, MistralGCP, ki temelji na google.auth.default(): prevzame poverilnice, ki jih je gcloud auth application-default login shranil lokalno, ali storitveni račun, pripet stroju v proizvodnem okolju.
from mistralai.gcp.client import MistralGCP
# Avtentikacija uporablja google.auth.default()
# Poskrbi, da si zagnal: gcloud auth application-default login
client = MistralGCP()
response = client.chat.complete(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "Explain the architecture of BigQuery."}
]
)
print(response.choices[0].message.content)
Odjemalec privzeto uporablja regijo europe-west4 na Nizozemskem. Če jo želiš spremeniti, jo preprosto podaj konstruktorju – imej v mislih, da so razpoložljive regije odvisne od modela in da je dokumentacija Vertex AI pri tem merodajna.
client = MistralGCP(region="us-central1")
Pretakanje (streaming) sledi istemu mehanizmu, kot smo ga videli pri neposrednem API-ju: iteriraj preko toka, dostopaj do vsebine preko chunk.data in pred izpisom preveri, saj nekateri fragmenti prispejo prazni.
stream = client.chat.stream(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "List the serverless services of Google Cloud."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
Poseben primer FIM s Codestralom
Codestral na Vertex AI podpira Fill-in-the-Middle (FIM), funkcijo, ki spremeni tvoj pristop k dopolnjevanju kode. Namesto da bi prosil „napiši mi funkcijo”, podaš začetek in konec, model pa proizvede tisto, kar manjka med njima. Spremeni se tudi metoda: ni več chat.complete(), temveč fim.complete(), s parametroma prompt za zgornji del in suffix za spodnji del.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.fim.complete(
model="codestral-2",
prompt="def calculate_average(grades: list[float]) -> float:",
suffix=" return average"
)
print(response.choices[0].message.content)
V tem primeru model generira telo funkcije med podpisom in return. Ve, da mora na koncu obstajati spremenljivka average, saj se ta pojavi v sufiksu: omejitev ga vodi veliko bolje kot navodilo v naravnem jeziku. Točno to se zgodi, ko IDE dopolni funkcijo sredi datoteke, zaradi česar je FIM še posebej učinkovit za dopolnjevanje v urejevalniku, izpolnjevanje manjkajočih blokov kode in generiranje kode, ki se mora prilegati obstoječi strukturi.
Odjemalec Vertex v TypeScriptu
V JavaScriptu in TypeScriptu je odjemalec Google Cloud objavljen v ločenem paketu @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp) in se od različice SDK 2.0 imenuje MistralGCP (prej se je imenoval MistralGoogleCloud). Regija in ID projekta sta deklarirana ob konstrukciji in tudi tu se v kodi ne pojavi noben ključ.
import { MistralGCP } from '@mistralai/mistralai-gcp';
const client = new MistralGCP({
region: 'europe-west4',
projectId: process.env.GOOGLE_PROJECT_ID,
});
const response = await client.chat.complete({
model: 'mistral-small-2503',
messages: [
{ role: 'user', content: 'How to optimize a BigQuery query?' },
],
});
console.log(response.choices?.[0]?.message?.content);
Viri: TypeScript SDK
@mistralai/mistralai-gcp· Opombe ob izdaji TypeScript SDK 2.0.0
Pravilen prehod v proizvodno okolje
Avtentikacija uporabnika preko gcloud auth application-default login je popolna za razvoj, a tvoje klice veže na osebo: ko ta oseba zapusti ekipo, storitev odpove. V proizvodnem okolju uporabi storitvene račune, katerih pravice so eksplicitne in revidirljive. Kot privzeto regijo obdrži europe-west4, če je evropska skladnost del tvojih omejitev. Omogoči Cloud Logging za sledenje klicem in diagnosticiranje napak ter konfiguriraj proračunska opozorila Cloud Billing: na platformi, kjer se inferenca obračunava glede na uporabo, je proračunsko opozorilo tvoje edino varovalo pred zanko, ki bi ušla nadzoru.
Ključne ugotovitve
- Odjemalec
MistralGCPuporablja izvorno avtentikacijo Google Cloud (gcloud auth) - Privzeta regija je
europe-west4– spremenljiva ob inicializaciji - Codestral na Vertex podpira FIM (Fill-in-the-Middle) za dopolnjevanje kode
- Ključ API Mistral ni potreben: avtentikacija poteka preko Google Cloud IAM
- Pred uporabo omogoči vsak model v Model Garden