Mistral a Google Vertex AI-n
Ezen az oldalon
Frissítve: 2026. november 2. — Google Cloud. A Google mostantól a Gemini Enterprise Agent Platform („Agent Platform“) alatt csoportosítja AI-szolgáltatásait; a Model Garden ezen belül marad elérhető. Az elérhető Mistral modellek: Mistral Medium 3 (
mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) és Mistral Small 3.1 (mistral-small-2503). A Mistral SDK v2 és újabb verzióiban a klienst afrom mistralai.gcp.client import MistralGCPimportálással éred el, és apip install "mistralai[gcp]"paranccsal telepítheted. Források: Mistral AI modellek (Google Cloud) · Vertex AI (Mistral).
Miért a Vertex AI?
A Google Cloud Vertex AI a Google MLOps platformja, amely partnermodelleket is hostol, köztük a Mistralét. A logika itt megegyezik az Azure-éval: ha az infrastruktúrád már a Google Cloudra épül – BigQuery az adatokhoz, Cloud Run vagy GKE a végrehajtáshoz –, akkor a Vertex használatával elkerülöd, hogy újabb szállítót vezess be a láncolatba.
A döntő érv itt a hitelesítés. Többé nem kell Mistral API-kulcsot terjesztened, forgatnod vagy felügyelned: a szolgáltatásaid a saját Google szolgáltatásfiókjukkal hitelesítenek, pontosan úgy, ahogy már most is teszik egy bucket vagy egy BigQuery-tábla eléréséhez. Ez centralizált számlázást biztosít a Cloud Billing-fiókodban, és hozzáférést ad a Google MLOps-eszközeihez.
A Vertex AI-n elérhető modellek
2026 áprilisától a Vertex AI a következő modellekhez biztosít hozzáférést:
| Modell | Pozicionálás |
|---|---|
| Mistral Medium | Nagy teljesítményű, általános célú modell |
| Mistral Small | Gyors és költséghatékony |
| Codestral | Kódra specializálva, FIM (Fill-in-the-Middle) támogatással |
| Mistral OCR | Dokumentumtartalom-kinyerés |
A Google Cloud-környezet előkészítése
A konfiguráció egyszeri lépés, amely minden mást meghatároz:
- Egy Google Cloud-projekt, ahol engedélyezve van a Vertex AI API
- A következő IAM-szerepek hozzárendelve a fiókodhoz:
Vertex AI User– modellek meghívásáhozConsumer Procurement Entitlement Manager– partnermodellek engedélyezéséhez
- A gcloud CLI telepítve és konfigurálva
A második szerep gyakran meglepetést okoz: semmi köze a következtetéshez (inference); csupán arra jogosít fel, hogy engedélyezd a partnermodelleket a katalógusban. Enélkül látni fogod a Mistral modelleket a felületen, de sosem tudod majd engedélyezni őket, és a visszakapott hibaüzenet nem utal egyértelműen erre a jogosultsághiányra.
# gcloud telepítése (ha még nem történt meg)
# Lásd: https://cloud.google.com/sdk/docs/install
# Hitelesítés
gcloud auth application-default login
# Az alapértelmezett projekt beállítása
gcloud config set project your-project-id
Egy lépést rendszeresen elfelejtenek: menj el a Vertex AI konzolra, keresd meg a kívánt Mistral modellt a Model Gardenben, és kattints az Enable (Engedélyezés) gombra. Ez az aktiválás modellenként és projektenként csak egyszer szükséges. Egy nem engedélyezett modell hívása akkor is sikertelen, ha az IAM-szerepeid helyesek – ez az első dolog, amit ellenőrizned kell, ha megmagyarázhatatlan hitelesítési hibába ütközöl.
Első hívás API-kulcs nélkül
Vedd észre először is, mi hiányzik az alábbi kódból: nincs API-kulcs, nincs betöltendő titok. A Mistral SDK V2 dedikált klienst biztosít a Google Cloudhoz, a MistralGCP-t, amely a google.auth.default()-ra támaszkodik: felveszi azokat a hitelesítő adatokat, amelyeket a gcloud auth application-default login helyben elhelyezett, vagy a gyártási környezetben a géphez csatolt szolgáltatásfiókot.
from mistralai.gcp.client import MistralGCP
# A hitelesítés a google.auth.default() használatával történik
# Győződj meg róla, hogy futtattad: gcloud auth application-default login
client = MistralGCP()
response = client.chat.complete(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "Explain the architecture of BigQuery."}
]
)
print(response.choices[0].message.content)
Alapértelmezetten a kliens az europe-west4 régiót használja Hollandiában. Ennek módosításához egyszerűen add át a konstruktornak – ne feledd, hogy az elérhető régiók modellenként eltérőek lehetnek, és ebben a kérdésben a Vertex AI dokumentációja a mérvadó.
client = MistralGCP(region="us-central1")
A streamelés ugyanazt a mechanizmust követi, amit a közvetlen API-nál láttál: iterálj a streamen, a tartalmat a chunk.data segítségével éred el, és nyomtatás előtt végezz ellenőrzést, mivel egyes töredékek üresen érkezhetnek.
stream = client.chat.stream(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "List the serverless services of Google Cloud."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
A FIM különleges esete a Codestrallal
A Vertex AI-n futó Codestral támogatja a Fill-in-the-Middle (FIM) funkciót, ami megváltoztatja a kódkiegészítéshez való hozzáállásodat. Ahelyett, hogy azt kérnéd: „írj egy függvényt“, megadod a kezdetet és a véget, a modell pedig előállítja a kettő között hiányzó részt. A módszer is megváltozik: már nem a chat.complete(), hanem a fim.complete() a használatos, egy prompt paraméterrel a felső részhez és egy suffix paraméterrel az alsó részhez.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.fim.complete(
model="codestral-2",
prompt="def calculate_average(grades: list[float]) -> float:",
suffix=" return average"
)
print(response.choices[0].message.content)
Ebben a példában a modell generálja le a függvény törzsét a szignatúra és a return utasítás között. Tudja, hogy a végén léteznie kell egy average nevű változónak, mivel az megjelenik a suffixben: ez a kényszer sokkal jobban irányítja, mint egy természetes nyelvi utasítás. Pontosan ez történik, amikor egy IDE kiegészít egy függvényt egy fájl közepén, így a FIM különösen hatékony a szerkesztőben történő kiegészítésre, a hiányzó kódblokkok kitöltésére és olyan kód generálására, amelynek illeszkednie kell egy meglévő struktúrába.
A Vertex kliens TypeScriptben
JavaScriptben és TypeScriptben a Google Cloud klienst egy külön csomagban teszik közzé: @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp), és az SDK 2.0 verziója óta MistralGCP a neve (korábban MistralGoogleCloud volt). A régiót és a projektazonosítót konstrukciókor kell megadni, és itt sem jelenik meg kulcs a kódban.
import { MistralGCP } from '@mistralai/mistralai-gcp';
const client = new MistralGCP({
region: 'europe-west4',
projectId: process.env.GOOGLE_PROJECT_ID,
});
const response = await client.chat.complete({
model: 'mistral-small-2503',
messages: [
{ role: 'user', content: 'How to optimize a BigQuery query?' },
],
});
console.log(response.choices?.[0]?.message?.content);
Források: TypeScript SDK
@mistralai/mistralai-gcp· TypeScript SDK 2.0.0 kiadási jegyzetek
Megfelelő felkészülés a gyártási környezetre
A gcloud auth application-default login segítségével végzett felhasználói hitelesítés tökéletes fejlesztéshez, de a hívásokat egy személyhez köti: ha az illető elhagyja a csapatot, a szolgáltatás leáll. Gyártási környezetben használj szolgáltatásfiókokat, amelyek jogkörei explicit módon definiáltak és auditálhatók. Ha az európai megfelelés része a követelményeidnek, tartsd meg az europe-west4 régiót alapértelmezettként. Engedélyezd a Cloud Loggingot a hívások nyomon követésére és a hibák diagnosztizálására, valamint állíts be Cloud Billing-költségkereteket: olyan platformon, ahol a következtetést használat alapján számlázzák, a költségkeret-riasztás az egyetlen biztosítékod egy elszabadult ciklus ellen.
Főbb megállapítások
- A
MistralGCPkliens a natív Google Cloud-hitelesítést használja (gcloud auth) - Az alapértelmezett régió az
europe-west4– módosítható inicializáláskor - A Vertex-en futó Codestral támogatja a FIM-et (Fill-in-the-Middle) kódkiegészítéshez
- Nincs szükség Mistral API-kulcsra: a hitelesítés a Google Cloud IAM-on keresztül történik
- Használat előtt engedélyezd az egyes modelleket a Model Gardenben