Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Mistral a Google Vertex AI-n

12. lecke 14 közül Frissítve 2026. november 2. Fejlesztő
Ezen az oldalon
  1. Miért a Vertex AI?
  2. A Vertex AI-n elérhető modellek
  3. A Google Cloud-környezet előkészítése
  4. Első hívás API-kulcs nélkül
  5. A FIM különleges esete a Codestrallal
  6. A Vertex kliens TypeScriptben
  7. Megfelelő felkészülés a gyártási környezetre
  8. Főbb megállapítások

Frissítve: 2026. november 2. — Google Cloud. A Google mostantól a Gemini Enterprise Agent Platform („Agent Platform“) alatt csoportosítja AI-szolgáltatásait; a Model Garden ezen belül marad elérhető. Az elérhető Mistral modellek: Mistral Medium 3 (mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) és Mistral Small 3.1 (mistral-small-2503). A Mistral SDK v2 és újabb verzióiban a klienst a from mistralai.gcp.client import MistralGCP importálással éred el, és a pip install "mistralai[gcp]" paranccsal telepítheted. Források: Mistral AI modellek (Google Cloud) · Vertex AI (Mistral).

Miért a Vertex AI?

A Google Cloud Vertex AI a Google MLOps platformja, amely partnermodelleket is hostol, köztük a Mistralét. A logika itt megegyezik az Azure-éval: ha az infrastruktúrád már a Google Cloudra épül – BigQuery az adatokhoz, Cloud Run vagy GKE a végrehajtáshoz –, akkor a Vertex használatával elkerülöd, hogy újabb szállítót vezess be a láncolatba.

A döntő érv itt a hitelesítés. Többé nem kell Mistral API-kulcsot terjesztened, forgatnod vagy felügyelned: a szolgáltatásaid a saját Google szolgáltatásfiókjukkal hitelesítenek, pontosan úgy, ahogy már most is teszik egy bucket vagy egy BigQuery-tábla eléréséhez. Ez centralizált számlázást biztosít a Cloud Billing-fiókodban, és hozzáférést ad a Google MLOps-eszközeihez.

A Vertex AI-n elérhető modellek

2026 áprilisától a Vertex AI a következő modellekhez biztosít hozzáférést:

ModellPozicionálás
Mistral MediumNagy teljesítményű, általános célú modell
Mistral SmallGyors és költséghatékony
CodestralKódra specializálva, FIM (Fill-in-the-Middle) támogatással
Mistral OCRDokumentumtartalom-kinyerés

A Google Cloud-környezet előkészítése

A konfiguráció egyszeri lépés, amely minden mást meghatároz:

  1. Egy Google Cloud-projekt, ahol engedélyezve van a Vertex AI API
  2. A következő IAM-szerepek hozzárendelve a fiókodhoz:
    • Vertex AI User – modellek meghívásához
    • Consumer Procurement Entitlement Manager – partnermodellek engedélyezéséhez
  3. A gcloud CLI telepítve és konfigurálva

A második szerep gyakran meglepetést okoz: semmi köze a következtetéshez (inference); csupán arra jogosít fel, hogy engedélyezd a partnermodelleket a katalógusban. Enélkül látni fogod a Mistral modelleket a felületen, de sosem tudod majd engedélyezni őket, és a visszakapott hibaüzenet nem utal egyértelműen erre a jogosultsághiányra.

# gcloud telepítése (ha még nem történt meg)
# Lásd: https://cloud.google.com/sdk/docs/install

# Hitelesítés
gcloud auth application-default login

# Az alapértelmezett projekt beállítása
gcloud config set project your-project-id

Egy lépést rendszeresen elfelejtenek: menj el a Vertex AI konzolra, keresd meg a kívánt Mistral modellt a Model Gardenben, és kattints az Enable (Engedélyezés) gombra. Ez az aktiválás modellenként és projektenként csak egyszer szükséges. Egy nem engedélyezett modell hívása akkor is sikertelen, ha az IAM-szerepeid helyesek – ez az első dolog, amit ellenőrizned kell, ha megmagyarázhatatlan hitelesítési hibába ütközöl.

Első hívás API-kulcs nélkül

Vedd észre először is, mi hiányzik az alábbi kódból: nincs API-kulcs, nincs betöltendő titok. A Mistral SDK V2 dedikált klienst biztosít a Google Cloudhoz, a MistralGCP-t, amely a google.auth.default()-ra támaszkodik: felveszi azokat a hitelesítő adatokat, amelyeket a gcloud auth application-default login helyben elhelyezett, vagy a gyártási környezetben a géphez csatolt szolgáltatásfiókot.

from mistralai.gcp.client import MistralGCP

# A hitelesítés a google.auth.default() használatával történik
# Győződj meg róla, hogy futtattad: gcloud auth application-default login
client = MistralGCP()

response = client.chat.complete(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "Explain the architecture of BigQuery."}
    ]
)

print(response.choices[0].message.content)

Alapértelmezetten a kliens az europe-west4 régiót használja Hollandiában. Ennek módosításához egyszerűen add át a konstruktornak – ne feledd, hogy az elérhető régiók modellenként eltérőek lehetnek, és ebben a kérdésben a Vertex AI dokumentációja a mérvadó.

client = MistralGCP(region="us-central1")

A streamelés ugyanazt a mechanizmust követi, amit a közvetlen API-nál láttál: iterálj a streamen, a tartalmat a chunk.data segítségével éred el, és nyomtatás előtt végezz ellenőrzést, mivel egyes töredékek üresen érkezhetnek.

stream = client.chat.stream(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "List the serverless services of Google Cloud."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

A FIM különleges esete a Codestrallal

A Vertex AI-n futó Codestral támogatja a Fill-in-the-Middle (FIM) funkciót, ami megváltoztatja a kódkiegészítéshez való hozzáállásodat. Ahelyett, hogy azt kérnéd: „írj egy függvényt“, megadod a kezdetet és a véget, a modell pedig előállítja a kettő között hiányzó részt. A módszer is megváltozik: már nem a chat.complete(), hanem a fim.complete() a használatos, egy prompt paraméterrel a felső részhez és egy suffix paraméterrel az alsó részhez.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.fim.complete(
    model="codestral-2",
    prompt="def calculate_average(grades: list[float]) -> float:",
    suffix="    return average"
)

print(response.choices[0].message.content)

Ebben a példában a modell generálja le a függvény törzsét a szignatúra és a return utasítás között. Tudja, hogy a végén léteznie kell egy average nevű változónak, mivel az megjelenik a suffixben: ez a kényszer sokkal jobban irányítja, mint egy természetes nyelvi utasítás. Pontosan ez történik, amikor egy IDE kiegészít egy függvényt egy fájl közepén, így a FIM különösen hatékony a szerkesztőben történő kiegészítésre, a hiányzó kódblokkok kitöltésére és olyan kód generálására, amelynek illeszkednie kell egy meglévő struktúrába.

A Vertex kliens TypeScriptben

JavaScriptben és TypeScriptben a Google Cloud klienst egy külön csomagban teszik közzé: @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp), és az SDK 2.0 verziója óta MistralGCP a neve (korábban MistralGoogleCloud volt). A régiót és a projektazonosítót konstrukciókor kell megadni, és itt sem jelenik meg kulcs a kódban.

import { MistralGCP } from '@mistralai/mistralai-gcp';

const client = new MistralGCP({
  region: 'europe-west4',
  projectId: process.env.GOOGLE_PROJECT_ID,
});

const response = await client.chat.complete({
  model: 'mistral-small-2503',
  messages: [
    { role: 'user', content: 'How to optimize a BigQuery query?' },
  ],
});

console.log(response.choices?.[0]?.message?.content);

Források: TypeScript SDK @mistralai/mistralai-gcp · TypeScript SDK 2.0.0 kiadási jegyzetek

Megfelelő felkészülés a gyártási környezetre

A gcloud auth application-default login segítségével végzett felhasználói hitelesítés tökéletes fejlesztéshez, de a hívásokat egy személyhez köti: ha az illető elhagyja a csapatot, a szolgáltatás leáll. Gyártási környezetben használj szolgáltatásfiókokat, amelyek jogkörei explicit módon definiáltak és auditálhatók. Ha az európai megfelelés része a követelményeidnek, tartsd meg az europe-west4 régiót alapértelmezettként. Engedélyezd a Cloud Loggingot a hívások nyomon követésére és a hibák diagnosztizálására, valamint állíts be Cloud Billing-költségkereteket: olyan platformon, ahol a következtetést használat alapján számlázzák, a költségkeret-riasztás az egyetlen biztosítékod egy elszabadult ciklus ellen.

Főbb megállapítások

  • A MistralGCP kliens a natív Google Cloud-hitelesítést használja (gcloud auth)
  • Az alapértelmezett régió az europe-west4 – módosítható inicializáláskor
  • A Vertex-en futó Codestral támogatja a FIM-et (Fill-in-the-Middle) kódkiegészítéshez
  • Nincs szükség Mistral API-kulcsra: a hitelesítés a Google Cloud IAM-on keresztül történik
  • Használat előtt engedélyezd az egyes modelleket a Model Gardenben