Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Mistral na Google Vertex AI

Lekcia 12 z 14 Aktualizované 2. novembra 2026 Vývojár
Na tejto strane
  1. Prečo Vertex AI?
  2. Modely dostupné na Vertex AI
  3. Príprava prostredia Google Cloud
  4. Prvé volanie bez API kľúča
  5. Špeciálny prípad FIM s Codestral
  6. Klient Vertex v TypeScripte
  7. Správne nasadenie do produkcie
  8. Kľúčové poznatky

Aktualizované 2. novembra 2026 — Google Cloud. Google teraz zoskupuje svoje ponuky umelej inteligencie pod Gemini Enterprise Agent Platform („Agent Platform“); Model Garden zostáva v rámci nej dostupný. Dostupné modely Mistral sú Mistral Medium 3 (mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) a Mistral Small 3.1 (mistral-small-2503). Od verzie Mistral SDK v2 vyššej importuj klienta cez from mistralai.gcp.client import MistralGCP a nainštaluj ho príkazom pip install "mistralai[gcp]". Zdroje: Modely Mistral AI (Google Cloud) · Vertex AI (Mistral).

Prečo Vertex AI?

Google Cloud Vertex AI je platforma MLOps od Google, ktorá hostí partnerské modely, vrátane tých od Mistral. Logika je tu rovnaká ako v prípade Azure: ak tvoja infraštruktúra už závisí od Google Cloud – BigQuery pre dáta, Cloud Run alebo GKE pre vykonávanie – použitie Vertex ti zabráni zavádzať do reťazca ďalšieho dodávateľa.

Rozhodujúcim argumentom je tu autentifikácia. Už nemusíš distribuovať, rotovať ani monitorovať API kľúč Mistral: tvoje služby sa autentifikujú pomocou svojho servisného účtu Google, presne tak, ako to už robia pri prístupe do bucketu alebo tabuľky BigQuery. To tiež prináša centralizovanú fakturáciu na tvojom účte Cloud Billing a prístup k nástrojom MLOps od Google.

Modely dostupné na Vertex AI

K aprílu 2026 poskytuje Vertex AI prístup k nasledujúcim modelom:

ModelPozicionovanie
Mistral MediumVšeobecný model s vysokým výkonom
Mistral SmallRýchly a nákladovo efektívny
CodestralŠpecializovaný na kód s podporou FIM (Fill-in-the-Middle)
Mistral OCRExtrakcia obsahu z dokumentov

Príprava prostredia Google Cloud

Konfigurácia sa vykonáva raz a podmieňuje všetko ostatné:

  1. Projekt Google Cloud s povoleným rozhraním API Vertex AI
  2. Nasledujúce roly IAM priradené tvojmu účtu:
    • Vertex AI User – na vyvolávanie modelov
    • Consumer Procurement Entitlement Manager – na povoľovanie partnerských modelov
  3. Nainštalované a nakonfigurované CLI gcloud

Druhá rola často prekvapí: nemá nič spoločné s inferenciou; oprávňuje na povoľovanie partnerských modelov v katalógu. Bez nej uvidíš modely Mistral v rozhraní, ale nikdy ich nebudeš môcť povoliť a vrátená chyba jasne neukazuje na tento nedostatok oprávnení.

# Inštalácia gcloud (ak ešte nebola vykonaná)
# Pozri https://cloud.google.com/sdk/docs/install

# Autentifikácia
gcloud auth application-default login

# Nastavenie predvoleného projektu
gcloud config set project your-project-id

Jeden krok sa pravidelne zabúda: prejdite na konzolu Vertex AI, nájdite požadovaný model Mistral v Model Garden a kliknite na Enable (Povoliť). Táto aktivácia sa vyžaduje len raz pre každý model a každý projekt. Volanie nepovoleného modelu zlyhá, aj keď sú tvoje roly IAM správne – toto je prvá vec, ktorú treba skontrolovať pri nevysvetliteľnej chybe autorizácie.

Prvé volanie bez API kľúča

Všimni si najprv, čo v nižšie uvedenom kóde chýba: žiadny API kľúč, žiadne tajomstvo na načítanie. Mistral SDK V2 poskytuje vyhradeného klienta pre Google Cloud, MistralGCP, ktorý sa spolieha na google.auth.default(): preberá poverenia, ktoré gcloud auth application-default login uložilo lokálne, alebo servisný účet pripojený k stroju v produkcii.

from mistralai.gcp.client import MistralGCP

# Autentifikácia používa google.auth.default()
# Uisti sa, že si spustil: gcloud auth application-default login
client = MistralGCP()

response = client.chat.complete(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "Explain the architecture of BigQuery."}
    ]
)

print(response.choices[0].message.content)

Klient predvolene používa región europe-west4 v Holandsku. Ak ho chceš zmeniť, jednoducho ho odovzdaj konštruktoru – maj na pamäti, že dostupné regióny závisia od modelu a dokumentácia Vertex AI je v tomto bode rozhodujúca.

client = MistralGCP(region="us-central1")

Streamovanie funguje na rovnakom princípe ako pri priamom API: iteruj cez stream, pristupuj k obsahu cez chunk.data a pred tlačou testuj, keďže niektoré fragmenty prichádzajú prázdne.

stream = client.chat.stream(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "List the serverless services of Google Cloud."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Špeciálny prípad FIM s Codestral

Codestral na Vertex AI podporuje Fill-in-the-Middle (FIM), funkciu, ktorá mení spôsob, akým pristupuješ ku kompletizácii kódu. Namiesto otázky „napíš mi funkciu“ poskytneš začiatok a koniec a model vygeneruje to, čo chýba medzi nimi. Mení sa aj metóda: už to nie je chat.complete(), ale fim.complete(), s parametrom prompt pre hornú časť a suffix pre dolnú časť.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.fim.complete(
    model="codestral-2",
    prompt="def calculate_average(grades: list[float]) -> float:",
    suffix="    return average"
)

print(response.choices[0].message.content)

V tomto príklade model vygeneruje telo funkcie medzi signatúrou a príkazom return. Vie, že premenná average musí na konci existovať, pretože sa objavuje v sufuxe: obmedzenie ho usmerňuje oveľa lepšie ako inštrukcia v prirodzenom jazyku. Presne to sa deje, keď IDE dopĺňa funkciu uprostred súboru, čo robí z FIM mimoriadne efektívny nástroj na dopĺňanie v editore, vypĺňanie chýbajúcich blokov kódu a generovanie kódu, ktorý musí zapadnúť do existujúcej štruktúry.

Klient Vertex v TypeScripte

V JavaScripte a TypeScripte je klient Google Cloud publikovaný v samostatnom balíku @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp) a od verzie SDK 2.0 sa nazýva MistralGCP (predtým sa volal MistralGoogleCloud). Región a ID projektu sa deklarujú pri konštrukcii a opäť sa v kóde neobjavuje žiadny kľúč.

import { MistralGCP } from '@mistralai/mistralai-gcp';

const client = new MistralGCP({
  region: 'europe-west4',
  projectId: process.env.GOOGLE_PROJECT_ID,
});

const response = await client.chat.complete({
  model: 'mistral-small-2503',
  messages: [
    { role: 'user', content: 'How to optimize a BigQuery query?' },
  ],
});

console.log(response.choices?.[0]?.message?.content);

Zdroje: TypeScript SDK @mistralai/mistralai-gcp · Poznámky k vydaniu TypeScript SDK 2.0.0

Správne nasadenie do produkcie

Autentifikácia používateľa cez gcloud auth application-default login je ideálna pre vývoj, ale viaže tvoje volania na konkrétnu osobu: v deň, keď táto osoba opustí tím, služba prestane fungovať. V produkcii používaj servisné účty, ktorých práva sú explicitné a auditovateľné. Ak je európsky súlad súčasťou tvojich obmedzení, ponechaj europe-west4 ako predvolený región. Povoľ Cloud Logging na sledovanie tvojich volaní a diagnostiku chýb a nakonfiguruj rozpočty Cloud Billing: na platforme, kde sa inferencia fakturuje podľa využitia, je upozornenie na rozpočet tvojou jedinou ochranou proti nekontrolovanej slučke.

Kľúčové poznatky

  • Klient MistralGCP používa natívnu autentifikáciu Google Cloud (gcloud auth)
  • Predvolený región je europe-west4 – upraviteľný pri inicializácii
  • Codestral na Vertex podporuje FIM (Fill-in-the-Middle) na kompletizáciu kódu
  • Nie je potrebný žiadny API kľúč Mistral: autentifikácia prebieha cez Google Cloud IAM
  • Pred použitím povoľ každý model v Model Garden