Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Mistral Google Vertex AI-s

Õppetund 12 / 14 Värskendatud 2. november 2026 Arendajatele
Sellel lehel
  1. Miks valida Vertex AI?
  2. Vertex AI-s saadaolevad mudelid
  3. Valmista ette oma Google Cloudi keskkond
  4. Esimene kutse ilma API-võtmeta
  5. Codestrali erijuhtum FIM-iga
  6. Vertexi klient TypeScriptis
  7. Õige liikumine tootmiskeskkonda
  8. Peamised punktid

Uuendatud 2. novembril 2026 — Google Cloud. Google koondab nüüd oma tehisintellekti teenused platvormi Gemini Enterprise Agent Platform („Agent Platform“) alla; Mudeliaed (Model Garden) on selles endiselt kättesaadav. Saadaolevad Mistrali mudelid on Mistral Medium 3 (mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) ja Mistral Small 3.1 (mistral-small-2503). Alates Mistral SDK versioonist 2 impordi klient käsu from mistralai.gcp.client import MistralGCP abil ja paigalda see käsuga pip install "mistralai[gcp]". Allikad: Mistral AI mudelid (Google Cloud) · Vertex AI (Mistral).

Miks valida Vertex AI?

Google Cloud Vertex AI on Google’i MLOps-i platvorm, mis majutab ka partnerite mudелеid, sealhulgas Mistrali omi. Loogika on siin sama mis Azure’i puhul: kui sinu taristu tugineb juba Google Cloudile – andmete jaoks BigQuery, käivitamiseks Cloud Run või GKE –, siis Vertexi kasutamine hoiab ära uue teenusepakkuja lisamise sinu ahelasse.

Otsustavaks argumendiks on siin autentimine. Sa ei pea enam jagama, vahetama ega jälgima Mistrali API võtit: sinu teenused autentivad end oma Google’i teenusekonto abil, täpselt nagu nad juba teevad pääsuks ämbrale (bucket) või BigQuery tabelile. See lisab ka tsentraliseeritud arvelduse sinu Cloud Billingu kontole ja juurdepääsu Google’i MLOps-i tööriistadele.

Vertex AI-s saadaolevad mudelid

Alates aprillist 2026 pakub Vertex AI juurdepääsu järgmistele mudelitele:

MudelPositsioneerimine
Mistral MediumSuure jõudlusega üldotstarbeline mudel
Mistral SmallKiire ja kuluefektiivne
CodestralSpetsialiseeritud kodeerimisele, toetab FIM-i (Fill-in-the-Middle)
Mistral OCRDokumentide sisu ekstraheerimine

Valmista ette oma Google Cloudi keskkond

Konfigureerimine toimub üks kord ja määrab kõik järgneva:

  1. Google Cloudi projekt, millel on Vertex AI API lubatud
  2. Järgmised IAM-i rollid, mis on omistatud sinu kontole:
    • Vertex AI User – mudelite kutsumiseks
    • Consumer Procurement Entitlement Manager – partnermudelite lubamiseks
  3. gcloud CLI, mis on paigaldatud ja konfigureeritud

Teine roll paneb sageli imestama: sellel pole järeldamisega (inference) midagi pistmist; see annab loa lubada partnermudeleid kataloogis. Ilma selleta näed sa Mistrali mudeleid liideses, kuid ei saa neid kunagi lubada, ja tagastatud veateade ei viita selgelt sellele õiguste puudumisele.

# Paigalda gcloud (kui pole veel tehtud)
# Vaata https://cloud.google.com/sdk/docs/install

# Autendi ennast
gcloud auth application-default login

# Määra vaikeprojekt
gcloud config set project your-project-id

Üks samm ununeb regulaarselt: mine Vertex AI konsooli, otsi Mudelaiast (Model Garden) üles soovitud Mistrali mudel ja klõpsa nuppu Enable (Luba). See aktiveerimine on vajalik ainult üks kord iga mudeli ja projekti kohta. Kutse lubamata mudelile ebaõnnestub isegi siis, kui sinu IAM-i rollid on õiged – see on esimene asi, mida kontrollida seletamatu autoriseerimisvea korral.

Esimene kutse ilma API-võtmeta

Pane tähele, mida allolevas koodis ei ole: ei API-võtit ega saladust, mida laadida. Mistral SDK V2 pakub Google Cloudile pühendatud klienti MistralGCP, mis tugineb funktsioonile google.auth.default(): see loeb sisse mandaadid, mille gcloud auth application-default login lokaalselt salvestas, või tootmiskeskkonnas masinaga seotud teenusekonto.

from mistralai.gcp.client import MistralGCP

# Autentimine kasutab google.auth.default()
# Veendu, et oleksid käivitanud: gcloud auth application-default login
client = MistralGCP()

response = client.chat.complete(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "Selgita BigQuery arhitektuuri."}
    ]
)

print(response.choices[0].message.content)

Vaikimisi kasutab klient piirkonda europe-west4 Hollandis. Selle muutmiseks edasta see lihtsalt konstruktorile – pidades meeles, et saadaolevad piirkonnad sõltuvad mudelist ja Vertex AI dokumentatsioon on selles osas määrav.

client = MistralGCP(region="us-central1")

Voogedastus (streaming) järgib sama mehhanismi, mida nägime otsese API puhul: iterreeri voogu, pääse sisule juurde chunk.data kaudu ja testi enne printimist, kuna mõned fragmendid saabuva tühjana.

stream = client.chat.stream(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "Loetle Google Cloudi serverita teenused."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Codestrali erijuhtum FIM-iga

Codestral Vertex AI-s toetab Fill-in-the-Middle (FIM) funktsiooni, mis muudab koodi lõpetamise lähenemisviisi. Selle asemel, et küsida „kirjuta mulle funktsioon“, annad sa alguse ja lõpu ning mudel genereerib nende vahele jääva osa. Ka meetod muutub: see ei ole enam chat.complete(), vaid fim.complete(), kasutades prompt ülemise osa ja suffix alumise osa jaoks.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.fim.complete(
    model="codestral-2",
    prompt="def calculate_average(grades: list[float]) -> float:",
    suffix="    return average"
)

print(response.choices[0].message.content)

Selles näites genereerib mudel funktsiooni keha signatuuri ja return avaldise vahele. Ta teab, et lõpus peab olema muutuja average, kuna see ilmneb sufiksis: see piirang juhendab teda palju paremini kui loomuliku keele juhend. See on täpselt see, mis juhtub, kui IDE lõpetab funktsiooni faili keskel, muutes FIM-i eriti tõhusaks redaktoris lõpetamiseks, puuduvate koodiplokkide täitmiseks ja koodi genereerimiseks, mis peab sobituma olemasolevasse struktuuri.

Vertexi klient TypeScriptis

JavaScriptis ja TypeScriptis avaldatakse Google Cloudi klient eraldi paketis @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp) ja seda kutsutakse alates SDK versioonist 2.0 MistralGCP-ks (varem oli see MistralGoogleCloud). Piirkond ja projekti ID deklareeritakse konstrueerimisel ja jällegi ei ilmu koodi ükski võti.

import { MistralGCP } from '@mistralai/mistralai-gcp';

const client = new MistralGCP({
  region: 'europe-west4',
  projectId: process.env.GOOGLE_PROJECT_ID,
});

const response = await client.chat.complete({
  model: 'mistral-small-2503',
  messages: [
    { role: 'user', content: 'Kuidas optimeerida BigQuery päringut?' },
  ],
});

console.log(response.choices?.[0]?.message?.content);

Allikad: TypeScript SDK @mistralai/mistralai-gcp · TypeScript SDK väljalaskemärkmed 2.0.0

Õige liikumine tootmiskeskkonda

Kasutaja autentimine käsuga gcloud auth application-default login on arendamiseks ideaalne, kuid seob sinu kutsed konkreetse inimesega: kui see inimene meeskonnast lahkub, katkeb teenus. Tootmiskeskkonnas kasuta teenusekontosid, mille õigused on selged ja auditeeritavad. Hoia vaikepiirkonnana europe-west4, kui Euroopa vastavus on sinu piirangute osa. Luba Cloud Logging oma kutsete jälgimiseks ja vigade diagnoosimiseks ning konfigureeri Cloud Billingu eelarved: platvormil, kus järeldamist arveldatakse kasutuse põhjal, on eelarve hoiatus sinu ainus kaitse lõpmatusse tsüklisse sattumise vastu.

Peamised punktid

  • Klient MistralGCP kasutab Google Cloudi nativset autentimist (gcloud auth)
  • Vaikepiirkond on europe-west4 – muudetav initsialiseerimisel
  • Codestral Vertexis toetab koodi lõpetamiseks FIM-i (Fill-in-the-Middle)
  • Mistrali API võtit ei ole vaja: autentimine toimub Google Cloudi IAM-i kaudu
  • Enne kasutamist luba iga mudel Mudelaias (Model Garden)