Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Mistral fuq Google Vertex AI

Lezzjoni 12 / 14 Aġġornat 2 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Għaliex Vertex AI?
  2. Mudelli disponibbli fuq Vertex AI
  3. Ipprepara l-ambjent Google Cloud tiegħek
  4. L-ewwel sejħa mingħajr ċavetta API
  5. Il-każ speċjali ta’ FIM ma’ Codestral
  6. Il-klijent Vertex f’TypeScript
  7. Immur fil-produzzjoni sewwa
  8. Punti Ewlenin

Aġġornat fit-2 ta’ Novembru, 2026 — Google Cloud. Google issa tiġbor l-offerti tal-AI tagħha taħt il-Gemini Enterprise Agent Platform (“Agent Platform”); il-Model Garden jibqa’ disponibbli fih. Il-mudelli Mistral disponibbli huma Mistral Medium 3 (mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505), u Mistral Small 3.1 (mistral-small-2503). Bil-Mistral SDK v2 u aktar ‘il quddiem, importja l-klijent permezz ta’ from mistralai.gcp.client import MistralGCP u installah b’pip install "mistralai[gcp]". Sorsi: Mudelli Mistral AI (Google Cloud) · Vertex AI (Mistral).

Għaliex Vertex AI?

Google Cloud Vertex AI hija l-pjattaforma MLOps ta’ Google, u tospita mudelli ta’ sħab, inklużi dawk minn Mistral. Il-loġika hawnhekk tirrifletti dik ta’ Azure: jekk l-infrastruttura tiegħek diġà tiddependi fuq Google Cloud—BigQuery għad-data, Cloud Run jew GKE għall-eżekuzzjoni—l-użu ta’ Vertex jipprevjenik milli tintroduċi bejjiegħ ieħor fil-katina tiegħek.

L-argument deċiżiv hawnhekk huwa l-awtentikazzjoni. M’għadekx għandek bżonn tiddistribwixxi, iddawwar, jew timmonitorja ċavetta API ta’ Mistral: is-servizzi tiegħek jawtentikaw ruħhom bl-użu tal-kont tas-servizz Google tagħhom, eżattament kif diġà jagħmlu biex jaċċessaw bucket jew tabella BigQuery. Dan iżid ukoll fatturazzjoni ċċentralizzata fuq il-kont Cloud Billing tiegħek u aċċess għall-għodod MLOps ta’ Google.

Mudelli disponibbli fuq Vertex AI

Sa April 2026, Vertex AI jipprovdi aċċess għall-mudelli li ġejjin:

MudellPożizzjonament
Mistral MediumMudell għal skopijiet ġenerali b’prestazzjoni għolja
Mistral SmallMgħaġġel u effiċjenti fl-ispejjeż
CodestralSpeċjalizzat għall-kodiċi, b’appoġġ għal FIM (Fill-in-the-Middle)
Mistral OCREstrazzjoni tal-kontenut tad-dokumenti

Ipprepara l-ambjent Google Cloud tiegħek

Il-konfigurazzjoni sseħħ darba biss u tikkundizzjona kollox ieħor:

  1. Proġett Google Cloud bl-API Vertex AI attivata
  2. Ir-rwoli IAM li ġejjin assenjati lill-kont tiegħek:
    • Vertex AI User — biex tinvoka l-mudelli
    • Consumer Procurement Entitlement Manager — biex tattivaw mudelli ta’ sħab
  3. Il-gcloud CLI installat u kkonfigurat

It-tieni rwol spiss jissurpriża lin-nies: m’għandu x’jaqsam xejn mal-inferenza; jawtorizza l-attivazzjoni ta’ mudelli ta’ sħab fil-katalgu. Mingħajru, se tara l-mudelli Mistral fl-interfaċċa iżda qatt ma tkun tista’ tattivahom, u l-iżball irritornat ma jindikax b’mod ċar din in-nuqqas ta’ permessi.

# Installa gcloud (jekk għadek ma għamiltx dan)
# Ara https://cloud.google.com/sdk/docs/install

# Awtentika
gcloud auth application-default login

# Issettja l-proġett default
gcloud config set project your-project-id

Pass wieħed jinnesa regolarment: mur fil-konsol Vertex AI, sib il-mudell Mistral mixtieq fil-Model Garden, u kklikkja Enable. Din l-attivazzjoni hija meħtieġa darba biss għal kull mudell u għal kull proġett. Sejħa għal mudell mhux attivat tonqos anke jekk ir-rwoli IAM tiegħek ikunu korretti—dan huwa l-ewwel ħaġa li għandek tiċċekkja meta tiffaċċja żball ta’ awtorizzazzjoni mhux spjegat.

L-ewwel sejħa mingħajr ċavetta API

Innota l-ewwel x’inhu nieqes fil-kodiċi hawn taħt: l-ebda ċavetta API, l-ebda sigriet biex titgħabba. Il-Mistral SDK V2 jipprovdi klijent iddedikat għal Google Cloud, MistralGCP, li jiddependi fuq google.auth.default(): dan jieħu l-kredenzjali li gcloud auth application-default login ħalla lokalment, jew il-kont tas-servizz imwaħħal mal-magna fil-produzzjoni.

from mistralai.gcp.client import MistralGCP

# L-awtentikazzjoni tuża google.auth.default()
# Kun żgur li runjajt: gcloud auth application-default login
client = MistralGCP()

response = client.chat.complete(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "Spjega l-arkitettura ta' BigQuery."}
    ]
)

print(response.choices[0].message.content)

B’mod default, il-klijent juża r-reġjun europe-west4, fin-Netherlands. Biex tbiddlu, sempliċiment għaddih lill-kostruttur—żomm f’moħħok li r-reġjuni disponibbli jiddependu fuq il-mudell u li d-dokumentazzjoni Vertex AI hija awtoritattiva fuq dan il-punt.

client = MistralGCP(region="us-central1")

L-istreaming isegwi l-istess mekkaniżmu rajna mal-API diretta: iteraw fuq l-istream, aċċessa l-kontenut permezz ta’ chunk.data, u ttestja qabel ma tipprintja peress li xi frammenti jaslu vojta.

stream = client.chat.stream(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "Elenska s-servizzi serverless ta' Google Cloud."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Il-każ speċjali ta’ FIM ma’ Codestral

Codestral fuq Vertex AI jappoġġja Fill-in-the-Middle (FIM), karatteristika li tbiddel kif toqrob lejn it-tlestija tal-kodiċi. Minflok ma titlob “iktebli funzjoni”, tipprovdi l-bidu u t-tmiem, u l-mudell jipproduċi dak li jonqos bejn iż-żewġ partijiet. Il-metodu jinbidel ukoll: m’għadux chat.complete() iżda fim.complete(), b’prompt għall-parti ta’ qabel u suffix għall-parti ta’ wara.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.fim.complete(
    model="codestral-2",
    prompt="def calculate_average(grades: list[float]) -> float:",
    suffix="    return average"
)

print(response.choices[0].message.content)

F’dan l-eżempju, il-mudell jiġġenera l-korp tal-funzjoni bejn il-firma u r-return. Jaf li varjabbli average trid teżisti fl-aħħar, peress li tidher fis-suffix: il-vincolu jiggwidah ferm aħjar minn istruzzjoni f’lingwa naturali. Dan huwa eżattament dak li jiġri meta IDE jitlesti funzjoni f’nofs fajl, u jagħmel lill-FIM partikolarment effettiv għat-tlestija f’editur, biex jimla blokok ta’ kodiċi nieqsa, u jiġġenera kodiċi li jrid jidħol f’struttura eżistenti.

Il-klijent Vertex f’TypeScript

F’JavaScript u TypeScript, il-klijent Google Cloud huwa ppubblikat f’pakkett separat, @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp), u jissejjaħ MistralGCP mill-verżjoni 2.0 tas-SDK (qabel kien jissejjaħ MistralGoogleCloud). Ir-reġjun u l-ID tal-proġett huma ddikjarati fil-kostruzzjoni, u għal darb’oħra, l-ebda ċavetta ma tidher fil-kodiċi.

import { MistralGCP } from '@mistralai/mistralai-gcp';

const client = new MistralGCP({
  region: 'europe-west4',
  projectId: process.env.GOOGLE_PROJECT_ID,
});

const response = await client.chat.complete({
  model: 'mistral-small-2503',
  messages: [
    { role: 'user', content: 'Kif tottimizza query ta' BigQuery?' },
  ],
});

console.log(response.choices?.[0]?.message?.content);

Sorsi: TypeScript SDK @mistralai/mistralai-gcp · TypeScript SDK release notes 2.0.0

Immur fil-produzzjoni sewwa

L-awtentikazzjoni tal-utent permezz ta’ gcloud auth application-default login hija perfetta għall-iżvilupp, iżda torbot is-sejħiet tiegħek ma’ persuna: il-jum li dik il-persuna titlaq mit-tim, is-servizz jinkiser. Fil-produzzjoni, uża kontijiet tas-servizz, li d-drittijiet tagħhom huma espliċiti u awditabbli. Żomm europe-west4 bħala r-reġjun default jekk il-konformità Ewropea hija parti mill-vincoli tiegħek. Attiva Cloud Logging biex tittraċċa s-sejħiet tiegħek u tiddijanostika l-iżbalji, u kkonfigura baġits Cloud Billing: fuq pjattaforma fejn l-inferenza tiġi fatturata skont l-użu, twissija ta’ baġit hija l-unika salvagwardja tiegħek kontra loop li joħroġ minn kontroll.

Punti Ewlenin

  • Il-klijent MistralGCP juża awtentikazzjoni nativa ta’ Google Cloud (gcloud auth)
  • Ir-reġjun default huwa europe-west4 — modifikabbli fl-inizjalizzazzjoni
  • Codestral fuq Vertex jappoġġja FIM (Fill-in-the-Middle) għat-tlestija tal-kodiċi
  • M’hemmx bżonn ta’ ċavetta API ta’ Mistral: l-awtentikazzjoni tgħaddi minn Google Cloud IAM
  • Attiva kull mudell fil-Model Garden qabel ma tużah