Mistral na Google Vertex AI
Na tejto strane
Aktualizované 2. novembra 2026 — Google Cloud. Google teraz zoskupuje svoje ponuky umelej inteligencie pod Gemini Enterprise Agent Platform („Agent Platform“); Model Garden zostáva v rámci nej dostupný. Dostupné modely Mistral sú Mistral Medium 3 (
mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) a Mistral Small 3.1 (mistral-small-2503). Od verzie Mistral SDK v2 vyššej importuj klienta cezfrom mistralai.gcp.client import MistralGCPa nainštaluj ho príkazompip install "mistralai[gcp]". Zdroje: Modely Mistral AI (Google Cloud) · Vertex AI (Mistral).
Prečo Vertex AI?
Google Cloud Vertex AI je platforma MLOps od Google, ktorá hostí partnerské modely, vrátane tých od Mistral. Logika je tu rovnaká ako v prípade Azure: ak tvoja infraštruktúra už závisí od Google Cloud – BigQuery pre dáta, Cloud Run alebo GKE pre vykonávanie – použitie Vertex ti zabráni zavádzať do reťazca ďalšieho dodávateľa.
Rozhodujúcim argumentom je tu autentifikácia. Už nemusíš distribuovať, rotovať ani monitorovať API kľúč Mistral: tvoje služby sa autentifikujú pomocou svojho servisného účtu Google, presne tak, ako to už robia pri prístupe do bucketu alebo tabuľky BigQuery. To tiež prináša centralizovanú fakturáciu na tvojom účte Cloud Billing a prístup k nástrojom MLOps od Google.
Modely dostupné na Vertex AI
K aprílu 2026 poskytuje Vertex AI prístup k nasledujúcim modelom:
| Model | Pozicionovanie |
|---|---|
| Mistral Medium | Všeobecný model s vysokým výkonom |
| Mistral Small | Rýchly a nákladovo efektívny |
| Codestral | Špecializovaný na kód s podporou FIM (Fill-in-the-Middle) |
| Mistral OCR | Extrakcia obsahu z dokumentov |
Príprava prostredia Google Cloud
Konfigurácia sa vykonáva raz a podmieňuje všetko ostatné:
- Projekt Google Cloud s povoleným rozhraním API Vertex AI
- Nasledujúce roly IAM priradené tvojmu účtu:
Vertex AI User– na vyvolávanie modelovConsumer Procurement Entitlement Manager– na povoľovanie partnerských modelov
- Nainštalované a nakonfigurované CLI gcloud
Druhá rola často prekvapí: nemá nič spoločné s inferenciou; oprávňuje na povoľovanie partnerských modelov v katalógu. Bez nej uvidíš modely Mistral v rozhraní, ale nikdy ich nebudeš môcť povoliť a vrátená chyba jasne neukazuje na tento nedostatok oprávnení.
# Inštalácia gcloud (ak ešte nebola vykonaná)
# Pozri https://cloud.google.com/sdk/docs/install
# Autentifikácia
gcloud auth application-default login
# Nastavenie predvoleného projektu
gcloud config set project your-project-id
Jeden krok sa pravidelne zabúda: prejdite na konzolu Vertex AI, nájdite požadovaný model Mistral v Model Garden a kliknite na Enable (Povoliť). Táto aktivácia sa vyžaduje len raz pre každý model a každý projekt. Volanie nepovoleného modelu zlyhá, aj keď sú tvoje roly IAM správne – toto je prvá vec, ktorú treba skontrolovať pri nevysvetliteľnej chybe autorizácie.
Prvé volanie bez API kľúča
Všimni si najprv, čo v nižšie uvedenom kóde chýba: žiadny API kľúč, žiadne tajomstvo na načítanie. Mistral SDK V2 poskytuje vyhradeného klienta pre Google Cloud, MistralGCP, ktorý sa spolieha na google.auth.default(): preberá poverenia, ktoré gcloud auth application-default login uložilo lokálne, alebo servisný účet pripojený k stroju v produkcii.
from mistralai.gcp.client import MistralGCP
# Autentifikácia používa google.auth.default()
# Uisti sa, že si spustil: gcloud auth application-default login
client = MistralGCP()
response = client.chat.complete(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "Explain the architecture of BigQuery."}
]
)
print(response.choices[0].message.content)
Klient predvolene používa región europe-west4 v Holandsku. Ak ho chceš zmeniť, jednoducho ho odovzdaj konštruktoru – maj na pamäti, že dostupné regióny závisia od modelu a dokumentácia Vertex AI je v tomto bode rozhodujúca.
client = MistralGCP(region="us-central1")
Streamovanie funguje na rovnakom princípe ako pri priamom API: iteruj cez stream, pristupuj k obsahu cez chunk.data a pred tlačou testuj, keďže niektoré fragmenty prichádzajú prázdne.
stream = client.chat.stream(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "List the serverless services of Google Cloud."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
Špeciálny prípad FIM s Codestral
Codestral na Vertex AI podporuje Fill-in-the-Middle (FIM), funkciu, ktorá mení spôsob, akým pristupuješ ku kompletizácii kódu. Namiesto otázky „napíš mi funkciu“ poskytneš začiatok a koniec a model vygeneruje to, čo chýba medzi nimi. Mení sa aj metóda: už to nie je chat.complete(), ale fim.complete(), s parametrom prompt pre hornú časť a suffix pre dolnú časť.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.fim.complete(
model="codestral-2",
prompt="def calculate_average(grades: list[float]) -> float:",
suffix=" return average"
)
print(response.choices[0].message.content)
V tomto príklade model vygeneruje telo funkcie medzi signatúrou a príkazom return. Vie, že premenná average musí na konci existovať, pretože sa objavuje v sufuxe: obmedzenie ho usmerňuje oveľa lepšie ako inštrukcia v prirodzenom jazyku. Presne to sa deje, keď IDE dopĺňa funkciu uprostred súboru, čo robí z FIM mimoriadne efektívny nástroj na dopĺňanie v editore, vypĺňanie chýbajúcich blokov kódu a generovanie kódu, ktorý musí zapadnúť do existujúcej štruktúry.
Klient Vertex v TypeScripte
V JavaScripte a TypeScripte je klient Google Cloud publikovaný v samostatnom balíku @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp) a od verzie SDK 2.0 sa nazýva MistralGCP (predtým sa volal MistralGoogleCloud). Región a ID projektu sa deklarujú pri konštrukcii a opäť sa v kóde neobjavuje žiadny kľúč.
import { MistralGCP } from '@mistralai/mistralai-gcp';
const client = new MistralGCP({
region: 'europe-west4',
projectId: process.env.GOOGLE_PROJECT_ID,
});
const response = await client.chat.complete({
model: 'mistral-small-2503',
messages: [
{ role: 'user', content: 'How to optimize a BigQuery query?' },
],
});
console.log(response.choices?.[0]?.message?.content);
Zdroje: TypeScript SDK
@mistralai/mistralai-gcp· Poznámky k vydaniu TypeScript SDK 2.0.0
Správne nasadenie do produkcie
Autentifikácia používateľa cez gcloud auth application-default login je ideálna pre vývoj, ale viaže tvoje volania na konkrétnu osobu: v deň, keď táto osoba opustí tím, služba prestane fungovať. V produkcii používaj servisné účty, ktorých práva sú explicitné a auditovateľné. Ak je európsky súlad súčasťou tvojich obmedzení, ponechaj europe-west4 ako predvolený región. Povoľ Cloud Logging na sledovanie tvojich volaní a diagnostiku chýb a nakonfiguruj rozpočty Cloud Billing: na platforme, kde sa inferencia fakturuje podľa využitia, je upozornenie na rozpočet tvojou jedinou ochranou proti nekontrolovanej slučke.
Kľúčové poznatky
- Klient
MistralGCPpoužíva natívnu autentifikáciu Google Cloud (gcloud auth) - Predvolený región je
europe-west4– upraviteľný pri inicializácii - Codestral na Vertex podporuje FIM (Fill-in-the-Middle) na kompletizáciu kódu
- Nie je potrebný žiadny API kľúč Mistral: autentifikácia prebieha cez Google Cloud IAM
- Pred použitím povoľ každý model v Model Garden