Mistral na Google Vertex AI
Na této stránce
Aktualizováno 2. listopadu 2026 — Google Cloud. Google nyní sdružuje své nabídky umělé inteligence pod platformu Gemini Enterprise Agent Platform („Agent Platform“); Model Garden zůstává její součástí. Dostupné modely Mistral jsou Mistral Medium 3 (
mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) a Mistral Small 3.1 (mistral-small-2503). Od verze Mistral SDK v2 výše importuj klienta pomocífrom mistralai.gcp.client import MistralGCPa nainstaluj jej příkazempip install "mistralai[gcp]". Zdroje: Modely Mistral AI (Google Cloud) · Vertex AI (Mistral).
Proč Vertex AI?
Google Cloud Vertex AI je platforma MLOps od Google, která hostuje partnerské modely, včetně těch od Mistralu. Logika je zde stejná jako u Azure: pokud tvoje infrastruktura již stojí na Google Cloudu – BigQuery pro data, Cloud Run nebo GKE pro běh –, použití Vertexu ti zabrání zavádět do řetězce dalšího dodavatele.
Rozhodujícím argumentem je zde autentizace. Už nemusíš distribuovat, rotovat ani monitorovat API klíč Mistralu: tvé služby se autentizují pomocí svého účtu služby Google, přesně tak, jak již dělají při přístupu do bucketu nebo tabulky BigQuery. To navíc přináší centralizované fakturování na tvém účtu Cloud Billing a přístup k nástrojům MLOps od Google.
Modely dostupné na Vertex AI
K dubnu 2026 poskytuje Vertex AI přístup k následujícím modelům:
| Model | Pozicování |
|---|---|
| Mistral Medium | Vysoce výkonný model pro obecné účely |
| Mistral Small | Rychlý a nákladově efektivní |
| Codestral | Specializovaný na kód s podporou FIM (Fill-in-the-Middle) |
| Mistral OCR | Extrakce obsahu z dokumentů |
Příprava prostředí Google Cloud
Konfigurace probíhá jednou a podmíní vše ostatní:
- Projekt Google Cloud s povoleným rozhraním API Vertex AI
- Následující role IAM přiřazené tvému účtu:
Vertex AI User– pro volání modelůConsumer Procurement Entitlement Manager– pro povolení partnerských modelů
- Nainstalované a nakonfigurované rozhraní CLI gcloud
Druhá role často překvapí: nemá nic společného s inferencí; autorizuje pouze povolení partnerských modelů v katalogu. Bez ní sice uvidíš modely Mistral v rozhraní, ale nikdy je nebudeš moci povolit a vrácená chyba na tento nedostatek oprávnění jasně neukáže.
# Instalace gcloud (pokud ještě není provedena)
# Viz https://cloud.google.com/sdk/docs/install
# Autentizace
gcloud auth application-default login
# Nastavení výchozího projektu
gcloud config set project your-project-id
Jeden krok se pravidelně zapomíná: přejdi do konzole Vertex AI, najdi požadovaný model Mistral v Model Garden a klikni na Enable (Povolit). Tato aktivace je vyžadována pouze jednou pro každý model a projekt. Volání nepovoleného modelu selže, i když jsou tvé role IAM správné – to je první věc, kterou je třeba zkontrolovat při nevysvětlitelné chybě autorizace.
První volání bez API klíče
Nejprve si všimni, co v níže uvedeném kódu chybí: žádný API klíč, žádné tajemství k načtení. Mistral SDK V2 poskytuje vyhrazeného klienta pro Google Cloud, MistralGCP, který spoléhá na google.auth.default(): převezme pověření, která gcloud auth application-default login uložilo lokálně, nebo účet služby připojený k počítači v produkci.
from mistralai.gcp.client import MistralGCP
# Autentizace využívá google.auth.default()
# Ujisti se, že jsi spustil: gcloud auth application-default login
client = MistralGCP()
response = client.chat.complete(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "Explain the architecture of BigQuery."}
]
)
print(response.choices[0].message.content)
Ve výchozím nastavení klient používá region europe-west4 v Nizozemsku. Chceteš-li jej změnit, jednoduše jej předej konstruktoru – měj na paměti, že dostupné regiony závisí na modelu a že dokumentace Vertex AI je v tomto směru rozhodující.
client = MistralGCP(region="us-central1")
Streamování funguje na stejném principu jako u přímého API: iteruj přes stream, přistupuj k obsahu přes chunk.data a před tiskem otestuj, zda není prázdný, protože některé fragmenty přicházejí prázdné.
stream = client.chat.stream(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "List the serverless services of Google Cloud."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
Specifický případ FIM s Codestralem
Codestral na Vertex AI podporuje Fill-in-the-Middle (FIM), funkci, která mění přístup k doplňování kódu. Místo žádosti „napiš mi funkci“ poskytneš začátek a konec a model vygeneruje to, co mezi nimi chybí. Mění se i metoda: již to není chat.complete(), ale fim.complete(), s parametrem prompt pro horní část a suffix pro dolní část.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.fim.complete(
model="codestral-2",
prompt="def calculate_average(grades: list[float]) -> float:",
suffix=" return average"
)
print(response.choices[0].message.content)
V tomto příkladu model vygeneruje tělo funkce mezi signaturou a příkazem return. Ví, že na konci musí existovat proměnná average, protože se objevuje v suffixu: toto omezení jej navádí mnohem lépe než instrukce v přirozeném jazyce. Přesně to se děje, když IDE doplňuje funkci uprostřed souboru, což činí FIM obzvláště efektivním pro doplňování v editoru, vyplňování chybějících bloků kódu a generování kódu, který musí zapadnout do existující struktury.
Klient Vertexu v TypeScriptu
V JavaScriptu a TypeScriptu je klient pro Google Cloud publikován v samostatném balíčku @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp) a od verze SDK 2.0 se nazývá MistralGCP (dříve se jmenoval MistralGoogleCloud). Region a ID projektu se deklarují při konstrukci a opět se v kódu neobjevuje žádný klíč.
import { MistralGCP } from '@mistralai/mistralai-gcp';
const client = new MistralGCP({
region: 'europe-west4',
projectId: process.env.GOOGLE_PROJECT_ID,
});
const response = await client.chat.complete({
model: 'mistral-small-2503',
messages: [
{ role: 'user', content: 'How to optimize a BigQuery query?' },
],
});
console.log(response.choices?.[0]?.message?.content);
Zdroje: TypeScript SDK
@mistralai/mistralai-gcp· Poznámky k vydání TypeScript SDK 2.0.0
Správné nasazení do produkce
Autentizace uživatele přes gcloud auth application-default login je ideální pro vývoj, ale váže tvá volání na konkrétní osobu: den, kdy tato osoba opustí tým, služba přestane fungovat. V produkci používej účty služeb, jejichž práva jsou explicitní a auditovatelná. Pokud je součástí tvých omezení evropský soulad s předpisy, ponech jako výchozí region europe-west4. Povol Cloud Logging pro sledování tvých volání a diagnostiku chyb a nakonfiguruj rozpočty Cloud Billing: na platformě, kde se inference fakturuje podle využití, je alert na rozpočet tvou jedinou ochranou proti nekontrolované smyčce.
Klíčové poznatky
- Klient
MistralGCPvyužívá nativní autentizaci Google Cloud (gcloud auth) - Výchozí region je
europe-west4– lze jej změnit při inicializaci - Codestral na Vertex podporuje FIM (Fill-in-the-Middle) pro doplňování kódu
- Není vyžadován žádný API klíč Mistralu: autentizace probíhá přes Google Cloud IAM
- Před použitím je nutné každý model povolit v Model Garden