Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Mistral na Google Vertex AI

Lekce 12 z 14 Aktualizováno 2. listopadu 2026 Vývojář
Na této stránce
  1. Proč Vertex AI?
  2. Modely dostupné na Vertex AI
  3. Příprava prostředí Google Cloud
  4. První volání bez API klíče
  5. Specifický případ FIM s Codestralem
  6. Klient Vertexu v TypeScriptu
  7. Správné nasazení do produkce
  8. Klíčové poznatky

Aktualizováno 2. listopadu 2026 — Google Cloud. Google nyní sdružuje své nabídky umělé inteligence pod platformu Gemini Enterprise Agent Platform („Agent Platform“); Model Garden zůstává její součástí. Dostupné modely Mistral jsou Mistral Medium 3 (mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) a Mistral Small 3.1 (mistral-small-2503). Od verze Mistral SDK v2 výše importuj klienta pomocí from mistralai.gcp.client import MistralGCP a nainstaluj jej příkazem pip install "mistralai[gcp]". Zdroje: Modely Mistral AI (Google Cloud) · Vertex AI (Mistral).

Proč Vertex AI?

Google Cloud Vertex AI je platforma MLOps od Google, která hostuje partnerské modely, včetně těch od Mistralu. Logika je zde stejná jako u Azure: pokud tvoje infrastruktura již stojí na Google Cloudu – BigQuery pro data, Cloud Run nebo GKE pro běh –, použití Vertexu ti zabrání zavádět do řetězce dalšího dodavatele.

Rozhodujícím argumentem je zde autentizace. Už nemusíš distribuovat, rotovat ani monitorovat API klíč Mistralu: tvé služby se autentizují pomocí svého účtu služby Google, přesně tak, jak již dělají při přístupu do bucketu nebo tabulky BigQuery. To navíc přináší centralizované fakturování na tvém účtu Cloud Billing a přístup k nástrojům MLOps od Google.

Modely dostupné na Vertex AI

K dubnu 2026 poskytuje Vertex AI přístup k následujícím modelům:

ModelPozicování
Mistral MediumVysoce výkonný model pro obecné účely
Mistral SmallRychlý a nákladově efektivní
CodestralSpecializovaný na kód s podporou FIM (Fill-in-the-Middle)
Mistral OCRExtrakce obsahu z dokumentů

Příprava prostředí Google Cloud

Konfigurace probíhá jednou a podmíní vše ostatní:

  1. Projekt Google Cloud s povoleným rozhraním API Vertex AI
  2. Následující role IAM přiřazené tvému účtu:
    • Vertex AI User – pro volání modelů
    • Consumer Procurement Entitlement Manager – pro povolení partnerských modelů
  3. Nainstalované a nakonfigurované rozhraní CLI gcloud

Druhá role často překvapí: nemá nic společného s inferencí; autorizuje pouze povolení partnerských modelů v katalogu. Bez ní sice uvidíš modely Mistral v rozhraní, ale nikdy je nebudeš moci povolit a vrácená chyba na tento nedostatek oprávnění jasně neukáže.

# Instalace gcloud (pokud ještě není provedena)
# Viz https://cloud.google.com/sdk/docs/install

# Autentizace
gcloud auth application-default login

# Nastavení výchozího projektu
gcloud config set project your-project-id

Jeden krok se pravidelně zapomíná: přejdi do konzole Vertex AI, najdi požadovaný model Mistral v Model Garden a klikni na Enable (Povolit). Tato aktivace je vyžadována pouze jednou pro každý model a projekt. Volání nepovoleného modelu selže, i když jsou tvé role IAM správné – to je první věc, kterou je třeba zkontrolovat při nevysvětlitelné chybě autorizace.

První volání bez API klíče

Nejprve si všimni, co v níže uvedeném kódu chybí: žádný API klíč, žádné tajemství k načtení. Mistral SDK V2 poskytuje vyhrazeného klienta pro Google Cloud, MistralGCP, který spoléhá na google.auth.default(): převezme pověření, která gcloud auth application-default login uložilo lokálně, nebo účet služby připojený k počítači v produkci.

from mistralai.gcp.client import MistralGCP

# Autentizace využívá google.auth.default()
# Ujisti se, že jsi spustil: gcloud auth application-default login
client = MistralGCP()

response = client.chat.complete(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "Explain the architecture of BigQuery."}
    ]
)

print(response.choices[0].message.content)

Ve výchozím nastavení klient používá region europe-west4 v Nizozemsku. Chceteš-li jej změnit, jednoduše jej předej konstruktoru – měj na paměti, že dostupné regiony závisí na modelu a že dokumentace Vertex AI je v tomto směru rozhodující.

client = MistralGCP(region="us-central1")

Streamování funguje na stejném principu jako u přímého API: iteruj přes stream, přistupuj k obsahu přes chunk.data a před tiskem otestuj, zda není prázdný, protože některé fragmenty přicházejí prázdné.

stream = client.chat.stream(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "List the serverless services of Google Cloud."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Specifický případ FIM s Codestralem

Codestral na Vertex AI podporuje Fill-in-the-Middle (FIM), funkci, která mění přístup k doplňování kódu. Místo žádosti „napiš mi funkci“ poskytneš začátek a konec a model vygeneruje to, co mezi nimi chybí. Mění se i metoda: již to není chat.complete(), ale fim.complete(), s parametrem prompt pro horní část a suffix pro dolní část.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.fim.complete(
    model="codestral-2",
    prompt="def calculate_average(grades: list[float]) -> float:",
    suffix="    return average"
)

print(response.choices[0].message.content)

V tomto příkladu model vygeneruje tělo funkce mezi signaturou a příkazem return. Ví, že na konci musí existovat proměnná average, protože se objevuje v suffixu: toto omezení jej navádí mnohem lépe než instrukce v přirozeném jazyce. Přesně to se děje, když IDE doplňuje funkci uprostřed souboru, což činí FIM obzvláště efektivním pro doplňování v editoru, vyplňování chybějících bloků kódu a generování kódu, který musí zapadnout do existující struktury.

Klient Vertexu v TypeScriptu

V JavaScriptu a TypeScriptu je klient pro Google Cloud publikován v samostatném balíčku @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp) a od verze SDK 2.0 se nazývá MistralGCP (dříve se jmenoval MistralGoogleCloud). Region a ID projektu se deklarují při konstrukci a opět se v kódu neobjevuje žádný klíč.

import { MistralGCP } from '@mistralai/mistralai-gcp';

const client = new MistralGCP({
  region: 'europe-west4',
  projectId: process.env.GOOGLE_PROJECT_ID,
});

const response = await client.chat.complete({
  model: 'mistral-small-2503',
  messages: [
    { role: 'user', content: 'How to optimize a BigQuery query?' },
  ],
});

console.log(response.choices?.[0]?.message?.content);

Zdroje: TypeScript SDK @mistralai/mistralai-gcp · Poznámky k vydání TypeScript SDK 2.0.0

Správné nasazení do produkce

Autentizace uživatele přes gcloud auth application-default login je ideální pro vývoj, ale váže tvá volání na konkrétní osobu: den, kdy tato osoba opustí tým, služba přestane fungovat. V produkci používej účty služeb, jejichž práva jsou explicitní a auditovatelná. Pokud je součástí tvých omezení evropský soulad s předpisy, ponech jako výchozí region europe-west4. Povol Cloud Logging pro sledování tvých volání a diagnostiku chyb a nakonfiguruj rozpočty Cloud Billing: na platformě, kde se inference fakturuje podle využití, je alert na rozpočet tvou jedinou ochranou proti nekontrolované smyčce.

Klíčové poznatky

  • Klient MistralGCP využívá nativní autentizaci Google Cloud (gcloud auth)
  • Výchozí region je europe-west4 – lze jej změnit při inicializaci
  • Codestral na Vertex podporuje FIM (Fill-in-the-Middle) pro doplňování kódu
  • Není vyžadován žádný API klíč Mistralu: autentizace probíhá přes Google Cloud IAM
  • Před použitím je nutné každý model povolit v Model Garden