Przejdź do głównej treści
Polski— Wybierz język
Menu

Mistral w Google Vertex AI

Lekcja 12 z 14 Zaktualizowano 2 listopada 2026 Programista
Na tej stronie
  1. Dlaczego Vertex AI?
  2. Modele dostępne w Vertex AI
  3. Przygotowanie środowiska Google Cloud
  4. Pierwsze wywołanie bez klucza API
  5. Szczególny przypadek FIM z Codestral
  6. Klient Vertex w TypeScript
  7. Prawidłowe przejście do produkcji
  8. Kluczowe wnioski

Zaktualizowano 2 listopada 2026 — Google Cloud. Google grupuje obecnie swoje oferty AI w ramach platformy Gemini Enterprise Agent Platform („Agent Platform“); Model Garden pozostaje dostępny w jej obrębie. Dostępne modele Mistral to: Mistral Medium 3 (mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) oraz Mistral Small 3.1 (mistral-small-2503). W przypadku Mistral SDK w wersji 2 i nowszych importuj klienta poprzez from mistralai.gcp.client import MistralGCP i zainstaluj go poleceniem pip install "mistralai[gcp]". Źródła: Modele Mistral AI (Google Cloud) · Vertex AI (Mistral).

Dlaczego Vertex AI?

Google Cloud Vertex AI to platforma MLOps od Google, która hostuje modele partnerskie, w tym te od Mistral. Logika jest tutaj taka sama jak w przypadku Azure: jeśli Twoja infrastruktura już opiera się na Google Cloud — BigQuery do danych, Cloud Run lub GKE do wykonywania zadań — użycie Vertex pozwala uniknąć wprowadzania kolejnego dostawcy do Twojego łańcucha.

Rozstrzygającym argumentem jest tutaj uwierzytelnianie. Nie musisz już dystrybuować, rotować ani monitorować klucza API Mistral: Twoje usługi uwierzytelniają się przy użyciu konta usługi Google, dokładnie tak samo, jak robią to już podczas dostępu do bucketa czy tabeli w BigQuery. Daje to również scentralizowane rozliczenia na koncie Cloud Billing oraz dostęp do narzędzi MLOps od Google.

Modele dostępne w Vertex AI

Od kwietnia 2026 r. Vertex AI zapewnia dostęp do następujących modeli:

ModelPozycjonowanie
Mistral MediumWysokowydajny model ogólnego przeznaczenia
Mistral SmallSzybki i opłacalny
CodestralWyszczególniony do kodu, z obsługą FIM (Fill-in-the-Middle)
Mistral OCREkstrakcja treści z dokumentów

Przygotowanie środowiska Google Cloud

Konfiguracja odbywa się raz i warunkuje wszystko inne:

  1. Projekt Google Cloud z włączonym interfejsem API Vertex AI
  2. Następujące role IAM przypisane do Twojego konta:
    • Vertex AI User — do wywoływania modeli
    • Consumer Procurement Entitlement Manager — do włączania modeli partnerskich
  3. Interfejs wiersza poleceń gcloud zainstalowany i skonfigurowany

Druga rola często dziwi użytkowników: nie ma ona nic wspólnego z wnioskowaniem (inference); autoryzuje ona włączanie modeli partnerskich w katalogu. Bez niej zobaczysz modele Mistral w interfejsie, ale nigdy nie będziesz mógł ich włączyć, a zwracany błąd nie wskazuje wyraźnie na ten brak uprawnień.

# Zainstaluj gcloud (jeśli jeszcze tego nie zrobiłeś)
# Zobacz https://cloud.google.com/sdk/docs/install

# Uwierzytelnij się
gcloud auth application-default login

# Ustaw domyślny projekt
gcloud config set project your-project-id

Często pomija się jeden krok: przejdź do konsoli Vertex AI, znajdź pożądany model Mistral w Model Garden i kliknij Enable (Włącz). Ta aktywacja jest wymagana tylko raz dla każdego modelu i projektu. Wywołanie niewłączonego modelu kończy się niepowodzeniem, nawet jeśli Twoje role IAM są poprawne — to pierwsza rzecz, którą należy sprawdzić w przypadku niewyjaśnionego błędu autoryzacji.

Pierwsze wywołanie bez klucza API

Zauważ najpierw, czego brakuje w poniższym kodzie: żadnego klucza API, żadnego sekretu do załadowania. Mistral SDK V2 udostępnia dedykowanego klienta dla Google Cloud, MistralGCP, który opiera się na google.auth.default(): pobiera on poświadczenia, które gcloud auth application-default login zapisał lokalnie, lub konto usługi dołączone do maszyny w środowisku produkcyjnym.

from mistralai.gcp.client import MistralGCP

# Uwierzytelnianie korzysta z google.auth.default()
# Upewnij się, że uruchomiłeś: gcloud auth application-default login
client = MistralGCP()

response = client.chat.complete(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "Wyjaśnij architekturę BigQuery."}
    ]
)

print(response.choices[0].message.content)

Domyślnie klient używa regionu europe-west4 w Holandii. Aby go zmienić, po prostu przekaż go do konstruktora — pamiętając, że dostępne regiony zależą od modelu, a dokumentacja Vertex AI jest w tej kwestii wiążąca.

client = MistralGCP(region="us-central1")

Strumieniowanie działa na tej samej zasadzie, co w przypadku bezpośredniego API: iteruj po strumieniu, uzyskuj dostęp do treści przez chunk.data i sprawdzaj przed wypisaniem, ponieważ niektóre fragmenty przychodzą puste.

stream = client.chat.stream(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "Wymień usługi serverless w Google Cloud."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Szczególny przypadek FIM z Codestral

Codestral w Vertex AI obsługuje Fill-in-the-Middle (FIM), funkcję, która zmienia podejście do uzupełniania kodu. Zamiast prosić „napisz mi funkcję“, podajesz początek i koniec, a model generuje to, czego brakuje między nimi. Metoda również ulega zmianie: nie jest to już chat.complete(), lecz fim.complete(), z parametrem prompt dla części początkowej i suffix dla części końcowej.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.fim.complete(
    model="codestral-2",
    prompt="def calculate_average(grades: list[float]) -> float:",
    suffix="    return average"
)

print(response.choices[0].message.content)

W tym przykładzie model generuje ciało funkcji między sygnaturą a instrukcją return. Wie, że na końcu musi istnieć zmienna average, ponieważ pojawia się ona w sufiksie: to ograniczenie prowadzi go znacznie lepiej niż instrukcja w języku naturalnym. Dokładnie tak dzieje się, gdy IDE uzupełnia funkcję w środku pliku, co czyni FIM szczególnie skutecznym przy uzupełnianiu w edytorze, wypełnianiu brakujących bloków kodu i generowaniu kodu, który musi pasować do istniejącej struktury.

Klient Vertex w TypeScript

W JavaScript i TypeScript klient Google Cloud jest publikowany w osobnym pakiecie, @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp), i nazywa się MistralGCP od wersji SDK 2.0 (wcześniej nazywał się MistralGoogleCloud). Region i identyfikator projektu są deklarowane podczas konstruowania obiektu i ponownie — w kodzie nie pojawia się żaden klucz.

import { MistralGCP } from '@mistralai/mistralai-gcp';

const client = new MistralGCP({
  region: 'europe-west4',
  projectId: process.env.GOOGLE_PROJECT_ID,
});

const response = await client.chat.complete({
  model: 'mistral-small-2503',
  messages: [
    { role: 'user', content: 'Jak zoptymalizować zapytanie w BigQuery?' },
  ],
});

console.log(response.choices?.[0]?.message?.content);

Źródła: TypeScript SDK @mistralai/mistralai-gcp · Notatki wydania TypeScript SDK 2.0.0

Prawidłowe przejście do produkcji

Uwierzytelnianie użytkownika poprzez gcloud auth application-default login jest idealne do rozwoju, ale wiąże Twoje wywołania z konkretną osobą: w dniu, w którym osoba ta opuści zespół, usługa przestanie działać. W środowisku produkcyjnym używaj kont usług, których prawa są jawne i podlegają audytowi. Pozostaw europe-west4 jako domyślny region, jeśli zgodność z przepisami europejskimi jest częścią Twoich ograniczeń. Włącz Cloud Logging, aby śledzić swoje wywołania i diagnozować błędy, oraz skonfiguruj budżety w Cloud Billing: na platformie, gdzie wnioskowanie jest rozliczane według zużycia, alert budżetowy jest Twoim jedynym zabezpieczeniem przed pętlą wymykającą się spod kontroli.

Kluczowe wnioski

  • Klient MistralGCP korzysta z natywnego uwierzytelniania Google Cloud (gcloud auth)
  • Domyślnym regionem jest europe-west4 — możliwy do zmiany podczas inicjalizacji
  • Codestral w Vertex obsługuje FIM (Fill-in-the-Middle) do uzupełniania kodu
  • Klucz API Mistral nie jest wymagany: uwierzytelnianie odbywa się przez Google Cloud IAM
  • Włącz każdy model w Model Garden przed jego użyciem