Mistral w Google Vertex AI
Na tej stronie
Zaktualizowano 2 listopada 2026 — Google Cloud. Google grupuje obecnie swoje oferty AI w ramach platformy Gemini Enterprise Agent Platform („Agent Platform“); Model Garden pozostaje dostępny w jej obrębie. Dostępne modele Mistral to: Mistral Medium 3 (
mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) oraz Mistral Small 3.1 (mistral-small-2503). W przypadku Mistral SDK w wersji 2 i nowszych importuj klienta poprzezfrom mistralai.gcp.client import MistralGCPi zainstaluj go poleceniempip install "mistralai[gcp]". Źródła: Modele Mistral AI (Google Cloud) · Vertex AI (Mistral).
Dlaczego Vertex AI?
Google Cloud Vertex AI to platforma MLOps od Google, która hostuje modele partnerskie, w tym te od Mistral. Logika jest tutaj taka sama jak w przypadku Azure: jeśli Twoja infrastruktura już opiera się na Google Cloud — BigQuery do danych, Cloud Run lub GKE do wykonywania zadań — użycie Vertex pozwala uniknąć wprowadzania kolejnego dostawcy do Twojego łańcucha.
Rozstrzygającym argumentem jest tutaj uwierzytelnianie. Nie musisz już dystrybuować, rotować ani monitorować klucza API Mistral: Twoje usługi uwierzytelniają się przy użyciu konta usługi Google, dokładnie tak samo, jak robią to już podczas dostępu do bucketa czy tabeli w BigQuery. Daje to również scentralizowane rozliczenia na koncie Cloud Billing oraz dostęp do narzędzi MLOps od Google.
Modele dostępne w Vertex AI
Od kwietnia 2026 r. Vertex AI zapewnia dostęp do następujących modeli:
| Model | Pozycjonowanie |
|---|---|
| Mistral Medium | Wysokowydajny model ogólnego przeznaczenia |
| Mistral Small | Szybki i opłacalny |
| Codestral | Wyszczególniony do kodu, z obsługą FIM (Fill-in-the-Middle) |
| Mistral OCR | Ekstrakcja treści z dokumentów |
Przygotowanie środowiska Google Cloud
Konfiguracja odbywa się raz i warunkuje wszystko inne:
- Projekt Google Cloud z włączonym interfejsem API Vertex AI
- Następujące role IAM przypisane do Twojego konta:
Vertex AI User— do wywoływania modeliConsumer Procurement Entitlement Manager— do włączania modeli partnerskich
- Interfejs wiersza poleceń gcloud zainstalowany i skonfigurowany
Druga rola często dziwi użytkowników: nie ma ona nic wspólnego z wnioskowaniem (inference); autoryzuje ona włączanie modeli partnerskich w katalogu. Bez niej zobaczysz modele Mistral w interfejsie, ale nigdy nie będziesz mógł ich włączyć, a zwracany błąd nie wskazuje wyraźnie na ten brak uprawnień.
# Zainstaluj gcloud (jeśli jeszcze tego nie zrobiłeś)
# Zobacz https://cloud.google.com/sdk/docs/install
# Uwierzytelnij się
gcloud auth application-default login
# Ustaw domyślny projekt
gcloud config set project your-project-id
Często pomija się jeden krok: przejdź do konsoli Vertex AI, znajdź pożądany model Mistral w Model Garden i kliknij Enable (Włącz). Ta aktywacja jest wymagana tylko raz dla każdego modelu i projektu. Wywołanie niewłączonego modelu kończy się niepowodzeniem, nawet jeśli Twoje role IAM są poprawne — to pierwsza rzecz, którą należy sprawdzić w przypadku niewyjaśnionego błędu autoryzacji.
Pierwsze wywołanie bez klucza API
Zauważ najpierw, czego brakuje w poniższym kodzie: żadnego klucza API, żadnego sekretu do załadowania. Mistral SDK V2 udostępnia dedykowanego klienta dla Google Cloud, MistralGCP, który opiera się na google.auth.default(): pobiera on poświadczenia, które gcloud auth application-default login zapisał lokalnie, lub konto usługi dołączone do maszyny w środowisku produkcyjnym.
from mistralai.gcp.client import MistralGCP
# Uwierzytelnianie korzysta z google.auth.default()
# Upewnij się, że uruchomiłeś: gcloud auth application-default login
client = MistralGCP()
response = client.chat.complete(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "Wyjaśnij architekturę BigQuery."}
]
)
print(response.choices[0].message.content)
Domyślnie klient używa regionu europe-west4 w Holandii. Aby go zmienić, po prostu przekaż go do konstruktora — pamiętając, że dostępne regiony zależą od modelu, a dokumentacja Vertex AI jest w tej kwestii wiążąca.
client = MistralGCP(region="us-central1")
Strumieniowanie działa na tej samej zasadzie, co w przypadku bezpośredniego API: iteruj po strumieniu, uzyskuj dostęp do treści przez chunk.data i sprawdzaj przed wypisaniem, ponieważ niektóre fragmenty przychodzą puste.
stream = client.chat.stream(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "Wymień usługi serverless w Google Cloud."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
Szczególny przypadek FIM z Codestral
Codestral w Vertex AI obsługuje Fill-in-the-Middle (FIM), funkcję, która zmienia podejście do uzupełniania kodu. Zamiast prosić „napisz mi funkcję“, podajesz początek i koniec, a model generuje to, czego brakuje między nimi. Metoda również ulega zmianie: nie jest to już chat.complete(), lecz fim.complete(), z parametrem prompt dla części początkowej i suffix dla części końcowej.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.fim.complete(
model="codestral-2",
prompt="def calculate_average(grades: list[float]) -> float:",
suffix=" return average"
)
print(response.choices[0].message.content)
W tym przykładzie model generuje ciało funkcji między sygnaturą a instrukcją return. Wie, że na końcu musi istnieć zmienna average, ponieważ pojawia się ona w sufiksie: to ograniczenie prowadzi go znacznie lepiej niż instrukcja w języku naturalnym. Dokładnie tak dzieje się, gdy IDE uzupełnia funkcję w środku pliku, co czyni FIM szczególnie skutecznym przy uzupełnianiu w edytorze, wypełnianiu brakujących bloków kodu i generowaniu kodu, który musi pasować do istniejącej struktury.
Klient Vertex w TypeScript
W JavaScript i TypeScript klient Google Cloud jest publikowany w osobnym pakiecie, @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp), i nazywa się MistralGCP od wersji SDK 2.0 (wcześniej nazywał się MistralGoogleCloud). Region i identyfikator projektu są deklarowane podczas konstruowania obiektu i ponownie — w kodzie nie pojawia się żaden klucz.
import { MistralGCP } from '@mistralai/mistralai-gcp';
const client = new MistralGCP({
region: 'europe-west4',
projectId: process.env.GOOGLE_PROJECT_ID,
});
const response = await client.chat.complete({
model: 'mistral-small-2503',
messages: [
{ role: 'user', content: 'Jak zoptymalizować zapytanie w BigQuery?' },
],
});
console.log(response.choices?.[0]?.message?.content);
Źródła: TypeScript SDK
@mistralai/mistralai-gcp· Notatki wydania TypeScript SDK 2.0.0
Prawidłowe przejście do produkcji
Uwierzytelnianie użytkownika poprzez gcloud auth application-default login jest idealne do rozwoju, ale wiąże Twoje wywołania z konkretną osobą: w dniu, w którym osoba ta opuści zespół, usługa przestanie działać. W środowisku produkcyjnym używaj kont usług, których prawa są jawne i podlegają audytowi. Pozostaw europe-west4 jako domyślny region, jeśli zgodność z przepisami europejskimi jest częścią Twoich ograniczeń. Włącz Cloud Logging, aby śledzić swoje wywołania i diagnozować błędy, oraz skonfiguruj budżety w Cloud Billing: na platformie, gdzie wnioskowanie jest rozliczane według zużycia, alert budżetowy jest Twoim jedynym zabezpieczeniem przed pętlą wymykającą się spod kontroli.
Kluczowe wnioski
- Klient
MistralGCPkorzysta z natywnego uwierzytelniania Google Cloud (gcloud auth) - Domyślnym regionem jest
europe-west4— możliwy do zmiany podczas inicjalizacji - Codestral w Vertex obsługuje FIM (Fill-in-the-Middle) do uzupełniania kodu
- Klucz API Mistral nie jest wymagany: uwierzytelnianie odbywa się przez Google Cloud IAM
- Włącz każdy model w Model Garden przed jego użyciem