Google Vertex AI
Na ovoj stranici
Ažurirano 2. studenoga 2026. — Google Cloud. Google sada grupira svoje ponude umjetne inteligencije pod nazivom Gemini Enterprise Agent Platform („Agent Platform“); Model Garden ostaje dio tog ekosustava. Dostupni Mistral modeli uključuju Mistral Medium 3 (
mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) i Mistral Small 3.1 (mistral-small-2503). Uz Mistral SDK v2 i novije verzije, klijenta uvoziš putemfrom mistralai.gcp.client import MistralGCPi instaliraš ga spip install "mistralai[gcp]". Izvori: Mistral AI modeli (Google Cloud) · Vertex AI (Mistral).
Mistral na Google Cloudu
Google Cloud Vertex AI integrira Mistral modele u svoju jedinstvenu ML platformu. Pristup zahtijeva namjenski klijent, MistralGCP. Njegova ključna razlika leži u autentifikaciji: ne upravljaš Mistral API ključem jer se klijent oslanja na Google Cloud vjerodajnice koje su već konfigurirane na tvojem računalu ili servisu. Ova lekcija pokriva konfiguraciju, Python kod i značajku koju Vertex AI najviše ističe: Fill-in-the-Middle (FIM) s Codestralom.
Modeli dostupni na Vertex AI-ju
Vertex AI omogućuje pristup nekoliko modela; budući da se katalog redovito mijenja, provjeri službenu stranicu za trenutni popis. Mistral Medium 3 (mistral-medium-3) služi kao visokoperformantni opći model, tvoj zadani izbor za generiranje ili analizu teksta. Codestral 2 (25.08) (codestral-2) specijaliziran je za kod i podržava FIM, što je detaljnije objašnjeno kasnije u ovoj lekciji. Mistral OCR (25.05) (mistral-ocr-2505) bavi se optičkim prepoznavanjem znakova, obično za izvlačenje teksta iz serija skeniranih računa prije prosljeđivanja drugom modelu. Konačno, Mistral Small 3.1 (25.03) (mistral-small-2503) lagan je i brz, što ga čini idealnim za obradu velikih volumena gdje je latencija važnija od nijansi u odgovoru.
Preduvjeti
Prije nego napišeš ijednu liniju Python koda, postavi svoju Google Cloud konfiguraciju. Trebaš Google Cloud projekt s omogućenim Vertex AI API-jem, instaliran i konfiguriran gcloud CLI te dodijeljene dvije IAM uloge tvom uslužnom računu:
Vertex AI User— za pozivanje modelaConsumer Procurement Entitlement Manager— za omogućivanje Mistral modela
Druga uloga je ona koja nedostaje u devet od deset slučajeva: bez nje aktivacija modela ne uspijeva, iako se tvoji pozivi čine ispravno autentificiranima.
# Instaliraj gcloud CLI
curl https://sdk.cloud.google.com | bash
# Prijavi se
gcloud auth application-default login
# Konfiguriraj projekt
gcloud config set project mon-projet-gcp
Preostao je još jedan korak koji ne možeš izvršiti putem naredbenog retka: moraš aktivirati Mistral modele u Vertex AI Model Gardenu prije nego ih počneš koristiti. Otiđi na Vertex AI portal, otvori Model Garden, potraži Mistral i omogući željene modele.
Klijent MistralGCP
Instalacija zahtijeva gcp dodatak, koji uključuje ovisnosti za Google autentifikaciju.
pip install mistralai[gcp]
Inicijalizacija u standardnom slučaju ne prima argumente:
from mistralai.gcp.client import MistralGCP
# Automatska autentifikacija putem google.auth.default()
client = MistralGCP()
Klijent koristi Google Cloud Application Default Credentials (ADC). Ako si pokrenuo gcloud auth application-default login ili ako se tvoj kod izvršava na stroju s uslužnim računom, nije potrebna daljnja konfiguracija. Zadana regija je europe-west4; možeš nametnuti drugu. Odaberi je na temelju lokacije tvojih korisnika, jer svaka milisekunda putovanja mrežom dodaje se vremenu generiranja.
client = MistralGCP(region="us-central1")
Chat Completions
Sam poziv ne donosi iznenađenja: za razliku od Azurea, parametar model ovdje koristi stvarno ime modela.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.chat.complete(
model="mistral-medium-3",
messages=[
{"role": "system", "content": "You are a cloud architecture expert."},
{"role": "user", "content": "What are the advantages of Vertex AI compared to a self-hosted deployment?"}
],
temperature=0.3,
max_tokens=500
)
print(response.choices[0].message.content)
FIM s Codestralom
Fill-in-the-Middle mogućnost je jedinstvena za Codestral. Umjesto nastavka teksta, model ispunjava prazninu između početka (proslijeđenog u prompt) i kraja (proslijeđenog u suffix). Ova je razlika presudna za automatsko dovršavanje u IDE-u, gdje se kursor gotovo uvijek nalazi u sredini datoteke: model vidi što slijedi i stoga može napisati tijelo funkcije dosljedno nadolazećoj return naredbi ili dovršiti nedostajući blok u postojećem kodu.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.fim.complete(
model="codestral-2",
prompt="def count_words(file_path: str) -> int:",
suffix="return n_words"
)
print(response.choices[0].message.content)
# Generira tijelo funkcije između prompta i suffixa
Primjer ima još više smisla s pravom klasom. Ovdje model prima puno zaglavlje, već definirane atribute i sljedeću metodu disconnect(); mora proizvesti tijelo metode connect() dosljedno ovom okruženju.
response = client.fim.complete(
model="codestral-2",
prompt="""class DatabaseConnection:
def __init__(self, host: str, port: int, database: str):
self.host = host
self.port = port
self.database = database
self.connection = None
def connect(self):""",
suffix="""
def disconnect(self):
if self.connection:
self.connection.close()
self.connection = None
"""
)
print(response.choices[0].message.content)
Generirani kod ponovno će koristiti self.host, self.port i self.database te dodijeliti vrijednost self.connection—nešto što standardno dovršavanje, slijepo za ostatak datoteke, ne bi imalo razloga učiniti.
Streaming na Vertex AI-ju
Streaming funkcionira kao i drugdje, iteriranjem kroz vraćene chunkove.
stream = client.chat.stream(
model="mistral-medium-3",
messages=[
{"role": "user", "content": "Generate a Terraform script for a GKE cluster."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
Razlike u odnosu na izravni Mistral API
| Aspekt | Mistral API | Vertex AI |
|---|---|---|
| Klijent | Mistral() | MistralGCP() |
| Autentifikacija | API ključ | Google ADC |
| Regija | Automatska | Konfigurabilna |
| FIM | Da | Da (Codestral) |
| Naplata | Mistral | Google Cloud |
Ključne točke
- Klijent
MistralGCPkoristi izvornu Google Cloud autentifikaciju (bez Mistral API ključa) - Zadana regija je
europe-west4—prilagodi je svom slučaju upotrebe - Codestral na Vertex AI-ju podržava FIM za automatsko dovršavanje koda
- Omogući modele u Model Gardenu prije nego ih počneš koristiti
- Vertex identifikatori imaju verzije (
codestral-2,mistral-medium-3) i evoluiraju sa svakom generacijom: provjeri točnu vrijednost u Model Gardenu prije povezivanja implementacije - Naplata ide preko tvog Google Cloud računa, a ne preko Mistrala