Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Google Vertex AI

Lekcija 7 od 14 Ažurirano 2. studenoga 2026. Napredno
Na ovoj stranici
  1. Mistral na Google Cloudu
  2. Modeli dostupni na Vertex AI-ju
  3. Preduvjeti
  4. Klijent MistralGCP
  5. Chat Completions
  6. FIM s Codestralom
  7. Streaming na Vertex AI-ju
  8. Razlike u odnosu na izravni Mistral API
  9. Ključne točke

Ažurirano 2. studenoga 2026. — Google Cloud. Google sada grupira svoje ponude umjetne inteligencije pod nazivom Gemini Enterprise Agent Platform („Agent Platform“); Model Garden ostaje dio tog ekosustava. Dostupni Mistral modeli uključuju Mistral Medium 3 (mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) i Mistral Small 3.1 (mistral-small-2503). Uz Mistral SDK v2 i novije verzije, klijenta uvoziš putem from mistralai.gcp.client import MistralGCP i instaliraš ga s pip install "mistralai[gcp]". Izvori: Mistral AI modeli (Google Cloud) · Vertex AI (Mistral).

Mistral na Google Cloudu

Google Cloud Vertex AI integrira Mistral modele u svoju jedinstvenu ML platformu. Pristup zahtijeva namjenski klijent, MistralGCP. Njegova ključna razlika leži u autentifikaciji: ne upravljaš Mistral API ključem jer se klijent oslanja na Google Cloud vjerodajnice koje su već konfigurirane na tvojem računalu ili servisu. Ova lekcija pokriva konfiguraciju, Python kod i značajku koju Vertex AI najviše ističe: Fill-in-the-Middle (FIM) s Codestralom.

Modeli dostupni na Vertex AI-ju

Vertex AI omogućuje pristup nekoliko modela; budući da se katalog redovito mijenja, provjeri službenu stranicu za trenutni popis. Mistral Medium 3 (mistral-medium-3) služi kao visokoperformantni opći model, tvoj zadani izbor za generiranje ili analizu teksta. Codestral 2 (25.08) (codestral-2) specijaliziran je za kod i podržava FIM, što je detaljnije objašnjeno kasnije u ovoj lekciji. Mistral OCR (25.05) (mistral-ocr-2505) bavi se optičkim prepoznavanjem znakova, obično za izvlačenje teksta iz serija skeniranih računa prije prosljeđivanja drugom modelu. Konačno, Mistral Small 3.1 (25.03) (mistral-small-2503) lagan je i brz, što ga čini idealnim za obradu velikih volumena gdje je latencija važnija od nijansi u odgovoru.

Preduvjeti

Prije nego napišeš ijednu liniju Python koda, postavi svoju Google Cloud konfiguraciju. Trebaš Google Cloud projekt s omogućenim Vertex AI API-jem, instaliran i konfiguriran gcloud CLI te dodijeljene dvije IAM uloge tvom uslužnom računu:

  • Vertex AI User — za pozivanje modela
  • Consumer Procurement Entitlement Manager — za omogućivanje Mistral modela

Druga uloga je ona koja nedostaje u devet od deset slučajeva: bez nje aktivacija modela ne uspijeva, iako se tvoji pozivi čine ispravno autentificiranima.

# Instaliraj gcloud CLI
curl https://sdk.cloud.google.com | bash

# Prijavi se
gcloud auth application-default login

# Konfiguriraj projekt
gcloud config set project mon-projet-gcp

Preostao je još jedan korak koji ne možeš izvršiti putem naredbenog retka: moraš aktivirati Mistral modele u Vertex AI Model Gardenu prije nego ih počneš koristiti. Otiđi na Vertex AI portal, otvori Model Garden, potraži Mistral i omogući željene modele.

Klijent MistralGCP

Instalacija zahtijeva gcp dodatak, koji uključuje ovisnosti za Google autentifikaciju.

pip install mistralai[gcp]

Inicijalizacija u standardnom slučaju ne prima argumente:

from mistralai.gcp.client import MistralGCP

# Automatska autentifikacija putem google.auth.default()
client = MistralGCP()

Klijent koristi Google Cloud Application Default Credentials (ADC). Ako si pokrenuo gcloud auth application-default login ili ako se tvoj kod izvršava na stroju s uslužnim računom, nije potrebna daljnja konfiguracija. Zadana regija je europe-west4; možeš nametnuti drugu. Odaberi je na temelju lokacije tvojih korisnika, jer svaka milisekunda putovanja mrežom dodaje se vremenu generiranja.

client = MistralGCP(region="us-central1")

Chat Completions

Sam poziv ne donosi iznenađenja: za razliku od Azurea, parametar model ovdje koristi stvarno ime modela.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.chat.complete(
    model="mistral-medium-3",
    messages=[
        {"role": "system", "content": "You are a cloud architecture expert."},
        {"role": "user", "content": "What are the advantages of Vertex AI compared to a self-hosted deployment?"}
    ],
    temperature=0.3,
    max_tokens=500
)

print(response.choices[0].message.content)

FIM s Codestralom

Fill-in-the-Middle mogućnost je jedinstvena za Codestral. Umjesto nastavka teksta, model ispunjava prazninu između početka (proslijeđenog u prompt) i kraja (proslijeđenog u suffix). Ova je razlika presudna za automatsko dovršavanje u IDE-u, gdje se kursor gotovo uvijek nalazi u sredini datoteke: model vidi što slijedi i stoga može napisati tijelo funkcije dosljedno nadolazećoj return naredbi ili dovršiti nedostajući blok u postojećem kodu.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.fim.complete(
    model="codestral-2",
    prompt="def count_words(file_path: str) -> int:",
    suffix="return n_words"
)

print(response.choices[0].message.content)
# Generira tijelo funkcije između prompta i suffixa

Primjer ima još više smisla s pravom klasom. Ovdje model prima puno zaglavlje, već definirane atribute i sljedeću metodu disconnect(); mora proizvesti tijelo metode connect() dosljedno ovom okruženju.

response = client.fim.complete(
    model="codestral-2",
    prompt="""class DatabaseConnection:
    def __init__(self, host: str, port: int, database: str):
        self.host = host
        self.port = port
        self.database = database
        self.connection = None

    def connect(self):""",
    suffix="""
    def disconnect(self):
        if self.connection:
            self.connection.close()
            self.connection = None
"""
)
print(response.choices[0].message.content)

Generirani kod ponovno će koristiti self.host, self.port i self.database te dodijeliti vrijednost self.connection—nešto što standardno dovršavanje, slijepo za ostatak datoteke, ne bi imalo razloga učiniti.

Streaming na Vertex AI-ju

Streaming funkcionira kao i drugdje, iteriranjem kroz vraćene chunkove.

stream = client.chat.stream(
    model="mistral-medium-3",
    messages=[
        {"role": "user", "content": "Generate a Terraform script for a GKE cluster."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Razlike u odnosu na izravni Mistral API

AspektMistral APIVertex AI
KlijentMistral()MistralGCP()
AutentifikacijaAPI ključGoogle ADC
RegijaAutomatskaKonfigurabilna
FIMDaDa (Codestral)
NaplataMistralGoogle Cloud

Ključne točke

  • Klijent MistralGCP koristi izvornu Google Cloud autentifikaciju (bez Mistral API ključa)
  • Zadana regija je europe-west4—prilagodi je svom slučaju upotrebe
  • Codestral na Vertex AI-ju podržava FIM za automatsko dovršavanje koda
  • Omogući modele u Model Gardenu prije nego ih počneš koristiti
  • Vertex identifikatori imaju verzije (codestral-2, mistral-medium-3) i evoluiraju sa svakom generacijom: provjeri točnu vrijednost u Model Gardenu prije povezivanja implementacije
  • Naplata ide preko tvog Google Cloud računa, a ne preko Mistrala