Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Google Vertex AI

Lekcija 7 od 14 Posodobljeno 2. november 2026 Napredni
Na tej strani
  1. Mistral v okolju Google Cloud
  2. Modeli, na voljo v Vertex AI
  3. Predpogoji
  4. Klient MistralGCP
  5. Zaključki klepeta (Chat Completions)
  6. FIM s Codestralom
  7. Pretakanje (Streaming) v Vertex AI
  8. Razlike glede na neposredni API Mistral
  9. Ključne ugotovitve

Posodobljeno 2. novembra 2026 — Google Cloud. Google zdaj združuje svoje ponudbe umetne inteligence pod imenom Gemini Enterprise Agent Platform („Agent Platform”); Model Garden ostaja del tega ekosistema. Na voljo so modeli Mistral Medium 3 (mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) in Mistral Small 3.1 (mistral-small-2503). Pri uporabi Mistral SDK različice 2 ali novejše uvoziš klienta z ukazom from mistralai.gcp.client import MistralGCP in ga namestiš z pip install "mistralai[gcp]". Viri: Modeli Mistral AI (Google Cloud) · Vertex AI (Mistral).

Mistral v okolju Google Cloud

Google Cloud Vertex AI integrira modele Mistral v svojo enotno platformo za strojno učenje. Dostop zahteva namenski klient, MistralGCP. Njegova ključna razlika je v avtentikaciji: ne upravljaš s ključem API za Mistral, saj se klient zanaša na poverilnice Google Cloud, ki so že konfigurirane na tvojem računalniku ali storitvi. Ta lekcija pokriva konfiguracijo, kodo Python in funkcijo, ki jo Vertex AI najbolj poudarja: Fill-in-the-Middle (FIM) s Codestralom.

Modeli, na voljo v Vertex AI

Vertex AI omogoča dostop do več modelov; ker se katalog redno posodablja, preveri uradno stran za trenutni seznam. Mistral Medium 3 (mistral-medium-3) služi kot zmogljiv splošni model, tvoja privzeta izbira za generiranje besedila ali analizo. Codestral 2 (25.08) (codestral-2) je specializiran za kodo in podpira FIM, kar je podrobneje opisano kasneje v tej lekciji. Mistral OCR (25.05) (mistral-ocr-2505) obravnava optično prepoznavanje znakov, običajno za ekstrakcijo besedila iz serij skeniranih računov, preden se podatki posredujejo drugemu modelu. Nazadnje, Mistral Small 3.1 (25.03) (mistral-small-2503) je lahek in hiter, kar ga dela idealnega za obdelavo velikih količin podatkov, kjer je zakasnitev pomembnejša od niansiranosti odgovora.

Predpogoji

Preden napišeš prvo vrstico kode Python, nastavi konfiguracijo Google Cloud. Potrebuješ projekt Google Cloud z omogočenim API-jem Vertex AI, nameščen in konfiguriran vmesnik ukazne vrstice gcloud ter dodeljeni dve vlogi IAM tvojem servisnem računu:

  • Vertex AI User — za klicanje modelov
  • Consumer Procurement Entitlement Manager — za omogočanje modelov Mistral

Druga vloga je tista, ki manjka v devetih od desetih primerov: brez nje aktivacija modela ne uspe, čeprav se tvoji klici zdijo pravilno avtenticirani.

# Namesti gcloud CLI
curl https://sdk.cloud.google.com | bash

# Prijava
gcloud auth application-default login

# Konfiguracija projekta
gcloud config set project mon-projet-gcp

Preostane še en korak, ki ga ne moreš izvesti prek ukazne vrstice: pred uporabo moraš aktivirati modele Mistral v Model Garden za Vertex AI. Odpri portal Vertex AI, pojdite v Model Garden, poišči Mistral in omogoči želene modele.

Klient MistralGCP

Namestitev zahteva dodatek gcp, ki vključuje odvisnosti za avtentikacijo Google.

pip install mistralai[gcp]

Inicializacija v standardnem primeru ne zahteva argumentov:

from mistralai.gcp.client import MistralGCP

# Samodejna avtentikacija prek google.auth.default()
client = MistralGCP()

Klient uporablja privzete poverilnice aplikacije Google Cloud (ADC). Če si zagnal gcloud auth application-default login ali če tvoja koda teče na stroju s servisnim računom, dodatna konfiguracija ni potrebna. Privzeta regija je europe-west4; lahko pa vsiliš drugo. Izberi jo glede na lokacijo tvojih uporabnikov, saj vsaka milisekunda potovanja po omrežju prispeva k času generiranja.

client = MistralGCP(region="us-central1")

Zaključki klepeta (Chat Completions)

Sam klic ne prinaša presenečenj: za razliko od Azureja parameter model tukaj uporablja dejansko ime modela.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.chat.complete(
    model="mistral-medium-3",
    messages=[
        {"role": "system", "content": "You are a cloud architecture expert."},
        {"role": "user", "content": "What are the advantages of Vertex AI compared to a self-hosted deployment?"}
    ],
    temperature=0.3,
    max_tokens=500
)

print(response.choices[0].message.content)

FIM s Codestralom

Fill-in-the-Middle je zmožnost, edinstvena za Codestral. Namesto nadaljevanja besedila model zapolni vrzel med začetkom (podanim v prompt) in koncem (podanim v suffix). Ta razlika je odločilna za samodejno dopolnjevanje v IDE-jih, kjer kazalec skoraj vedno sedi sredi datoteke: model vidi, kaj sledi, in zato lahko napiše telo funkcije, skladno z prihajajočim stavkom return, ali dopolni manjkajoč blok v obstoječi kodi.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.fim.complete(
    model="codestral-2",
    prompt="def count_words(file_path: str) -> int:",
    suffix="return n_words"
)

print(response.choices[0].message.content)
# Generira telo funkcije med prompt in suffix

Primer je še bolj smiseln z realnim razredom. Tukaj model prejme celotno glavo, že definirane atribute in naslednjo metodo disconnect(); ustvariti mora telo metode connect(), skladno s tem okoljem.

response = client.fim.complete(
    model="codestral-2",
    prompt="""class DatabaseConnection:
    def __init__(self, host: str, port: int, database: str):
        self.host = host
        self.port = port
        self.database = database
        self.connection = None

    def connect(self):""",
    suffix="""
    def disconnect(self):
        if self.connection:
            self.connection.close()
            self.connection = None
"""
)
print(response.choices[0].message.content)

Generirana koda bo ponovno uporabila self.host, self.port in self.database ter dodelila self.connection — nekaj, kar standardno dopolnjevanje, slepo za preostanek datoteke, ne bi imelo razloga storiti.

Pretakanje (Streaming) v Vertex AI

Pretakanje deluje enako kot drugje, z iteracijo preko vrnjenih kosov.

stream = client.chat.stream(
    model="mistral-medium-3",
    messages=[
        {"role": "user", "content": "Generate a Terraform script for a GKE cluster."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Razlike glede na neposredni API Mistral

VidikAPI MistralVertex AI
KlientMistral()MistralGCP()
AvtentikacijaKljuč APIGoogle ADC
RegijaSamodejnaKonfigurabilna
FIMDaDa (Codestral)
ObračunavanjeMistralGoogle Cloud

Ključne ugotovitve

  • Klient MistralGCP uporablja izvorno avtentikacijo Google Cloud (brez ključa API za Mistral)
  • Privzeta regija je europe-west4 — prilagodi jo svojemu primeru uporabe
  • Codestral v Vertex AI podpira FIM za samodejno dopolnjevanje kode
  • Pred uporabo omogoči modele v Model Garden
  • Identifikatorji Vertex so različičeni (codestral-2, mistral-medium-3) in se razvijajo z vsako generacijo: pred vzpostavitvijo namestitve preveri točno vrednost v Model Garden
  • Obračunavanje poteka prek tvojega računa Google Cloud, ne prek Mistrala