Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Google Vertex AI

Paskaita 7 iš 14 Atnaujinta 2026 m. lapkričio 2 d. Pažengusiems
Šiame puslapyje
  1. „Mistral“ „Google Cloud“ aplinkoje
  2. „Vertex AI“ prieinami modeliai
  3. Būtinos sąlygos
  4. Klientas „MistralGCP“
  5. Pokalbių užbaigimas (Chat Completions)
  6. FIM su „Codestral“
  7. Srautinis perdavimas „Vertex AI“ aplinkoje
  8. Skirtumai nuo tiesioginės „Mistral“ API
  9. Svarbiausi punktai

Atnaujinta 2026 m. lapkričio 2 d. — Google Cloud. Dabar „Google“ savo dirbtinio intelekto pasiūlymus grupuoja pagal „Gemini Enterprise Agent Platform“ („Agent Platform“); „Model Garden“ lieka šios ekosistemos dalimi. Galimi „Mistral“ modeliai: „Mistral Medium 3“ (mistral-medium-3), „Codestral 2“ (codestral-2), „Mistral OCR 25.05“ (mistral-ocr-2505) ir „Mistral Small 3.1“ (mistral-small-2503). Naudodami „Mistral SDK“ v2 ar naujesnę versiją, klientą importuokite taip: from mistralai.gcp.client import MistralGCP, o įdiekite komanda pip install "mistralai[gcp]". Šaltiniai: „Mistral AI“ modeliai („Google Cloud“) · „Vertex AI“ („Mistral“).

„Mistral“ „Google Cloud“ aplinkoje

„Google Cloud Vertex AI“ integruoja „Mistral“ modelius į savo bendrąją ML platformą. Norint pasiekti modelius, reikia specialaus kliento – MistralGCP. Pagrindinis jo skirtumas – autentifikavimas: jums nereikia valdyti „Mistral“ API rakto, nes klientas naudoja jūsų kompiuteryje ar paslaugoje jau sukonfigūruotus „Google Cloud“ prisijungimo duomenis. Šioje pamokoje aptarsime konfigūravimą, Python kodą ir funkciją, kurią „Vertex AI“ labiausiai iškelia: teksto papildymą viduryje (angl. Fill-in-the-Middle, FIM) naudojant „Codestral“.

„Vertex AI“ prieinami modeliai

„Vertex AI“ suteikia prieigą prie kelių modelių; kadangi katalogas nuolat atnaujinamas, aktualų sąrašą tikrinkite oficialioje svetainėje. „Mistral Medium 3“ (mistral-medium-3) yra našus universalus modelis, tinkamas kaip numatytasis pasirinkimas tekstui generuoti ar analizuoti. „Codestral 2 (25.08)“ (codestral-2) specializuojasi kode ir palaiko FIM funkciją, apie kurią plačiau kalbėsime vėliau. „Mistral OCR (25.05)“ (mistral-ocr-2505) skirtas optiniam simbolių atpažinimui, dažniausiai naudojamam tekstui išgauti iš nuskaitytų sąskaitų faktūrų partijų prieš perduodant duomenis kitam modeliui. Galiausiai, „Mistral Small 3.1 (25.03)“ (mistral-small-2503) yra lengvas ir greitas, todėl idealiai tinka didelio kiekio duomenų apdorojimui, kai svarbesnė yra maža delsos trukmė, o ne atsakymo niuansai.

Būtinos sąlygos

Prieš rašydami bent vieną Python eilutę, sukonfigūruokite „Google Cloud“ aplinką. Jums reikia „Google Cloud“ projekto su įjungta „Vertex AI“ API, įdiegtos ir sukonfigūruotos gcloud CLI, bei dviejų IAM vaidmenų, priskirtų jūsų paslaugos paskyrai:

  • Vertex AI User – modeliams kvieti
  • Consumer Procurement Entitlement Manager – „Mistral“ modeliams įjungti

Antrasis vaidmuo yra tas, kurio dažniausiai trūksta (devyniais atvejais iš dešimties): be jo modelio aktyvavimas nepavyksta, net jei jūsų užklausos atrodo tinkamai autentikuotos.

# Įdiekite gcloud CLI
curl https://sdk.cloud.google.com | bash

# Prisijunkite
gcloud auth application-default login

# Sukonfigūruokite projektą
gcloud config set project mon-projet-gcp

Liko vienas žingsnis, kurio negalite atlikti per komandinę eilutę: prieš naudodami turite aktyvuoti „Mistral“ modelius „Vertex AI Model Garden“ skyriuje. Eikite į „Vertex AI“ portalą, atidarykite Model Garden, ieškokite „Mistral“ ir įjunkite norimus modelius.

Klientas „MistralGCP“

Diegiant reikia naudoti papildinį gcp, kuris apima „Google“ autentifikavimo priklausomybes.

pip install mistralai[gcp]

Standartiniu atveju inicijavimui jokių argumentų nereikia:

from mistralai.gcp.client import MistralGCP

# Automatinis autentifikavimas naudojant google.auth.default()
client = MistralGCP()

Klientas naudoja „Google Cloud“ numatytuosius programos prisijungimo duomenis (ADC). Jei esate įvykdę gcloud auth application-default login arba jūsų kodas veikia mašinoje su paslaugos paskyra, papildoma konfigūracija nereikalinga. Numatytasis regionas yra europe-west4, tačiau galite nustatyti kitą. Rinkitės pagal savo naudotojų buvimo vietą, nes kiekviena milisekundė, praleista keliaujant tinklu, didina generavimo laiką.

client = MistralGCP(region="us-central1")

Pokalbių užbaigimas (Chat Completions)

Pats kvietimas niekuo nestebina: skirtingai nei „Azure“ atveju, čia parametras model naudoja tikrąjį modelio pavadinimą.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.chat.complete(
    model="mistral-medium-3",
    messages=[
        {"role": "system", "content": "You are a cloud architecture expert."},
        {"role": "user", "content": "What are the advantages of Vertex AI compared to a self-hosted deployment?"}
    ],
    temperature=0.3,
    max_tokens=500
)

print(response.choices[0].message.content)

FIM su „Codestral“

Teksto papildymas viduryje (angl. Fill-in-the-Middle, FIM) yra unikali „Codestral“ galimybė. Užuot tiesiog tęsęs tekstą, modelis užpildo tarpą tarp pradžios (perduodamos parametre prompt) ir pabaigos (perduodamos parametre suffix). Šis skirtumas yra lemiamas IDE automatinio užbaigimo kontekste, kai žymeklis beveik visada yra failo viduryje: modelis mato, kas eina toliau, todėl gali parašyti funkcijos kūną, atitinkantį būsimą return sakinį, arba užbaigti trūkstamą bloką esamame kode.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.fim.complete(
    model="codestral-2",
    prompt="def count_words(file_path: str) -> int:",
    suffix="return n_words"
)

print(response.choices[0].message.content)
# Sugeneruoja funkcijos kūną tarp prompt ir suffix

Pavyzdys dar labiau įprasminamas naudojant tikrą klasę. Čia modelis gauna visą antraštę, jau apibrėžtus atributus ir toliau einantį metodą disconnect(); jis turi sugeneruoti metodo connect() kūną, atitinkantį šią aplinką.

response = client.fim.complete(
    model="codestral-2",
    prompt="""class DatabaseConnection:
    def __init__(self, host: str, port: int, database: str):
        self.host = host
        self.port = port
        self.database = database
        self.connection = None

    def connect(self):""",
    suffix="""
    def disconnect(self):
        if self.connection:
            self.connection.close()
            self.connection = None
"""
)
print(response.choices[0].message.content)

Sugeneruotas kodas pakartotinai naudos self.host, self.port ir self.database, bei priskirs reikšmę self.connection – to standartinis užbaigimas, nematantis viso failo, daryti neturėtų jokios priežasties.

Srautinis perdavimas „Vertex AI“ aplinkoje

Srautinis perdavimas veikia taip pat, kaip ir kitur – iteruojant per grąžinamas dalis.

stream = client.chat.stream(
    model="mistral-medium-3",
    messages=[
        {"role": "user", "content": "Generate a Terraform script for a GKE cluster."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Skirtumai nuo tiesioginės „Mistral“ API

Aspektas„Mistral“ API„Vertex AI“
KlientasMistral()MistralGCP()
AutentifikavimasAPI raktas„Google“ ADC
RegionasAutomatinisKonfigūruojamas
FIMTaipTaip („Codestral“)
Atsiskaitymas„Mistral“„Google Cloud“

Svarbiausi punktai

  • Klientas MistralGCP naudoja vietinį „Google Cloud“ autentifikavimą (nereikia „Mistral“ API rakto)
  • Numatytasis regionas yra europe-west4 – pritaikykite jį savo naudojimui
  • „Codestral“ „Vertex AI“ aplinkoje palaiko FIM kodui automatiškai užbaigti
  • Prieš naudodami modelius, įjunkite juos „Model Garden“ skyriuje
  • „Vertex“ identifikatoriai yra versijuojami (codestral-2, mistral-medium-3) ir kinta su kiekviena nauja karta: prieš diegdami patikrinkite tikslią reikšmę „Model Garden“ skyriuje
  • Atsiskaitymas vyksta per jūsų „Google Cloud“ paskyrą, o ne per „Mistral“