Google Vertex AI
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 2 d. — Google Cloud. Dabar „Google“ savo dirbtinio intelekto pasiūlymus grupuoja pagal „Gemini Enterprise Agent Platform“ („Agent Platform“); „Model Garden“ lieka šios ekosistemos dalimi. Galimi „Mistral“ modeliai: „Mistral Medium 3“ (
mistral-medium-3), „Codestral 2“ (codestral-2), „Mistral OCR 25.05“ (mistral-ocr-2505) ir „Mistral Small 3.1“ (mistral-small-2503). Naudodami „Mistral SDK“ v2 ar naujesnę versiją, klientą importuokite taip:from mistralai.gcp.client import MistralGCP, o įdiekite komandapip install "mistralai[gcp]". Šaltiniai: „Mistral AI“ modeliai („Google Cloud“) · „Vertex AI“ („Mistral“).
„Mistral“ „Google Cloud“ aplinkoje
„Google Cloud Vertex AI“ integruoja „Mistral“ modelius į savo bendrąją ML platformą. Norint pasiekti modelius, reikia specialaus kliento – MistralGCP. Pagrindinis jo skirtumas – autentifikavimas: jums nereikia valdyti „Mistral“ API rakto, nes klientas naudoja jūsų kompiuteryje ar paslaugoje jau sukonfigūruotus „Google Cloud“ prisijungimo duomenis. Šioje pamokoje aptarsime konfigūravimą, Python kodą ir funkciją, kurią „Vertex AI“ labiausiai iškelia: teksto papildymą viduryje (angl. Fill-in-the-Middle, FIM) naudojant „Codestral“.
„Vertex AI“ prieinami modeliai
„Vertex AI“ suteikia prieigą prie kelių modelių; kadangi katalogas nuolat atnaujinamas, aktualų sąrašą tikrinkite oficialioje svetainėje. „Mistral Medium 3“ (mistral-medium-3) yra našus universalus modelis, tinkamas kaip numatytasis pasirinkimas tekstui generuoti ar analizuoti. „Codestral 2 (25.08)“ (codestral-2) specializuojasi kode ir palaiko FIM funkciją, apie kurią plačiau kalbėsime vėliau. „Mistral OCR (25.05)“ (mistral-ocr-2505) skirtas optiniam simbolių atpažinimui, dažniausiai naudojamam tekstui išgauti iš nuskaitytų sąskaitų faktūrų partijų prieš perduodant duomenis kitam modeliui. Galiausiai, „Mistral Small 3.1 (25.03)“ (mistral-small-2503) yra lengvas ir greitas, todėl idealiai tinka didelio kiekio duomenų apdorojimui, kai svarbesnė yra maža delsos trukmė, o ne atsakymo niuansai.
Būtinos sąlygos
Prieš rašydami bent vieną Python eilutę, sukonfigūruokite „Google Cloud“ aplinką. Jums reikia „Google Cloud“ projekto su įjungta „Vertex AI“ API, įdiegtos ir sukonfigūruotos gcloud CLI, bei dviejų IAM vaidmenų, priskirtų jūsų paslaugos paskyrai:
Vertex AI User– modeliams kvietiConsumer Procurement Entitlement Manager– „Mistral“ modeliams įjungti
Antrasis vaidmuo yra tas, kurio dažniausiai trūksta (devyniais atvejais iš dešimties): be jo modelio aktyvavimas nepavyksta, net jei jūsų užklausos atrodo tinkamai autentikuotos.
# Įdiekite gcloud CLI
curl https://sdk.cloud.google.com | bash
# Prisijunkite
gcloud auth application-default login
# Sukonfigūruokite projektą
gcloud config set project mon-projet-gcp
Liko vienas žingsnis, kurio negalite atlikti per komandinę eilutę: prieš naudodami turite aktyvuoti „Mistral“ modelius „Vertex AI Model Garden“ skyriuje. Eikite į „Vertex AI“ portalą, atidarykite Model Garden, ieškokite „Mistral“ ir įjunkite norimus modelius.
Klientas „MistralGCP“
Diegiant reikia naudoti papildinį gcp, kuris apima „Google“ autentifikavimo priklausomybes.
pip install mistralai[gcp]
Standartiniu atveju inicijavimui jokių argumentų nereikia:
from mistralai.gcp.client import MistralGCP
# Automatinis autentifikavimas naudojant google.auth.default()
client = MistralGCP()
Klientas naudoja „Google Cloud“ numatytuosius programos prisijungimo duomenis (ADC). Jei esate įvykdę gcloud auth application-default login arba jūsų kodas veikia mašinoje su paslaugos paskyra, papildoma konfigūracija nereikalinga. Numatytasis regionas yra europe-west4, tačiau galite nustatyti kitą. Rinkitės pagal savo naudotojų buvimo vietą, nes kiekviena milisekundė, praleista keliaujant tinklu, didina generavimo laiką.
client = MistralGCP(region="us-central1")
Pokalbių užbaigimas (Chat Completions)
Pats kvietimas niekuo nestebina: skirtingai nei „Azure“ atveju, čia parametras model naudoja tikrąjį modelio pavadinimą.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.chat.complete(
model="mistral-medium-3",
messages=[
{"role": "system", "content": "You are a cloud architecture expert."},
{"role": "user", "content": "What are the advantages of Vertex AI compared to a self-hosted deployment?"}
],
temperature=0.3,
max_tokens=500
)
print(response.choices[0].message.content)
FIM su „Codestral“
Teksto papildymas viduryje (angl. Fill-in-the-Middle, FIM) yra unikali „Codestral“ galimybė. Užuot tiesiog tęsęs tekstą, modelis užpildo tarpą tarp pradžios (perduodamos parametre prompt) ir pabaigos (perduodamos parametre suffix). Šis skirtumas yra lemiamas IDE automatinio užbaigimo kontekste, kai žymeklis beveik visada yra failo viduryje: modelis mato, kas eina toliau, todėl gali parašyti funkcijos kūną, atitinkantį būsimą return sakinį, arba užbaigti trūkstamą bloką esamame kode.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.fim.complete(
model="codestral-2",
prompt="def count_words(file_path: str) -> int:",
suffix="return n_words"
)
print(response.choices[0].message.content)
# Sugeneruoja funkcijos kūną tarp prompt ir suffix
Pavyzdys dar labiau įprasminamas naudojant tikrą klasę. Čia modelis gauna visą antraštę, jau apibrėžtus atributus ir toliau einantį metodą disconnect(); jis turi sugeneruoti metodo connect() kūną, atitinkantį šią aplinką.
response = client.fim.complete(
model="codestral-2",
prompt="""class DatabaseConnection:
def __init__(self, host: str, port: int, database: str):
self.host = host
self.port = port
self.database = database
self.connection = None
def connect(self):""",
suffix="""
def disconnect(self):
if self.connection:
self.connection.close()
self.connection = None
"""
)
print(response.choices[0].message.content)
Sugeneruotas kodas pakartotinai naudos self.host, self.port ir self.database, bei priskirs reikšmę self.connection – to standartinis užbaigimas, nematantis viso failo, daryti neturėtų jokios priežasties.
Srautinis perdavimas „Vertex AI“ aplinkoje
Srautinis perdavimas veikia taip pat, kaip ir kitur – iteruojant per grąžinamas dalis.
stream = client.chat.stream(
model="mistral-medium-3",
messages=[
{"role": "user", "content": "Generate a Terraform script for a GKE cluster."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
Skirtumai nuo tiesioginės „Mistral“ API
| Aspektas | „Mistral“ API | „Vertex AI“ |
|---|---|---|
| Klientas | Mistral() | MistralGCP() |
| Autentifikavimas | API raktas | „Google“ ADC |
| Regionas | Automatinis | Konfigūruojamas |
| FIM | Taip | Taip („Codestral“) |
| Atsiskaitymas | „Mistral“ | „Google Cloud“ |
Svarbiausi punktai
- Klientas
MistralGCPnaudoja vietinį „Google Cloud“ autentifikavimą (nereikia „Mistral“ API rakto) - Numatytasis regionas yra
europe-west4– pritaikykite jį savo naudojimui - „Codestral“ „Vertex AI“ aplinkoje palaiko FIM kodui automatiškai užbaigti
- Prieš naudodami modelius, įjunkite juos „Model Garden“ skyriuje
- „Vertex“ identifikatoriai yra versijuojami (
codestral-2,mistral-medium-3) ir kinta su kiekviena nauja karta: prieš diegdami patikrinkite tikslią reikšmę „Model Garden“ skyriuje - Atsiskaitymas vyksta per jūsų „Google Cloud“ paskyrą, o ne per „Mistral“