Google Vertex AI
На тази страница
Обновено на 2 ноември 2026 г. — Google Cloud. Google вече групира своите предложения за изкуствен интелект под платформата Gemini Enterprise Agent Platform („Agent Platform“); Model Garden остава част от тази екосистема. Наличните модели на Mistral включват Mistral Medium 3 (
mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) и Mistral Small 3.1 (mistral-small-2503). При използване на Mistral SDK v2 и по-нови версии, импортирайте клиента чрезfrom mistralai.gcp.client import MistralGCPи го инсталирайте сpip install "mistralai[gcp]". Източници: Модели на Mistral AI (Google Cloud) · Vertex AI (Mistral).
Mistral в Google Cloud
Google Cloud Vertex AI интегрира моделите на Mistral в своята единна платформа за машинно обучение. Достъпът изисква специализиран клиент, MistralGCP. Неговата ключова особеност се крие в автентикацията: Вие не управлявате API ключ на Mistral, тъй като клиентът разчита на удостоверителните данни на Google Cloud, вече конфигурирани на Вашата машина или услуга. Този урок обхваща конфигурацията, Python кода и функцията, която Vertex AI подчертава най-много: Fill-in-the-Middle (FIM) с Codestral.
Модели, налични в Vertex AI
Vertex AI осигурява достъп до няколко модела; тъй като каталогът се обновява редовно, проверете официалната страница за актуалния списък. Mistral Medium 3 (mistral-medium-3) служи като високопроизводителен универсален модел, Вашият избор по подразбиране за генериране или анализ на текст. Codestral 2 (25.08) (codestral-2) е специализиран в програмирането и поддържа FIM, което ще бъде разгледано подробно по-късно в този урок. Mistral OCR (25.05) (mistral-ocr-2505) обработва оптично разпознаване на знаци, обикновено за извличане на текст от пакети сканирани фактури, преди да ги предаде на друг модел. Накрая, Mistral Small 3.1 (25.03) (mistral-small-2503) е лек и бърз, което го прави идеален за обработка на големи обеми, където латентността е по-важна от нюансите в отговора.
Предварителни изисквания
Настройте конфигурацията си за Google Cloud, преди да напишете и ред Python код. Имате нужда от проект в Google Cloud с активиран API за Vertex AI, инсталиран и конфигуриран CLI инструмент gcloud, както и две IAM роли, присвоени на Вашето сервизно акаунт:
Vertex AI User— за извикване на моделиConsumer Procurement Entitlement Manager— за активиране на моделите на Mistral
Втората роля е тази, която липсва в девет от десет случая: без нея активирането на модела се проваля, въпреки че Вашите извиквания изглеждат правилно удостоверени.
# Инсталиране на gcloud CLI
curl https://sdk.cloud.google.com | bash
# Влизане в системата
gcloud auth application-default login
# Конфигуриране на проекта
gcloud config set project mon-projet-gcp
Остава една стъпка, която не можете да изпълните чрез командния ред: трябва да активирате моделите на Mistral в Model Garden на Vertex AI, преди да ги използвате. Отидете в портала на Vertex AI, отворете Model Garden, потърсете Mistral и активирайте желаните модели.
Клиентът MistralGCP
Инсталацията изисква добавката gcp, която включва зависимостите за автентикация на Google.
pip install mistralai[gcp]
Инициализацията не приема аргументи в стандартния случай:
from mistralai.gcp.client import MistralGCP
# Автоматична автентикация чрез google.auth.default()
client = MistralGCP()
Клиентът използва удостоверителни данни по подразбиране на приложението (ADC) на Google Cloud. Ако сте изпълнили gcloud auth application-default login или ако кодът Ви работи на машина със сервизно акаунт, не е необходима допълнителна конфигурация. По подразбиране избраният регион е europe-west4; можете да наложите различен. Изберете въз основа на местоположението на Вашите потребители, тъй като всяка милисекунда пътуване по мрежата добавя време към генерирането.
client = MistralGCP(region="us-central1")
Chat Completions
Самото извикване не съдържа изненади: за разлика от Azure, параметърът model тук използва действителното име на модела.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.chat.complete(
model="mistral-medium-3",
messages=[
{"role": "system", "content": "You are a cloud architecture expert."},
{"role": "user", "content": "What are the advantages of Vertex AI compared to a self-hosted deployment?"}
],
temperature=0.3,
max_tokens=500
)
print(response.choices[0].message.content)
FIM с Codestral
Fill-in-the-Middle е възможност, уникална за Codestral. Вместо да продължава текста, моделът попълва празнина между начало (предадено в prompt) и край (предадено в suffix). Тази разлика е решаваща за автоматичното довършване в IDE, където курсорът почти винаги се намира в средата на файла: моделът вижда какво следва и следователно може да напише тяло на функция, съвместимо с предстоящия оператор return, или да довърши липсващ блок в съществуващ код.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.fim.complete(
model="codestral-2",
prompt="def count_words(file_path: str) -> int:",
suffix="return n_words"
)
print(response.choices[0].message.content)
# Генерира тялото на функцията между prompt и suffix
Примерът има още повече смисъл с реален клас. Тук моделът получава пълния хедър, вече дефинираните атрибути и следващия метод disconnect(); той трябва да създаде тялото на connect(), съвместимо с тази среда.
response = client.fim.complete(
model="codestral-2",
prompt="""class DatabaseConnection:
def __init__(self, host: str, port: int, database: str):
self.host = host
self.port = port
self.database = database
self.connection = None
def connect(self):""",
suffix="""
def disconnect(self):
if self.connection:
self.connection.close()
self.connection = None
"""
)
print(response.choices[0].message.content)
Генерираният код ще преизползва self.host, self.port и self.database и ще присвои стойност на self.connection — нещо, което стандартното довършване, сляпо за останалата част от файла, няма да има причина да направи.
Стрийминг в Vertex AI
Стриймингът работи както навсякъде другаде, чрез итерация върху върнатите парчета данни.
stream = client.chat.stream(
model="mistral-medium-3",
messages=[
{"role": "user", "content": "Generate a Terraform script for a GKE cluster."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
Разлики спрямо директния API на Mistral
| Аспект | Mistral API | Vertex AI |
|---|---|---|
| Клиент | Mistral() | MistralGCP() |
| Автентикация | API ключ | Google ADC |
| Регион | Автоматичен | Конфигурируем |
| FIM | Да | Да (Codestral) |
| Таксуване | Mistral | Google Cloud |
Ключови изводи
- Клиентът
MistralGCPизползва нативна автентикация на Google Cloud (без API ключ на Mistral) - Регионът по подразбиране е
europe-west4— адаптирайте го според Вашия случай на употреба - Codestral в Vertex AI поддържа FIM за автоматично довършване на код
- Активирайте моделите в Model Garden, преди да ги използвате
- Идентификаторите на Vertex са версионирани (
codestral-2,mistral-medium-3) и еволюират с всяко поколение: проверете точната стойност в Model Garden, преди да свържете внедряването - Таксуването преминава през Вашия акаунт в Google Cloud, а не през Mistral