Mistral в Google Vertex AI
На тази страница
Обновено на 2 ноември 2026 г. — Google Cloud. Google вече групира своите предложения за изкуствен интелект под платформата Gemini Enterprise Agent Platform („Agent Platform“); Model Garden остава достъпен в нея. Наличните модели на Mistral са Mistral Medium 3 (
mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) и Mistral Small 3.1 (mistral-small-2503). При използване на Mistral SDK v2 или по-нова версия, импортирайте клиента чрезfrom mistralai.gcp.client import MistralGCPи го инсталирайте сpip install "mistralai[gcp]". Източници: Модели на Mistral AI (Google Cloud) · Vertex AI (Mistral).
Защо Vertex AI?
Google Cloud Vertex AI е MLOps платформата на Google и хоства партньорски модели, включително тези от Mistral. Логиката тук огледално отговаря на тази в Azure: ако инфраструктурата Ви вече разчита на Google Cloud — BigQuery за данни, Cloud Run или GKE за изпълнение — използването на Vertex Ви спестява въвеждането на още един доставчик във веригата.
Решаващият аргумент тук е автентикацията. Вече не е необходимо да разпространявате, ротирате или мониторите API ключ на Mistral: Вашите услуги се автентикират чрез своя Google сервисен акаунт, точно както вече го правят за достъп до кофа или таблица в BigQuery. Това също така добавя централизирано фактуриране към Вашия Cloud Billing акаунт и достъп до MLOps инструментите на Google.
Модели, налични в Vertex AI
Към април 2026 г. Vertex AI осигурява достъп до следните модели:
| Модел | Позициониране |
|---|---|
| Mistral Medium | Високопроизводителен модел за общи цели |
| Mistral Small | Бърз и икономичен |
| Codestral | Специализиран за код, с поддръжка на FIM (Fill-in-the-Middle) |
| Mistral OCR | Извличане на съдържание от документи |
Подготовка на Вашата Google Cloud среда
Конфигурацията се извършва веднъж и обуславя всичко останало:
- Google Cloud проект с активиран Vertex AI API
- Следните IAM роли, присвоени на Вашия акаунт:
Vertex AI User— за извикване на моделиConsumer Procurement Entitlement Manager— за активиране на партньорски модели
- gcloud CLI инсталиран и конфигуриран
Втората роля често изненадва хората: тя няма нищо общо с инференцията; тя упълномощава активирането на партньорски модели в каталога. Без нея ще виждате моделите на Mistral в интерфейса, но никога няма да можете да ги активирате, а върнатата грешка не посочва ясно този липсващ разрешителен.
# Инсталиране на gcloud (ако все още не е направено)
# Вижте https://cloud.google.com/sdk/docs/install
# Автентикация
gcloud auth application-default login
# Задаване на проект по подразбиране
gcloud config set project your-project-id
Една стъпка редовно се забравя: отидете в конзолата на Vertex AI, намерете желания модел на Mistral в Model Garden и кликнете върху Enable. Това активиране се изисква само веднъж за всеки модел и за всеки проект. Извикването на неактивиран модел се проваля, дори ако Вашите IAM роли са правилни — това е първото нещо, което трябва да проверите при сблъсък с необяснима грешка в оторизацията.
Първо извикване без API ключ
Първо забележете какво липсва в кода по-долу: няма API ключ, няма тайна за зареждане. Mistral SDK V2 предоставя специализиран клиент за Google Cloud, MistralGCP, който разчита на google.auth.default(): той избира учетните данни, които gcloud auth application-default login е депозирал локално, или сервисния акаунт, прикрепен към машината в продукционна среда.
from mistralai.gcp.client import MistralGCP
# Автентикацията използва google.auth.default()
# Уверете се, че сте изпълнили: gcloud auth application-default login
client = MistralGCP()
response = client.chat.complete(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "Explain the architecture of BigQuery."}
]
)
print(response.choices[0].message.content)
По подразбиране клиентът използва региона europe-west4 в Нидерландия. За да го промените, просто го предайте на конструктора — имайте предвид, че наличните региони зависят от модела и че документацията на Vertex AI е авторитетният източник по този въпрос.
client = MistralGCP(region="us-central1")
Стриймингът следва същия механизъм, видян при директния API: итерирайте през потока, достъпвайте съдържанието чрез chunk.data и правете проверка преди принтиране, тъй като някои фрагменти пристигат празни.
stream = client.chat.stream(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "List the serverless services of Google Cloud."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
Специалният случай на FIM с Codestral
Codestral в Vertex AI поддържа Fill-in-the-Middle (FIM), функция, която променя подхода Ви към довършването на код. Вместо да питате „напиши ми функция“, Вие предоставяте началото и края, а моделът генерира липсващото между двете. Методът също се променя: вече не е chat.complete(), а fim.complete(), с prompt за горната част и suffix за долната част.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.fim.complete(
model="codestral-2",
prompt="def calculate_average(grades: list[float]) -> float:",
suffix=" return average"
)
print(response.choices[0].message.content)
В този пример моделът генерира тялото на функцията между сигнатурата и return. Той знае, че променлива average трябва да съществува в края, тъй като тя се появява в суфикса: ограничението го насочва много по-добре от инструкция на естествен език. Това е точно това, което се случва, когато IDE довършва функция в средата на файл, правейки FIM особено ефективен за довършване в редактор, попълване на липсващи блокове код и генериране на код, който трябва да се впише в съществуваща структура.
Vertex клиентът в TypeScript
В JavaScript и TypeScript клиентът за Google Cloud се публикува в отделен пакет, @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp), и се нарича MistralGCP от версия 2.0 на SDK (преди се наричаше MistralGoogleCloud). Регионът и ID на проекта се декларират при конструиране и отново, в кода не се появява никакъв ключ.
import { MistralGCP } from '@mistralai/mistralai-gcp';
const client = new MistralGCP({
region: 'europe-west4',
projectId: process.env.GOOGLE_PROJECT_ID,
});
const response = await client.chat.complete({
model: 'mistral-small-2503',
messages: [
{ role: 'user', content: 'How to optimize a BigQuery query?' },
],
});
console.log(response.choices?.[0]?.message?.content);
Източници: TypeScript SDK
@mistralai/mistralai-gcp· Бележки към release на TypeScript SDK 2.0.0
Правилно преминаване към продукционна среда
Потребителската автентикация чрез gcloud auth application-default login е перфектна за разработка, но тя обвързва Вашите извиквания с конкретен човек: в деня, в който този човек напусне екипа, услугата спира. В продукционна среда използвайте сервисни акаунти, чиито права са изрични и подлежащи на одит. Запазете europe-west4 като регион по подразбиране, ако европейското съответствие е част от Вашите ограничения. Активирайте Cloud Logging, за да проследявате извикванията си и да диагностицирате грешки, и конфигурирайте бюджети за Cloud Billing: на платформа, където инференцията се фактурира според употребата, предупреждението за бюджет е единствената Ви защита срещу безконтролен цикъл.
Ключови изводи
- Клиентът
MistralGCPизползва нативна автентикация на Google Cloud (gcloud auth) - Регионът по подразбиране е
europe-west4— може да се промени при инициализация - Codestral в Vertex поддържа FIM (Fill-in-the-Middle) за довършване на код
- Не се изисква API ключ на Mistral: автентикацията минава през Google Cloud IAM
- Активирайте всеки модел в Model Garden, преди да го използвате