Премини към основното съдържание
Български— Изберете език
Меню

Mistral в Google Vertex AI

Урок 12 от 14 Обновен 2 ноември 2026 г. Програмист
На тази страница
  1. Защо Vertex AI?
  2. Модели, налични в Vertex AI
  3. Подготовка на Вашата Google Cloud среда
  4. Първо извикване без API ключ
  5. Специалният случай на FIM с Codestral
  6. Vertex клиентът в TypeScript
  7. Правилно преминаване към продукционна среда
  8. Ключови изводи

Обновено на 2 ноември 2026 г. — Google Cloud. Google вече групира своите предложения за изкуствен интелект под платформата Gemini Enterprise Agent Platform („Agent Platform“); Model Garden остава достъпен в нея. Наличните модели на Mistral са Mistral Medium 3 (mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) и Mistral Small 3.1 (mistral-small-2503). При използване на Mistral SDK v2 или по-нова версия, импортирайте клиента чрез from mistralai.gcp.client import MistralGCP и го инсталирайте с pip install "mistralai[gcp]". Източници: Модели на Mistral AI (Google Cloud) · Vertex AI (Mistral).

Защо Vertex AI?

Google Cloud Vertex AI е MLOps платформата на Google и хоства партньорски модели, включително тези от Mistral. Логиката тук огледално отговаря на тази в Azure: ако инфраструктурата Ви вече разчита на Google Cloud — BigQuery за данни, Cloud Run или GKE за изпълнение — използването на Vertex Ви спестява въвеждането на още един доставчик във веригата.

Решаващият аргумент тук е автентикацията. Вече не е необходимо да разпространявате, ротирате или мониторите API ключ на Mistral: Вашите услуги се автентикират чрез своя Google сервисен акаунт, точно както вече го правят за достъп до кофа или таблица в BigQuery. Това също така добавя централизирано фактуриране към Вашия Cloud Billing акаунт и достъп до MLOps инструментите на Google.

Модели, налични в Vertex AI

Към април 2026 г. Vertex AI осигурява достъп до следните модели:

МоделПозициониране
Mistral MediumВисокопроизводителен модел за общи цели
Mistral SmallБърз и икономичен
CodestralСпециализиран за код, с поддръжка на FIM (Fill-in-the-Middle)
Mistral OCRИзвличане на съдържание от документи

Подготовка на Вашата Google Cloud среда

Конфигурацията се извършва веднъж и обуславя всичко останало:

  1. Google Cloud проект с активиран Vertex AI API
  2. Следните IAM роли, присвоени на Вашия акаунт:
    • Vertex AI User — за извикване на модели
    • Consumer Procurement Entitlement Manager — за активиране на партньорски модели
  3. gcloud CLI инсталиран и конфигуриран

Втората роля често изненадва хората: тя няма нищо общо с инференцията; тя упълномощава активирането на партньорски модели в каталога. Без нея ще виждате моделите на Mistral в интерфейса, но никога няма да можете да ги активирате, а върнатата грешка не посочва ясно този липсващ разрешителен.

# Инсталиране на gcloud (ако все още не е направено)
# Вижте https://cloud.google.com/sdk/docs/install

# Автентикация
gcloud auth application-default login

# Задаване на проект по подразбиране
gcloud config set project your-project-id

Една стъпка редовно се забравя: отидете в конзолата на Vertex AI, намерете желания модел на Mistral в Model Garden и кликнете върху Enable. Това активиране се изисква само веднъж за всеки модел и за всеки проект. Извикването на неактивиран модел се проваля, дори ако Вашите IAM роли са правилни — това е първото нещо, което трябва да проверите при сблъсък с необяснима грешка в оторизацията.

Първо извикване без API ключ

Първо забележете какво липсва в кода по-долу: няма API ключ, няма тайна за зареждане. Mistral SDK V2 предоставя специализиран клиент за Google Cloud, MistralGCP, който разчита на google.auth.default(): той избира учетните данни, които gcloud auth application-default login е депозирал локално, или сервисния акаунт, прикрепен към машината в продукционна среда.

from mistralai.gcp.client import MistralGCP

# Автентикацията използва google.auth.default()
# Уверете се, че сте изпълнили: gcloud auth application-default login
client = MistralGCP()

response = client.chat.complete(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "Explain the architecture of BigQuery."}
    ]
)

print(response.choices[0].message.content)

По подразбиране клиентът използва региона europe-west4 в Нидерландия. За да го промените, просто го предайте на конструктора — имайте предвид, че наличните региони зависят от модела и че документацията на Vertex AI е авторитетният източник по този въпрос.

client = MistralGCP(region="us-central1")

Стриймингът следва същия механизъм, видян при директния API: итерирайте през потока, достъпвайте съдържанието чрез chunk.data и правете проверка преди принтиране, тъй като някои фрагменти пристигат празни.

stream = client.chat.stream(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "List the serverless services of Google Cloud."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Специалният случай на FIM с Codestral

Codestral в Vertex AI поддържа Fill-in-the-Middle (FIM), функция, която променя подхода Ви към довършването на код. Вместо да питате „напиши ми функция“, Вие предоставяте началото и края, а моделът генерира липсващото между двете. Методът също се променя: вече не е chat.complete(), а fim.complete(), с prompt за горната част и suffix за долната част.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.fim.complete(
    model="codestral-2",
    prompt="def calculate_average(grades: list[float]) -> float:",
    suffix="    return average"
)

print(response.choices[0].message.content)

В този пример моделът генерира тялото на функцията между сигнатурата и return. Той знае, че променлива average трябва да съществува в края, тъй като тя се появява в суфикса: ограничението го насочва много по-добре от инструкция на естествен език. Това е точно това, което се случва, когато IDE довършва функция в средата на файл, правейки FIM особено ефективен за довършване в редактор, попълване на липсващи блокове код и генериране на код, който трябва да се впише в съществуваща структура.

Vertex клиентът в TypeScript

В JavaScript и TypeScript клиентът за Google Cloud се публикува в отделен пакет, @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp), и се нарича MistralGCP от версия 2.0 на SDK (преди се наричаше MistralGoogleCloud). Регионът и ID на проекта се декларират при конструиране и отново, в кода не се появява никакъв ключ.

import { MistralGCP } from '@mistralai/mistralai-gcp';

const client = new MistralGCP({
  region: 'europe-west4',
  projectId: process.env.GOOGLE_PROJECT_ID,
});

const response = await client.chat.complete({
  model: 'mistral-small-2503',
  messages: [
    { role: 'user', content: 'How to optimize a BigQuery query?' },
  ],
});

console.log(response.choices?.[0]?.message?.content);

Източници: TypeScript SDK @mistralai/mistralai-gcp · Бележки към release на TypeScript SDK 2.0.0

Правилно преминаване към продукционна среда

Потребителската автентикация чрез gcloud auth application-default login е перфектна за разработка, но тя обвързва Вашите извиквания с конкретен човек: в деня, в който този човек напусне екипа, услугата спира. В продукционна среда използвайте сервисни акаунти, чиито права са изрични и подлежащи на одит. Запазете europe-west4 като регион по подразбиране, ако европейското съответствие е част от Вашите ограничения. Активирайте Cloud Logging, за да проследявате извикванията си и да диагностицирате грешки, и конфигурирайте бюджети за Cloud Billing: на платформа, където инференцията се фактурира според употребата, предупреждението за бюджет е единствената Ви защита срещу безконтролен цикъл.

Ключови изводи

  • Клиентът MistralGCP използва нативна автентикация на Google Cloud (gcloud auth)
  • Регионът по подразбиране е europe-west4 — може да се промени при инициализация
  • Codestral в Vertex поддържа FIM (Fill-in-the-Middle) за довършване на код
  • Не се изисква API ключ на Mistral: автентикацията минава през Google Cloud IAM
  • Активирайте всеки модел в Model Garden, преди да го използвате