Salt la conținutul principal
Română— Alege o limbă
Meniu

Mistral pe Google Vertex AI

Lecția 12 din 14 Actualizată 2 noiembrie 2026 Dezvoltator
Pe această pagină
  1. De ce Vertex AI?
  2. Modele disponibile pe Vertex AI
  3. Pregătirea mediului Google Cloud
  4. Un prim apel fără cheie API
  5. Cazul special al FIM cu Codestral
  6. Clientul Vertex în TypeScript
  7. Trecerea corectă în producție
  8. Puncte cheie

Actualizat la 2 noiembrie 2026 — Google Cloud. Google își grupează acum ofertele de IA sub platforma Gemini Enterprise Agent Platform („Agent Platform“); Model Garden rămâne disponibil în cadrul acesteia. Modelele Mistral disponibile sunt Mistral Medium 3 (mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) și Mistral Small 3.1 (mistral-small-2503). Începând cu Mistral SDK v2 și versiunile ulterioare, importați clientul prin from mistralai.gcp.client import MistralGCP și instalați-l cu pip install "mistralai[gcp]". Surse: Modele Mistral AI (Google Cloud) · Vertex AI (Mistral).

De ce Vertex AI?

Google Cloud Vertex AI este platforma MLOps a Google și găzduiește modele ale partenerilor, inclusiv cele de la Mistral. Logica aici este similară cu cea de la Azure: dacă infrastructura dumneavoastră se bazează deja pe Google Cloud—BigQuery pentru date, Cloud Run sau GKE pentru execuție—utilizarea Vertex vă evită introducerea unui alt furnizor în lanțul dumneavoastră tehnic.

Argumentul decisiv aici este autentificarea. Nu mai este nevoie să distribuiți, să rotiți sau să monitorizați o cheie API Mistral: serviciile dumneavoastră se autentifică folosind contul de serviciu Google, exact așa cum o fac deja pentru a accesa un bucket sau un tabel BigQuery. Acest lucru adaugă, de asemenea, o facturare centralizată în contul dumneavoastră Cloud Billing și acces la instrumentele MLOps ale Google.

Modele disponibile pe Vertex AI

Începând cu aprilie 2026, Vertex AI oferă acces la următoarele modele:

ModelPoziționare
Mistral MediumModel generalist de înaltă performanță
Mistral SmallRapid și eficient din punct de vedere al costurilor
CodestralSpecializat pentru cod, cu suport FIM (Fill-in-the-Middle)
Mistral OCRExtragerea conținutului din documente

Pregătirea mediului Google Cloud

Configurarea se face o singură dată și condiționează tot restul:

  1. Un proiect Google Cloud cu API-ul Vertex AI activat
  2. Următoarele roluri IAM atribuite contului dumneavoastră:
    • Vertex AI User — pentru a invoca modelele
    • Consumer Procurement Entitlement Manager — pentru a activa modelele partenerilor
  3. gcloud CLI instalat și configurat

Al doilea rol surprinde adesea: nu are nicio legătură cu inferența; acesta autorizează activarea modelelor partenerilor în catalog. Fără el, veți vedea modelele Mistral în interfață, dar nu le veți putea activa niciodată, iar eroarea returnată nu indică în mod clar această lipsă de permisiuni.

# Instalați gcloud (dacă nu ați făcut-o deja)
# Consultați https://cloud.google.com/sdk/docs/install

# Autentificare
gcloud auth application-default login

# Setați proiectul implicit
gcloud config set project your-project-id

Un pas este regulat uitat: mergeți la consola Vertex AI, găsiți modelul Mistral dorit în Model Garden și faceți clic pe Enable (Activare). Această activare este necesară o singură dată per model și per proiect. Un apel către un model neactivat eșuează chiar dacă rolurile IAM sunt corecte—acesta este primul lucru de verificat atunci când întâmpinați o eroare de autorizare neexplicată.

Un prim apel fără cheie API

Observați mai întâi ce lipsește în codul de mai jos: nicio cheie API, niciun secret de încărcat. Mistral SDK V2 oferă un client dedicat pentru Google Cloud, MistralGCP, care se bazează pe google.auth.default(): acesta preia credențialele pe care gcloud auth application-default login le-a stocat local sau contul de serviciu atașat mașinii în producție.

from mistralai.gcp.client import MistralGCP

# Autentificarea folosește google.auth.default()
# Asigurați-vă că ați rulat: gcloud auth application-default login
client = MistralGCP()

response = client.chat.complete(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "Explain the architecture of BigQuery."}
    ]
)

print(response.choices[0].message.content)

În mod implicit, clientul folosește regiunea europe-west4, din Țările de Jos. Pentru a o schimba, transmiteți-o pur și simplu constructorului—ținând cont că regiunile disponibile depind de model și că documentația Vertex AI face autoritate în această privință.

client = MistralGCP(region="us-central1")

Streaming-ul urmează același mecanism văzut cu API-ul direct: iterați peste flux, accesați conținutul prin chunk.data și testați înainte de a afișa, deoarece unele fragmente sosesc goale.

stream = client.chat.stream(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "List the serverless services of Google Cloud."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Cazul special al FIM cu Codestral

Codestral pe Vertex AI suportă Fill-in-the-Middle (FIM), o funcționalitate care schimbă modul în care abordați completarea codului. În loc să cereți „scrie-mi o funcție“, furnizați începutul și sfârșitul, iar modelul produce ceea ce lipsește între cele două. Metoda se schimbă, de asemenea: nu mai este chat.complete(), ci fim.complete(), cu un prompt pentru partea din amonte și un suffix pentru partea din aval.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.fim.complete(
    model="codestral-2",
    prompt="def calculate_average(grades: list[float]) -> float:",
    suffix="    return average"
)

print(response.choices[0].message.content)

În acest exemplu, modelul generează corpul funcției între semnătură și return. Știe că o variabilă average trebuie să existe la final, deoarece apare în sufix: constrângerea îl ghidează mult mai bine decât o instrucțiune în limbaj natural. Acesta este exact ceea ce se întâmplă când un IDE completează o funcție la mijlocul unui fișier, făcând ca FIM să fie deosebit de eficient pentru completarea într-un editor, umplerea blocurilor de cod lipsă și generarea de cod care trebuie să se integreze într-o structură existentă.

Clientul Vertex în TypeScript

În JavaScript și TypeScript, clientul Google Cloud este publicat într-un pachet separat, @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp), și se numește MistralGCP începând cu versiunea SDK 2.0 (anterior se numea MistralGoogleCloud). Regiunea și ID-ul proiectului sunt declarate la construcție și, din nou, nicio cheie nu apare în cod.

import { MistralGCP } from '@mistralai/mistralai-gcp';

const client = new MistralGCP({
  region: 'europe-west4',
  projectId: process.env.GOOGLE_PROJECT_ID,
});

const response = await client.chat.complete({
  model: 'mistral-small-2503',
  messages: [
    { role: 'user', content: 'How to optimize a BigQuery query?' },
  ],
});

console.log(response.choices?.[0]?.message?.content);

Surse: TypeScript SDK @mistralai/mistralai-gcp · Note de lansare TypeScript SDK 2.0.0

Trecerea corectă în producție

Autentificarea utilizatorului prin gcloud auth application-default login este perfectă pentru dezvoltare, dar leagă apelurile dumneavoastră de o persoană: în ziua în care acea persoană părăsește echipa, serviciul se întrerupe. În producție, utilizați conturi de serviciu, ale căror drepturi sunt explicite și auditabile. Păstrați europe-west4 ca regiune implicită dacă conformitatea europeană face parte din constrângerile dumneavoastră. Activați Cloud Logging pentru a vă urmări apelurile și a diagnostica erorile și configurați bugete Cloud Billing: pe o platformă unde inferența este facturată în funcție de utilizare, o alertă de buget este singura dumneavoastră garanție împotriva unei bucle scăpate de sub control.

Puncte cheie

  • Clientul MistralGCP utilizează autentificarea nativă Google Cloud (gcloud auth)
  • Regiunea implicită este europe-west4 — modificabilă la inițializare
  • Codestral pe Vertex suportă FIM (Fill-in-the-Middle) pentru completarea codului
  • Nu este necesară nicio cheie API Mistral: autentificarea trece prin Google Cloud IAM
  • Activați fiecare model în Model Garden înainte de a-l utiliza