Mistral su Google Vertex AI
In questa pagina
Aggiornato il 2 novembre 2026 — Google Cloud. Google raggruppa ora le sue offerte di intelligenza artificiale sotto la piattaforma Gemini Enterprise Agent Platform (“Agent Platform”); il Model Garden rimane disponibile al suo interno. I modelli Mistral disponibili sono Mistral Medium 3 (
mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) e Mistral Small 3.1 (mistral-small-2503). Con Mistral SDK v2 e versioni successive, importa il client tramitefrom mistralai.gcp.client import MistralGCPe installalo conpip install "mistralai[gcp]". Fonti: Modelli Mistral AI (Google Cloud) · Vertex AI (Mistral).
Perché Vertex AI?
Google Cloud Vertex AI è la piattaforma MLOps di Google e ospita modelli di partner, inclusi quelli di Mistral. La logica qui rispecchia quella di Azure: se la tua infrastruttura si basa già su Google Cloud (BigQuery per i dati, Cloud Run o GKE per l’esecuzione), l’uso di Vertex ti evita di introdurre un altro fornitore nella tua catena.
L’argomento decisivo è l’autenticazione. Non hai più bisogno di distribuire, ruotare o monitorare una chiave API Mistral: i tuoi servizi si autenticano utilizzando il loro account di servizio Google, esattamente come fanno già per accedere a un bucket o a una tabella BigQuery. Questo aggiunge anche una fatturazione centralizzata sul tuo account Cloud Billing e l’accesso agli strumenti MLOps di Google.
Modelli disponibili su Vertex AI
Ad aprile 2026, Vertex AI fornisce accesso ai seguenti modelli:
| Modello | Posizionamento |
|---|---|
| Mistral Medium | Modello generico ad alte prestazioni |
| Mistral Small | Veloce ed economico |
| Codestral | Specializzato nel codice, con supporto FIM (Fill-in-the-Middle) |
| Mistral OCR | Estrazione del contenuto dai documenti |
Prepara il tuo ambiente Google Cloud
La configurazione avviene una volta sola e condiziona tutto il resto:
- Un progetto Google Cloud con l’API Vertex AI abilitata
- I seguenti ruoli IAM assegnati al tuo account:
Vertex AI User— per invocare i modelliConsumer Procurement Entitlement Manager— per abilitare i modelli dei partner
- La CLI gcloud installata e configurata
Il secondo ruolo sorprende spesso: non ha nulla a che fare con l’inferenza; autorizza semplicemente l’attivazione dei modelli dei partner nel catalogo. Senza di esso, vedrai i modelli Mistral nell’interfaccia ma non sarai mai in grado di abilitarli, e l’errore restituito non indica chiaramente questa mancanza di permessi.
# Installa gcloud (se non già fatto)
# Vedi https://cloud.google.com/sdk/docs/install
# Autenticati
gcloud auth application-default login
# Imposta il progetto predefinito
gcloud config set project your-project-id
Un passaggio viene regolarmente dimenticato: vai alla console di Vertex AI, trova il modello Mistral desiderato nel Model Garden e clicca su Enable (Abilita). Questa attivazione è richiesta una sola volta per modello e per progetto. Una chiamata a un modello non abilitato fallisce anche se i tuoi ruoli IAM sono corretti: questa è la prima cosa da verificare quando ti trovi di fronte a un errore di autorizzazione inspiegabile.
Una prima chiamata senza chiave API
Nota prima di tutto cosa manca nel codice qui sotto: nessuna chiave API, nessun segreto da caricare. Mistral SDK V2 fornisce un client dedicato per Google Cloud, MistralGCP, che si basa su google.auth.default(): recupera le credenziali che gcloud auth application-default login ha depositato localmente, oppure l’account di servizio collegato alla macchina in produzione.
from mistralai.gcp.client import MistralGCP
# L'autenticazione usa google.auth.default()
# Assicurati di aver eseguito: gcloud auth application-default login
client = MistralGCP()
response = client.chat.complete(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "Explain the architecture of BigQuery."}
]
)
print(response.choices[0].message.content)
Per impostazione predefinita, il client utilizza la regione europe-west4, nei Paesi Bassi. Per cambiarla, passala semplicemente al costruttore, tenendo presente che le regioni disponibili dipendono dal modello e che la documentazione di Vertex AI fa fede su questo punto.
client = MistralGCP(region="us-central1")
Lo streaming segue lo stesso meccanismo visto con l’API diretta: itera sullo stream, accedi al contenuto tramite chunk.data e testa prima di stampare, poiché alcuni frammenti arrivano vuoti.
stream = client.chat.stream(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "List the serverless services of Google Cloud."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
Il caso speciale di FIM con Codestral
Codestral su Vertex AI supporta il Fill-in-the-Middle (FIM), una funzionalità che cambia il modo in cui affronti il completamento del codice. Invece di chiedere “scrivimi una funzione”, fornisci l’inizio e la fine, e il modello produce ciò che manca tra i due. Cambia anche il metodo: non è più chat.complete() ma fim.complete(), con un prompt per la parte a monte e un suffix per quella a valle.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.fim.complete(
model="codestral-2",
prompt="def calculate_average(grades: list[float]) -> float:",
suffix=" return average"
)
print(response.choices[0].message.content)
In questo esempio, il modello genera il corpo della funzione tra la firma e il return. Sa che una variabile average deve esistere alla fine, poiché appare nel suffisso: il vincolo lo guida molto meglio di un’istruzione in linguaggio naturale. È esattamente ciò che accade quando un IDE completa una funzione nel mezzo di un file, rendendo il FIM particolarmente efficace per il completamento in un editor, per riempire blocchi di codice mancanti e per generare codice che deve inserirsi in una struttura esistente.
Il client Vertex in TypeScript
In JavaScript e TypeScript, il client Google Cloud è pubblicato in un pacchetto separato, @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp), e si chiama MistralGCP dalla versione 2.0 dell’SDK (in precedenza si chiamava MistralGoogleCloud). La regione e l’ID del progetto vengono dichiarati alla costruzione e, ancora una volta, nessuna chiave appare nel codice.
import { MistralGCP } from '@mistralai/mistralai-gcp';
const client = new MistralGCP({
region: 'europe-west4',
projectId: process.env.GOOGLE_PROJECT_ID,
});
const response = await client.chat.complete({
model: 'mistral-small-2503',
messages: [
{ role: 'user', content: 'How to optimize a BigQuery query?' },
],
});
console.log(response.choices?.[0]?.message?.content);
Fonti: TypeScript SDK
@mistralai/mistralai-gcp· Note di rilascio TypeScript SDK 2.0.0
Andare in produzione correttamente
L’autenticazione dell’utente tramite gcloud auth application-default login è perfetta per lo sviluppo, ma lega le tue chiamate a una persona: il giorno in cui quella persona lascia il team, il servizio si interrompe. In produzione, utilizza account di servizio, i cui diritti sono espliciti e verificabili. Mantieni europe-west4 come regione predefinita se la conformità europea fa parte dei tuoi vincoli. Abilita Cloud Logging per tracciare le tue chiamate e diagnosticare gli errori, e configura i budget di Cloud Billing: su una piattaforma dove l’inferenza è fatturata in base all’uso, un avviso di budget è la tua unica salvaguardia contro un loop incontrollato.
Punti chiave
- Il client
MistralGCPutilizza l’autenticazione nativa di Google Cloud (gcloud auth) - La regione predefinita è
europe-west4— modificabile all’inizializzazione - Codestral su Vertex supporta il FIM (Fill-in-the-Middle) per il completamento del codice
- Nessuna chiave API Mistral è richiesta: l’autenticazione passa attraverso Google Cloud IAM
- Abilita ogni modello nel Model Garden prima di utilizzarlo