Mistral op Google Vertex AI
Op deze pagina
Bijgewerkt op 2 november 2026 — Google Cloud. Google bundelt zijn AI-aanbod nu onder Gemini Enterprise Agent Platform (“Agent Platform”); de Model Garden blijft hierbinnen beschikbaar. De beschikbare Mistral-modellen zijn Mistral Medium 3 (
mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) en Mistral Small 3.1 (mistral-small-2503). Met Mistral SDK v2 en hoger importeert u de client viafrom mistralai.gcp.client import MistralGCPen installeert u deze metpip install "mistralai[gcp]". Bronnen: Mistral AI-modellen (Google Cloud) · Vertex AI (Mistral).
Waarom Vertex AI?
Google Cloud Vertex AI is het MLOps-platform van Google en host partnermodellen, waaronder die van Mistral. De logica hier komt overeen met die van Azure: als uw infrastructuur al vertrouwt op Google Cloud—BigQuery voor data, Cloud Run of GKE voor uitvoering—voorkomt het gebruik van Vertex dat u een andere leverancier aan uw keten toevoegt.
Het doorslaggevende argument hier is authenticatie. U hoeft geen Mistral API-sleutel meer te distribueren, te roteren of te bewaken: uw diensten authenticeren zich met hun Google service account, precies zoals ze dat al doen om toegang te krijgen tot een bucket of een BigQuery-tabel. Dit voegt ook centrale facturatie toe aan uw Cloud Billing-account en biedt toegang tot de MLOps-tools van Google.
Beschikbare modellen op Vertex AI
Vanaf april 2026 biedt Vertex AI toegang tot de volgende modellen:
| Model | Positionering |
|---|---|
| Mistral Medium | Krachtig algemeen model |
| Mistral Small | Snel en kosteneffectief |
| Codestral | Gespecialiseerd in code, met ondersteuning voor FIM (Fill-in-the-Middle) |
| Mistral OCR | Extractie van documentinhoud |
Uw Google Cloud-omgeving voorbereiden
De configuratie gebeurt eenmalig en is bepalend voor alles wat volgt:
- Een Google Cloud-project met de Vertex AI API ingeschakeld
- De volgende IAM-rollen toegewezen aan uw account:
Vertex AI User— om modellen aan te roepenConsumer Procurement Entitlement Manager— om partnermodellen in te schakelen
- De gcloud CLI geïnstalleerd en geconfigureerd
De tweede rol verrast vaak: deze heeft niets te maken met inferentie; deze machtigt het inschakelen van partnermodellen in de catalogus. Zonder deze rol ziet u Mistral-modellen wel in de interface, maar kunt u ze nooit inschakelen. De teruggegeven fout wijst niet duidelijk op dit gebrek aan rechten.
# Installeer gcloud (indien nog niet gedaan)
# Zie https://cloud.google.com/sdk/docs/install
# Authenticeer
gcloud auth application-default login
# Stel het standaardproject in
gcloud config set project your-project-id
Eén stap wordt regelmatig vergeten: ga naar de Vertex AI-console, zoek het gewenste Mistral-model in de Model Garden en klik op Enable (Inschakelen). Deze activering is slechts eenmaal per model en per project vereist. Een aanroep van een niet-ingeschakeld model mislukt, zelfs als uw IAM-rollen correct zijn—dit is het eerste wat u moet controleren bij een onverklaarbare autorisatiefout.
Een eerste aanroep zonder API-sleutel
Merk eerst op wat er ontbreekt in de onderstaande code: geen API-sleutel, geen geheim om te laden. Mistral SDK V2 biedt een speciale client voor Google Cloud, MistralGCP, die vertrouwt op google.auth.default(): deze haalt de referenties op die gcloud auth application-default login lokaal heeft gedeponeerd, of het service account dat aan de machine in productie is gekoppeld.
from mistralai.gcp.client import MistralGCP
# Authenticatie gebruikt google.auth.default()
# Zorg ervoor dat u hebt uitgevoerd: gcloud auth application-default login
client = MistralGCP()
response = client.chat.complete(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "Leg de architectuur van BigQuery uit."}
]
)
print(response.choices[0].message.content)
Standaard gebruikt de client de regio europe-west4, in Nederland. Om dit te wijzigen, geeft u het eenvoudigweg door aan de constructor—houd er rekening mee dat beschikbare regio’s afhangen van het model en dat de Vertex AI-documentatie hierin leidend is.
client = MistralGCP(region="us-central1")
Streaming volgt hetzelfde mechanisme als bij de directe API: itereren over de stream, toegang tot inhoud via chunk.data, en testen voordat u print, aangezien sommige fragmenten leeg aankomen.
stream = client.chat.stream(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "Noem de serverless-services van Google Cloud."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
Het speciale geval van FIM met Codestral
Codestral op Vertex AI ondersteunt Fill-in-the-Middle (FIM), een functie die uw aanpak van code-completie verandert. In plaats van te vragen “schrijf een functie voor mij”, levert u het begin en het einde aan, en produceert het model wat er tussen ontbreekt. De methode verandert ook: het is niet langer chat.complete() maar fim.complete(), met een prompt voor het upstream-gedeelte en een suffix voor het downstream-gedeelte.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.fim.complete(
model="codestral-2",
prompt="def calculate_average(grades: list[float]) -> float:",
suffix=" return average"
)
print(response.choices[0].message.content)
In dit voorbeeld genereert het model de functieromp tussen de handtekening en de return. Het weet dat er aan het einde een variabele average moet bestaan, omdat deze in de suffix verschijnt: de beperking stuurt het model veel beter dan een instructie in natuurlijke taal. Dit is precies wat er gebeurt wanneer een IDE een functie midden in een bestand completeert, waardoor FIM bijzonder effectief is voor completie in een editor, het invullen van ontbrekende codeblokken en het genereren van code die in een bestaande structuur moet passen.
De Vertex-client in TypeScript
In JavaScript en TypeScript wordt de Google Cloud-client gepubliceerd in een apart pakket, @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp), en heet MistralGCP sinds SDK-versie 2.0 (voorheen heette deze MistralGoogleCloud). De regio en het project-ID worden bij constructie gedeclareerd en opnieuw verschijnt er geen sleutel in de code.
import { MistralGCP } from '@mistralai/mistralai-gcp';
const client = new MistralGCP({
region: 'europe-west4',
projectId: process.env.GOOGLE_PROJECT_ID,
});
const response = await client.chat.complete({
model: 'mistral-small-2503',
messages: [
{ role: 'user', content: 'Hoe optimaliseer ik een BigQuery-query?' },
],
});
console.log(response.choices?.[0]?.message?.content);
Bronnen: TypeScript SDK
@mistralai/mistralai-gcp· TypeScript SDK release notes 2.0.0
Correct naar productie gaan
Gebruikersauthenticatie via gcloud auth application-default login is perfect voor ontwikkeling, maar het koppelt uw aanroepen aan een persoon: de dag dat die persoon het team verlaat, breekt de service. Gebruik in productie service accounts, waarvan de rechten expliciet en auditbaar zijn. Houd europe-west4 aan als standaardregio als Europese compliance deel uitmaakt van uw beperkingen. Schakel Cloud Logging in om uw aanroepen te volgen en fouten op te sporen, en configureer Cloud Billing-budgetten: op een platform waar inferentie op basis van gebruik wordt gefactureerd, is een budgetwaarschuwing uw enige bescherming tegen een ontspoorde loop.
Belangrijkste punten
- De
MistralGCP-client gebruikt native Google Cloud-authenticatie (gcloud auth) - De standaardregio is
europe-west4— aanpasbaar bij initialisatie - Codestral op Vertex ondersteunt FIM (Fill-in-the-Middle) voor code-completie
- Er is geen Mistral API-sleutel vereist: authenticatie verloopt via Google Cloud IAM
- Schakel elk model in de Model Garden in voordat u het gebruikt