Mistral Google Vertex AI:ssa
Tällä sivulla
Päivitetty 2. marraskuuta 2026 — Google Cloud. Google ryhmittää nykyään tekoälytarjontansa Gemini Enterprise Agent Platform -alustan (“Agent Platform”) alle; Model Garden pysyy saatavilla sen sisällä. Käytettävissä olevat Mistral-mallit ovat Mistral Medium 3 (
mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) ja Mistral Small 3.1 (mistral-small-2503). Mistral SDK v2:ssa ja uudemmissa versioissa tuo asiakasohjelmisto sisään komennollafrom mistralai.gcp.client import MistralGCPja asenna se komennollapip install "mistralai[gcp]". Lähteet: Mistral AI -mallit (Google Cloud) · Vertex AI (Mistral).
Miksi Vertex AI?
Google Cloud Vertex AI on Googlen MLOps-alusta, joka isännöi kumppanimalleja, mukaan lukien Mistralin malleja. Logiikka tässä peilaa Azurea: jos infrastruktuurisi luottaa jo Google Cloudiin – BigQuery dataan, Cloud Runiin tai GKE:hen suorittamiseen – Vertexin käyttö estää sinua tuomasta ketjuusi uutta toimittajaa.
Ratkaiseva argumentti tässä on tunnistautuminen. Sinun ei enää tarvitse jakaa, kiertää tai valvoa Mistral API -avainta: palvelusi tunnistautuvat käyttämällä Google-palvelutiliään aivan kuten ne jo tekevät päästäkseen käsiksi säiliöön tai BigQuery-taulukkoon. Tämä lisää myös keskitetyn laskutuksen Cloud Billing -tilillesi ja pääsyn Googlen MLOps-työkaluihin.
Vertex AI:ssa saatavilla olevat mallit
Huhtikuuhun 2026 mennessä Vertex AI tarjoaa pääsyn seuraaviin malleihin:
| Malli | Sijoittelu |
|---|---|
| Mistral Medium | Suorituskykyinen yleiskäyttöinen malli |
| Mistral Small | Nopea ja kustannustehokas |
| Codestral | Erikoistunut koodiin, tukee FIM:ää (Fill-in-the-Middle) |
| Mistral OCR | Dokumenttien sisällön erottaminen |
Valmistele Google Cloud -ympäristösi
Konfiguraatio tehdään kerran, ja se määrittää kaiken muun:
- Google Cloud -projekti, jossa Vertex AI API on otettu käyttöön
- Seuraavat IAM-roolit määritettynä tilillesi:
Vertex AI User– mallien kutsumiseenConsumer Procurement Entitlement Manager– kumppanimallien käyttöönottoon
- gcloud CLI asennettuna ja konfiguroituna
Toinen rooli yllättää usein: sillä ei ole mitään tekemistä inferenssin kanssa; se valtuuttaa kumppanimallien käyttöönoton luettelossa. Ilman sitä näet Mistral-mallit käyttöliittymässä, mutta et koskaan pysty ottamaan niitä käyttöön, eikä palautettu virhe viittaa selkeästi tähän käyttöoikeuksien puutteeseen.
# Asenna gcloud (jos sitä ei ole jo tehty)
# Katso https://cloud.google.com/sdk/docs/install
# Tunnistaudu
gcloud auth application-default login
# Aseta oletusprojekti
gcloud config set project your-project-id
Yksi vaihe unohdetaan säännöllisesti: siirry Vertex AI -konsoliin, etsi haluamasi Mistral-malli Model Gardenista ja napsauta Enable (Ota käyttöön). Tämä aktivointi tarvitaan vain kerran mallia ja projektia kohden. Pyyntö käyttämättömään malliin epäonnistuu, vaikka IAM-roolisi olisivat oikein – tämä on ensimmäinen asia, joka kannattaa tarkistaa kohdatessasi selittämättömän valtuutusvirheen.
Ensimmäinen pyyntö ilman API-avainta
Huomaa ensin, mikä alla olevasta koodista puuttuu: ei API-avainta, ei salaisuutta ladattavaksi. Mistral SDK V2 tarjoaa dedikoidun asiakasohjelmiston Google Cloudille, MistralGCP, joka luottaa google.auth.default():iin: se poimii tunnistetiedot, jotka gcloud auth application-default login on tallettanut paikallisesti, tai tuotannossa koneeseen liitetyn palvelutilin tiedot.
from mistralai.gcp.client import MistralGCP
# Tunnistautuminen käyttää google.auth.default()-funktiota
# Varmista, että olet suorittanut: gcloud auth application-default login
client = MistralGCP()
response = client.chat.complete(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "Explain the architecture of BigQuery."}
]
)
print(response.choices[0].message.content)
Oletusarvoisesti asiakasohjelmisto käyttää aluetta europe-west4 Alankomaissa. Muuttaaksesi sitä, syötä se yksinkertaisesti konstruktoriin – pidä mielessä, että saatavilla olevat alueet riippuvat mallista ja että Vertex AI:n dokumentaatio on asiassa auktoriteetti.
client = MistralGCP(region="us-central1")
Suoratoisto (streaming) noudattaa samaa mekanismia, jonka näit suorassa API:ssa: iteroi virran yli, käytä sisältöä chunk.data:n kautta ja testaa ennen tulostamista, sillä jotkin osat saapuvat tyhjinä.
stream = client.chat.stream(
model="mistral-small-2503",
messages=[
{"role": "user", "content": "List the serverless services of Google Cloud."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
Codestralin erityistapaus FIM:n kanssa
Codestral Vertex AI:ssa tukee Fill-in-the-Middle (FIM) -toimintoa, ominaisuutta, joka muuttaa tapaa, jolla lähestyt koodin täydentämistä. Sen sijaan, että pyytäisit “kirjoita minulle funktio”, tarjoat alun ja lopun, ja malli tuottaa niiden välissä puuttuvan osan. Myös metodi muuttuu: se ei ole enää chat.complete(), vaan fim.complete(), jossa on prompt yläosalle ja suffix alaosalta.
from mistralai.gcp.client import MistralGCP
client = MistralGCP()
response = client.fim.complete(
model="codestral-2",
prompt="def calculate_average(grades: list[float]) -> float:",
suffix=" return average"
)
print(response.choices[0].message.content)
Tässä esimerkissä malli generoi funktion rungon allekirjoituksen ja return-lauseen väliin. Se tietää, että muuttujan average on oltava olemassa lopussa, koska se esiintyy suffiksissa: rajoite ohjaa sitä paljon paremmin kuin luonnollisen kielen ohjeistus. Tämä on täsmälleen sitä, mitä tapahtuu, kun IDE täydentää funktiota tiedoston keskellä, mikä tekee FIM:stä erityisen tehokkaan täydennyksessä editorissa, puuttuvien koodilohkojen täyttämisessä ja koodin generoinnissa, jonka on sovittava olemassa olevaan rakenteeseen.
Vertex-asiakasohjelmisto TypeScriptissä
JavaScriptissä ja TypeScriptissä Google Cloud -asiakasohjelmisto julkaistaan erillisessä paketissa, @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp), ja sitä kutsutaan nimellä MistralGCP SDK-version 2.0 óta (aiemmin sitä kutsuttiin nimellä MistralGoogleCloud). Alue ja projektin tunnus ilmoitetaan rakennusvaiheessa, ja jälleen kerran koodissa ei esiinny avainta.
import { MistralGCP } from '@mistralai/mistralai-gcp';
const client = new MistralGCP({
region: 'europe-west4',
projectId: process.env.GOOGLE_PROJECT_ID,
});
const response = await client.chat.complete({
model: 'mistral-small-2503',
messages: [
{ role: 'user', content: 'How to optimize a BigQuery query?' },
],
});
console.log(response.choices?.[0]?.message?.content);
Lähteet: TypeScript SDK
@mistralai/mistralai-gcp· TypeScript SDK:n julkaisutiedot 2.0.0
Siirtyminen tuotantoon oikein
Käyttäjän tunnistautuminen komennolla gcloud auth application-default login on täydellinen kehitykseen, mutta se sitoo pyyntösi henkilöön: sinä päivänä, kun henkilö poistuu tiimistä, palvelu hajoaa. Tuotannossa käytä palvelutilejä, joiden oikeudet ovat eksplisiittisiä ja auditoitavissa. Pidä europe-west4 oletusalueena, jos eurooppalainen vaatimustenmukaisuus on osa rajoitteitasi. Ota Cloud Logging käyttöön seurataksesi pyyntöjäsi ja diagnosoidaksesi virheitä, ja määritä Cloud Billing -budjetit: alustalla, jossa inferenssi laskutetaan käytön mukaan, budjettihälytys on ainoa suojasi hallitsematonta silmukkaa vastaan.
Keskeiset asiat
MistralGCP-asiakasohjelmisto käyttää natiivia Google Cloud -tunnistautumista (gcloud auth)- Oletusalue on
europe-west4– muokattavissa alustuksessa - Codestral Vertexissä tukee FIM:ää (Fill-in-the-Middle) koodin täydentämiseen
- Mistral API -avainta ei tarvita: tunnistautuminen kulkee Google Cloud IAM:n kautta
- Ota kukin malli käyttöön Model Gardenissa ennen sen käyttämistä