Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Mistral Google Vertex AI:ssa

Oppitunti 12 / 14 Päivitetty 2. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Miksi Vertex AI?
  2. Vertex AI:ssa saatavilla olevat mallit
  3. Valmistele Google Cloud -ympäristösi
  4. Ensimmäinen pyyntö ilman API-avainta
  5. Codestralin erityistapaus FIM:n kanssa
  6. Vertex-asiakasohjelmisto TypeScriptissä
  7. Siirtyminen tuotantoon oikein
  8. Keskeiset asiat

Päivitetty 2. marraskuuta 2026 — Google Cloud. Google ryhmittää nykyään tekoälytarjontansa Gemini Enterprise Agent Platform -alustan (“Agent Platform”) alle; Model Garden pysyy saatavilla sen sisällä. Käytettävissä olevat Mistral-mallit ovat Mistral Medium 3 (mistral-medium-3), Codestral 2 (codestral-2), Mistral OCR 25.05 (mistral-ocr-2505) ja Mistral Small 3.1 (mistral-small-2503). Mistral SDK v2:ssa ja uudemmissa versioissa tuo asiakasohjelmisto sisään komennolla from mistralai.gcp.client import MistralGCP ja asenna se komennolla pip install "mistralai[gcp]". Lähteet: Mistral AI -mallit (Google Cloud) · Vertex AI (Mistral).

Miksi Vertex AI?

Google Cloud Vertex AI on Googlen MLOps-alusta, joka isännöi kumppanimalleja, mukaan lukien Mistralin malleja. Logiikka tässä peilaa Azurea: jos infrastruktuurisi luottaa jo Google Cloudiin – BigQuery dataan, Cloud Runiin tai GKE:hen suorittamiseen – Vertexin käyttö estää sinua tuomasta ketjuusi uutta toimittajaa.

Ratkaiseva argumentti tässä on tunnistautuminen. Sinun ei enää tarvitse jakaa, kiertää tai valvoa Mistral API -avainta: palvelusi tunnistautuvat käyttämällä Google-palvelutiliään aivan kuten ne jo tekevät päästäkseen käsiksi säiliöön tai BigQuery-taulukkoon. Tämä lisää myös keskitetyn laskutuksen Cloud Billing -tilillesi ja pääsyn Googlen MLOps-työkaluihin.

Vertex AI:ssa saatavilla olevat mallit

Huhtikuuhun 2026 mennessä Vertex AI tarjoaa pääsyn seuraaviin malleihin:

MalliSijoittelu
Mistral MediumSuorituskykyinen yleiskäyttöinen malli
Mistral SmallNopea ja kustannustehokas
CodestralErikoistunut koodiin, tukee FIM:ää (Fill-in-the-Middle)
Mistral OCRDokumenttien sisällön erottaminen

Valmistele Google Cloud -ympäristösi

Konfiguraatio tehdään kerran, ja se määrittää kaiken muun:

  1. Google Cloud -projekti, jossa Vertex AI API on otettu käyttöön
  2. Seuraavat IAM-roolit määritettynä tilillesi:
    • Vertex AI User – mallien kutsumiseen
    • Consumer Procurement Entitlement Manager – kumppanimallien käyttöönottoon
  3. gcloud CLI asennettuna ja konfiguroituna

Toinen rooli yllättää usein: sillä ei ole mitään tekemistä inferenssin kanssa; se valtuuttaa kumppanimallien käyttöönoton luettelossa. Ilman sitä näet Mistral-mallit käyttöliittymässä, mutta et koskaan pysty ottamaan niitä käyttöön, eikä palautettu virhe viittaa selkeästi tähän käyttöoikeuksien puutteeseen.

# Asenna gcloud (jos sitä ei ole jo tehty)
# Katso https://cloud.google.com/sdk/docs/install

# Tunnistaudu
gcloud auth application-default login

# Aseta oletusprojekti
gcloud config set project your-project-id

Yksi vaihe unohdetaan säännöllisesti: siirry Vertex AI -konsoliin, etsi haluamasi Mistral-malli Model Gardenista ja napsauta Enable (Ota käyttöön). Tämä aktivointi tarvitaan vain kerran mallia ja projektia kohden. Pyyntö käyttämättömään malliin epäonnistuu, vaikka IAM-roolisi olisivat oikein – tämä on ensimmäinen asia, joka kannattaa tarkistaa kohdatessasi selittämättömän valtuutusvirheen.

Ensimmäinen pyyntö ilman API-avainta

Huomaa ensin, mikä alla olevasta koodista puuttuu: ei API-avainta, ei salaisuutta ladattavaksi. Mistral SDK V2 tarjoaa dedikoidun asiakasohjelmiston Google Cloudille, MistralGCP, joka luottaa google.auth.default():iin: se poimii tunnistetiedot, jotka gcloud auth application-default login on tallettanut paikallisesti, tai tuotannossa koneeseen liitetyn palvelutilin tiedot.

from mistralai.gcp.client import MistralGCP

# Tunnistautuminen käyttää google.auth.default()-funktiota
# Varmista, että olet suorittanut: gcloud auth application-default login
client = MistralGCP()

response = client.chat.complete(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "Explain the architecture of BigQuery."}
    ]
)

print(response.choices[0].message.content)

Oletusarvoisesti asiakasohjelmisto käyttää aluetta europe-west4 Alankomaissa. Muuttaaksesi sitä, syötä se yksinkertaisesti konstruktoriin – pidä mielessä, että saatavilla olevat alueet riippuvat mallista ja että Vertex AI:n dokumentaatio on asiassa auktoriteetti.

client = MistralGCP(region="us-central1")

Suoratoisto (streaming) noudattaa samaa mekanismia, jonka näit suorassa API:ssa: iteroi virran yli, käytä sisältöä chunk.data:n kautta ja testaa ennen tulostamista, sillä jotkin osat saapuvat tyhjinä.

stream = client.chat.stream(
    model="mistral-small-2503",
    messages=[
        {"role": "user", "content": "List the serverless services of Google Cloud."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Codestralin erityistapaus FIM:n kanssa

Codestral Vertex AI:ssa tukee Fill-in-the-Middle (FIM) -toimintoa, ominaisuutta, joka muuttaa tapaa, jolla lähestyt koodin täydentämistä. Sen sijaan, että pyytäisit “kirjoita minulle funktio”, tarjoat alun ja lopun, ja malli tuottaa niiden välissä puuttuvan osan. Myös metodi muuttuu: se ei ole enää chat.complete(), vaan fim.complete(), jossa on prompt yläosalle ja suffix alaosalta.

from mistralai.gcp.client import MistralGCP

client = MistralGCP()

response = client.fim.complete(
    model="codestral-2",
    prompt="def calculate_average(grades: list[float]) -> float:",
    suffix="    return average"
)

print(response.choices[0].message.content)

Tässä esimerkissä malli generoi funktion rungon allekirjoituksen ja return-lauseen väliin. Se tietää, että muuttujan average on oltava olemassa lopussa, koska se esiintyy suffiksissa: rajoite ohjaa sitä paljon paremmin kuin luonnollisen kielen ohjeistus. Tämä on täsmälleen sitä, mitä tapahtuu, kun IDE täydentää funktiota tiedoston keskellä, mikä tekee FIM:stä erityisen tehokkaan täydennyksessä editorissa, puuttuvien koodilohkojen täyttämisessä ja koodin generoinnissa, jonka on sovittava olemassa olevaan rakenteeseen.

Vertex-asiakasohjelmisto TypeScriptissä

JavaScriptissä ja TypeScriptissä Google Cloud -asiakasohjelmisto julkaistaan erillisessä paketissa, @mistralai/mistralai-gcp (npm add @mistralai/mistralai-gcp), ja sitä kutsutaan nimellä MistralGCP SDK-version 2.0 óta (aiemmin sitä kutsuttiin nimellä MistralGoogleCloud). Alue ja projektin tunnus ilmoitetaan rakennusvaiheessa, ja jälleen kerran koodissa ei esiinny avainta.

import { MistralGCP } from '@mistralai/mistralai-gcp';

const client = new MistralGCP({
  region: 'europe-west4',
  projectId: process.env.GOOGLE_PROJECT_ID,
});

const response = await client.chat.complete({
  model: 'mistral-small-2503',
  messages: [
    { role: 'user', content: 'How to optimize a BigQuery query?' },
  ],
});

console.log(response.choices?.[0]?.message?.content);

Lähteet: TypeScript SDK @mistralai/mistralai-gcp · TypeScript SDK:n julkaisutiedot 2.0.0

Siirtyminen tuotantoon oikein

Käyttäjän tunnistautuminen komennolla gcloud auth application-default login on täydellinen kehitykseen, mutta se sitoo pyyntösi henkilöön: sinä päivänä, kun henkilö poistuu tiimistä, palvelu hajoaa. Tuotannossa käytä palvelutilejä, joiden oikeudet ovat eksplisiittisiä ja auditoitavissa. Pidä europe-west4 oletusalueena, jos eurooppalainen vaatimustenmukaisuus on osa rajoitteitasi. Ota Cloud Logging käyttöön seurataksesi pyyntöjäsi ja diagnosoidaksesi virheitä, ja määritä Cloud Billing -budjetit: alustalla, jossa inferenssi laskutetaan käytön mukaan, budjettihälytys on ainoa suojasi hallitsematonta silmukkaa vastaan.

Keskeiset asiat

  • MistralGCP-asiakasohjelmisto käyttää natiivia Google Cloud -tunnistautumista (gcloud auth)
  • Oletusalue on europe-west4 – muokattavissa alustuksessa
  • Codestral Vertexissä tukee FIM:ää (Fill-in-the-Middle) koodin täydentämiseen
  • Mistral API -avainta ei tarvita: tunnistautuminen kulkee Google Cloud IAM:n kautta
  • Ota kukin malli käyttöön Model Gardenissa ennen sen käyttämistä