AWS Bedrock ja muut pilvipalveluntarjoajat
Tällä sivulla
Mistralin pilviekosysteemi
Azuren ja Google Cloudin lisäksi Mistral-malleja on saatavilla useilla muilla alustoilla. Tässä oppitunnissa käsitellään yksityiskohtaisesti AWS Bedrockia, sillä se on yleisin vaihtoehto ja poikkeaa eniten tähänastisesta opistasi. Sen jälkeen käymme lyhyesti läpi integraatiot Snowflake Cortexiin, IBM watsonx:ään ja Outscaleen.
AWS Bedrock
Amazon Bedrock on AWS:n hallinnoitu palvelu perusmalleille. Se tarjoaa yhtenäisen rajapinnan useiden tarjoajien – kuten Anthropicin, Metan ja Mistralin – malleille ja hoitaa laskutuksen, tietoturvan ja vaatimustenmukaisuuden AWS:n kautta. Jos käytät jo AWS:ää, tämä tarkoittaa, että Mistral-mallit toimivat samassa IAM-alueessa, käyttävät samoja CloudWatch-lokeja ja näkyvät samalla laskulla kuin muukin infrastruktuurisi.
Mallivalikoiman osalta Bedrock tarjoaa pääsyn seuraaviin malleihin. Tarkka lista riippuu alueestasi ja muuttuu uusien julkaisujen myötä; konsolin “Model Access” -sivu on auktoriteettinen lähde.
| Malli | Sijoittelu |
|---|---|
| Mistral Large 3 | Lippulaivamalli (Mistral Larget aiemmat versiot ovat edelleen saatavilla) |
| Mistral Small | Nopea ja kustannustehokas |
| Ministral (3B, 8B, 14B) | Kompaktit mallit |
| Mixtral 8x7B | Asiantuntijasekoitusmalli (Mixture-of-experts) |
| Pixtral Large | Multimodaalinen (teksti + kuvat) |
Käyttöoikeuksien valmistelu
Ennen ensimmäistä kutsuasi sinun on täytettävä neljä ehtoa:
- AWS-tili, jolla on pääsy Bedrockia tukevalle alueelle
- IAM-prinsipaali, jolla on
bedrock:InvokeModel- jabedrock:InvokeModelWithResponseStream-oikeudet - AWS CLI määritettynä ja boto3 asennettuna
- Mistral-mallien käyttöönotto Bedrock-konsolissa (Model Access)
pip install boto3>=1.34.131
aws configure # Syötä tunnuksesi
Toinen oikeus on se, jonka ihmiset usein unohtavat: prinsipaali, jolla on vain bedrock:InvokeModel, toimii synkronisessa tilassa, mutta epäonnistuu ensimmäisessä suoratoistokutsussa. Vaihe 4 muistuttaa mallien käyttöönottoa Googlen Model Gardenissa: ennen kuin avaat mallin kohdassa Model Access, mikään IAM-oikeus ei toimi.
Mallin kutsuminen boto3:lla
Tässä on suurin ero Azureen ja Vertexiin verrattuna: Bedrockissa et käytä Mistral SDK:ta. Kaikki kulkee natiivin AWS SDK:n, boto3:n, kautta käyttäen alustan kaikkien tarjoajien yhteistä converse()-rajapintaa.
import boto3
import json
client = boto3.client('bedrock-runtime', region_name='us-west-2')
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "What are the advantages of a serverless architecture on AWS?"}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
texte = response["output"]["message"]["content"][0]["text"]
print(texte)
Suoratoisto noudattaa samaa logiikkaa käyttäen converse_stream()-funktiota ja silmukoimalla virtatapahtumien yli. Huomaa, että sinun on tarkistettava contentBlockDelta-avain: Bedrock-virta sisältää myös lohkon aloitus- ja lopetustapahtumia, jotka eivät sisällä tekstiä.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Describe the Lambda + API Gateway architecture."}]
}
],
inferenceConfig={"temperature": 0.3, "maxTokens": 1024}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
texte = event["contentBlockDelta"]["delta"].get("text", "")
print(texte, end="", flush=True)
Jos siirrät suoralle Mistral API:lle kirjoitettua koodia, odota neljää eroa. Ensinnäkin content ei ole enää merkkijono, vaan taulukko {"text": "..."}-objekteja. Toiseksi modelId noudattaa AWS-muotoa mistral.{model}-v{version}:{number}: toisin kuin suorassa API:ssa olevat -latest-aliakset, kiinnität tietyn version ja sinun on päivitettävä se manuaalisesti. Kolmanneksi päättelyparametrit on ryhmitelty erilliseen inferenceConfig-objektiin sen sijaan, että ne välitettäisiin ylimmällä tasolla. Lopuksi Mistral SDK:ta ei ole mukana: vastaukset ovat boto3-sanakirjoja, ei tyypitettyjä malleja, minkä vuoksi yllä näytetty avainpohjainen käyttö on tarpeen.
Snowflake Cortex
Snowflake integroi Mistral-mallit, mukaan lukien Mistral Larget, suoraan tietoalustaansa Cortex AI:n kautta. Tärkein etu on yksinkertainen: tietosi eivät koskaan poistu Snowflakesta. Mallin kutsuminen muuttuu SQL-funktioksi, jota kutsutaan kyselyn sisällä aivan sen taulukon vieressä, jota haluat rikastuttaa.
-- Suora käyttö SQL-kyselyssä
SELECT SNOWFLAKE.CORTEX.COMPLETE(
'mistral-large',
'Summarize this financial report in three key points.'
) AS resume;
Kuvittele taulukko, jossa on tuhansia raportteja: sisällön viemisen Python-skriptiin, API:n kutsumisen ja tulosten uudelleentuonnin sijaan kirjoitat kyselyn, joka tuottaa suoraan yhteenvetosarakkeen. Tämä on ilmeinen valinta, kun tietoputkesi on jo Snowflakessa ja hallintosäännöt kieltävät tietojen siirtämisen järjestelmästä ulos.
IBM watsonx
IBM watsonx.ai tarjoaa Mistral-malleja, mukaan lukien Mistral Larget, valikoimaansa. Käyttö tapahtuu watsonx-API:n kautta IBM Cloud -tunnuksilla: luot ModelInference-objektin välittäen mallitunnuksen, tunnuksesi ja kohdeprojektin. Huomaa esimerkissä oleva alueellinen URL-osoite – se määrittää, missä päättely suoritetaan, mikä on tärkeä yksityiskohta tarkistaa, jos sinulla on tietojen sijaintivaatimuksia.
from ibm_watsonx_ai import Credentials
from ibm_watsonx_ai.foundation_models import ModelInference
model = ModelInference(
model_id="mistralai/mistral-large",
credentials=Credentials(url="https://eu-de.ml.cloud.ibm.com", api_key="..."),
project_id="your-project-id"
)
response = model.generate_text("Explain the data mesh concept.")
Outscale, ranskalainen kansallinen pilvi
Outscale, SecNumCloud-sertifioitu ranskalainen kansallinen pilvi, tarjoaa myös Mistral-malleja. Julkiselle sektorille, puolustushallinnolle tai terveydenhuoltoalan organisaatioille, jotka ovat tiukkojen sääntelyvaatimusten alaisia, tämä vaihtoehto takaa, että sekä tiedot että käsittely pysyvät Ranskassa. Näissä yhteyksissä tämä on ainoa merkityksellinen kriteeri: sertifiointi menee integraation helppouden tai kehittäjäkokemuksen edelle.
Oikean tarjoajan valinta
Valinta ei lähes koskaan riipu itse malleista, sillä samat mallit ovat laajasti saatavilla eri alustoilla. Se riippuu siitä, missä tietosi sijaitsevat, sopimuksestasi ja vaatimustenmukaisuusvelvoitteistasi.
| Tarjoaja | Milloin valita tämä |
|---|---|
| Suora Mistral API | Yksinkertaisin, kaikki mallit saatavilla, ihanteellinen aloittamiseen |
| Azure AI | Jos käytät jo Azurea, konsolidoitu laskutus |
| Google Vertex AI | Jos käytät GCP:tä, natiivi IAM-todennus |
| AWS Bedrock | Jos käytät AWS:ää, integraatio AWS-ekosysteemiin |
| Snowflake Cortex | Jos tietosi ovat Snowflakessa |
| Outscale | Jos sinulla on ranskalaisia kansallisia vaatimuksia |
Hyvä nyrkkisääntö: aloita suoralla API:lla varmistaaksesi, että malli täyttää tarpeesi, ja siirry ekosysteemisi tarjoajaan, kun projekti siirtyy tuotantoon. Sovelluskoodi muuttuu vähän; suurin osa työstä liittyy todennukseen ja mallien nimeämiseen.
Tarkista ennen käyttöönottoa
Pilvipalveluntarjoajien mallitunnukset ovat versioituja ja muuttuvat jokaisen sukupolven myötä (esimerkiksi mistral.mistral-large-2512-v1:0 Bedrockissa). Ennen kuin kytket käyttöönoton, tarkista tarkka arvo tarjoajan konsolista: se on auktoriteettinen lähde, ja vanhentunut tunnus aiheuttaa pääsyvirheen, jota on vaikea diagnosoida.
Keskeiset asiat
- AWS Bedrock käyttää boto3:a ja
converse()-rajapintaa – ei Mistral SDK:ta - Bedrockin viestimuoto eroaa hieman (sisältö objektien taulukkona)
- Snowflake Cortex integroi Mistralin suoraan SQL-kyselyihin
- IBM watsonx ja Outscale tarjoavat vaihtoehtoja erityistarpeisiin
- Valitse tarjoajasi olemassa olevan pilviekosysteemisi ja sääntelyvaatimustesi perusteella