AWS Bedrock
Tällä sivulla
Mistral Amazon Bedrockissa
Amazon Bedrock on AWS:n hallinnoima palvelu, jonka kautta pääset käyttämään perusmalleja yhdenmukaisen rajapinnan avulla. Mistral AI tarjoaa täällä kattavan valikoiman kevyestä Mistral 7B:stä tehokkaaseen Mistral Large 3:een. Integrointi perustuu vakio-AWS-SDK:hon, boto3:een. Tämä tekee siitä houkuttelevan vaihtoehdon AWS-ympäristöön jo vakiintuneille tiimeille: ei ylimääräisiä toimittajakohtaisia avaimia liikuteltavaksi, ei uusia sopimuksia hyväksyttäväksi ja tunnistautumismalli, jonka järjestelmänvalvojasi jo hallitsevat.
Bedrockin malliluettelo on yksi laajimmista Mistral-malleille. Löydät sieltä Mistral Large 3:n vaativaan päättelyyn ja multimodaalisiin tehtäviin, kevyen Ministral 3B / 8B / 14B -sarjan, aiemmat versiot kuten Mistral Large 24.07 ja 24.02 (joita usein pidetään kalibroitujen kehotteiden rikkomisen välttämiseksi), Mistral Smallin nopeaan ja kustannustehokkaaseen käsittelyyn, Mixtral 8x7B:n asiantuntijasekoitusarkkitehtuurillaan, perustavanlaatuisen avoimen painoarvon Mistral 7B -mallin sekä Pixtral Largen näkö- ja multimodaalisiin ominaisuuksiin. Tämä syvyys mahdollistaa sen, että ajat halpaa mallia massaluokitteluun ja huippumallia hienovaraisiin yhteenvetoihin saman sovelluksen sisällä.
Edellytykset
Ennen ensimmäistä kutsuasi kolmen ehdon on täytyttävä. Ensinnäkin tarvitset AWS-tilin alueella, joka tukee Bedrockia. Toiseksi tarvitset IAM-prinsipaalin – käyttäjän tai roolin – jolle on myönnetty kaksi vaadittua Bedrock-oikeutta:
bedrock:InvokeModelbedrock:InvokeModelWithResponseStream
Lopuksi Mistral-mallit on otettava käyttöön Bedrock-konsolissa tietyllä alueellasi. Tämä viimeinen vaihe yllättää monet tiimit: IAM-oikeutesi voivat olla täydelliset, mutta jos mallia ei ole otettu käyttöön kutsumallasi alueella, se pysyy tavoittamattomissa. Käyttöönotto tapahtuu alueittain, mikä selittää virheet siirryttäessä alueelta us-west-2 toiselle vyöhykkeelle.
Työasemapuolella asennus rajoittuu AWS SDK:hon:
pip install boto3>=1.34.131
Määritä sitten tunnistetietosi kuten tavallista:
aws configure
# AWS Access Key ID: your-access-key
# AWS Secret Access Key: your-secret-key
# Default region name: us-west-2
# Default output format: json
Kutsuminen Converse-rajapinnan kautta
Bedrock yhdenmukaistaa eri toimittajien käytön yhden metodin, converse():n taakse. Käytännössä sama koodi kutsuu Mistral-mallia tai mitä tahansa muuta luettelon mallia; vain tunniste muuttuu. Viestin sisältö ei ole yksinkertainen merkkijono, vaan lohkojen lista, ja generointiasetukset on ryhmitelty inferenceConfig:n alle eikä litistetty ylimmälle tasolle.
import boto3
client = boto3.client("bedrock-runtime", region_name="us-west-2")
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Explain the concept of a VPC in AWS in 5 points."}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
# Poimi vastaus
output = response["output"]["message"]["content"][0]["text"]
print(output)
Tunnisteet noudattavat muotoa mistral.<model-name>-<version>:0. Koska ne ovat versioituja, on parasta keskittää ne vakioon eikä kopioida niitä jokaiseen kutsuun:
# Yleiset mallit (versioidut tunnisteet – tarkista nykyinen lista Bedrock-konsolista)
MODELS = {
"large_3": "mistral.mistral-large-2512-v1:0",
"small": "mistral.mistral-small-2402-v1:0",
"mixtral": "mistral.mixtral-8x7b-instruct-v0:1",
"mistral_7b": "mistral.mistral-7b-instruct-v0:2",
}
Pitkissä vastauksissa converse_stream palauttaa tapahtumavirran, jota voit iteroida sen saapuessa. Tämä mahdollistaa sen, että käyttöliittymä näyttää tekstiä sen generoituessa sen sijaan, että odottaisi useita sekunteja jäätyneellä näytöllä.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Generate a complete guide on Lambda functions."}]
}
],
inferenceConfig={"maxTokens": 2048}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
text = event["contentBlockDelta"]["delta"].get("text", "")
print(text, end="", flush=True)
Natiivi Mistral SDK ja miksi sitä kannattaa välttää tässä
Jos suosikit standardia Mistral-asiakasohjelmistoa, adapterin avulla voit ohjata sen Bedrock-päätepisteeseen:
import os
from mistralai.client import Mistral
# Määritykset Bedrockille
client = Mistral(
api_key=os.environ.get("AWS_SECRET_ACCESS_KEY", ""),
server_url=f"https://bedrock-runtime.us-west-2.amazonaws.com"
)
Kuitenkin boto3:n käyttöä suositellaan AWS-ympäristössä, koska se integroituu natiivisti IAM:aan, CloudWatchiin ja muihin AWS-palveluihin. Käytännössä boto3:n valinta tarjoaa automaattisen tunnistetietojen kierron roolien kautta ja havainnoitavuuden ilman, että joudut kirjoittamaan yhtään ylimääräistä koodiriviä.
Integrointi AWS-ekosysteemiin
Bedrock lähettää mittaritiedot automaattisesti CloudWatchiin: Invocations kutsujen määrälle, InvocationLatency pyynnön viiveelle sekä InputTokenCount ja OutputTokenCount tokenien kulutukselle. Saat kustannus- ja suorituskykydashboardin ilman sovelluksesi instrumentointia. Nopea tarkistus komentoriviltä riittää tilavuuden varmistamiseen tietyllä jaksolla:
# Tarkista mittarit AWS CLI:n kautta
aws cloudwatch get-metric-statistics \
--namespace "AWS/Bedrock" \
--metric-name "Invocations" \
--start-time 2026-04-01T00:00:00Z \
--end-time 2026-04-03T23:59:59Z \
--period 3600 \
--statistics Sum
AWS tarjoaa myös omat suojakaiteensa, jotka täydentävät Mistralin omia. Ne liitetään kutsutasolla, jolloin voit soveltaa johdonmukaista suodatuskäytäntöä kaikkiin luettelon malleihin toimittajasta riippumatta:
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[{"role": "user", "content": [{"text": "..."}]}],
guardrailConfig={
"guardrailIdentifier": "my-guardrail-id",
"guardrailVersion": "1"
}
)
Erot suoraa Mistral-rajapintaa verrattuna
| Näkökohta | Mistral API | AWS Bedrock |
|---|---|---|
| SDK | mistralai | boto3 |
| Tunnistautuminen | API-avain | IAM (SigV4) |
| API | chat.complete() | converse() |
| Streamaus | chat.stream() | converse_stream() |
| Valvonta | Manuaalinen | Natiivi CloudWatch |
| Laskutus | Mistral | AWS |
Tämä taulukko selittää, miksi siirtyminen Mistral API:sta ei ole pelkkä URL-osoitteen muutos: viestimuoto, kutsuttava metodi ja tunnistautumismekanismi muuttuvat kaikki samanaikaisesti. Suunnittele koodiisi abstraktiokerros, jos aiot palvella molempia.
Keskeiset asiat
- Bedrock käyttää
boto3:a jaconverse()-rajapintaa – ei standardia Mistral-asiakasohjelmistoa - Tunnistautuminen tapahtuu IAM:n kautta, ei Mistral API -avaimella
- CloudWatch-mittarit lähetetään automaattisesti (viive, tokenit, kutsut)
- Ota mallit käyttöön Bedrock-konsolissa ennen niiden käyttämistä
- Bedrock-tunnisteet ovat versioituja (
mistral.mistral-large-2512-v1:0) ja muuttuvat jokaisen sukupolven myötä: varmista tarkka arvo Bedrock-konsolista ennen käyttöönottoa - Streamaus tapahtuu
converse_stream():n kautta tapahtumina