AWS Bedrock
På denna sida
Mistral på Amazon Bedrock
Amazon Bedrock är AWS hanterade tjänst för att komma åt grundmodeller via ett enhetligt API. Mistral AI erbjuder en komplett portfölj här, allt från den lätta Mistral 7B till den kraftfulla Mistral Large 3. Integrationen bygger på det vanliga AWS SDK:t, boto3. Det gör detta till ett attraktivt val för team som redan är etablerade på AWS: inga extra nycklar från leverantörer att sprida, inga nya avtal att godkänna och en autentiseringsmodell som dina administratörer redan behärskar.
Bedrocks katalog är en av de mest omfattande för Mistral. Du hittar Mistral Large 3 för avancerad resonemangsförmåga och multimodala uppgifter, den lätta serien Ministral 3B / 8B / 14B, äldre versioner som Mistral Large 24.07 och 24.02 (som ofta behålls för att undvika att kalibrerade prompts slutar fungera), Mistral Small för snabb och kostnadseffektiv bearbetning, Mixtral 8x7B med sin Mixture-of-Experts-arkitektur, den grundläggande open-weight-modellen Mistral 7B, samt Pixtral Large för syn- och multimodala funktioner. Denna bredd låter dig köra en billig modell för bulkklassificering parallellt med en högpresterande modell för känsliga sammanfattningar inom samma applikation.
Förutsättningar
Tre villkor måste vara uppfyllda innan ditt första anrop. Först behöver du ett AWS-konto i en region som stöder Bedrock. För det andra behöver du en IAM-principal (användare eller roll) som beviljats de två nödvändiga Bedrock-rättigheterna:
bedrock:InvokeModelbedrock:InvokeModelWithResponseStream
Slutligen måste Mistral-modeller vara aktiverade i Bedrock-konsolen för din specifika region. Detta sista steg tar många team på sängen: dina IAM-rättigheter kan vara perfekta, men om modellen inte är aktiverad i regionen du anropar förblir den oåtkomlig. Aktiveringen sker region för region, vilket förklarar fel som uppstår när du byter från us-west-2 till en annan zon.
På arbetsstationen begränsas installationen till AWS SDK:
pip install boto3>=1.34.131
Konfigurera sedan dina autentiseringsuppgifter som vanligt:
aws configure
# AWS Access Key ID: your-access-key
# AWS Secret Access Key: your-secret-key
# Default region name: us-west-2
# Default output format: json
Anrop via Converse API
Bedrock samlar åtkomsten till olika leverantörer bakom en enda metod: converse(). I praktiken anropar samma kod en Mistral-modell eller vilken annan modell som helst i katalogen; endast identifieraren ändras. Meddelandeinnehållet är inte en enkel sträng utan en lista med block, och inställningar för generering grupperas under inferenceConfig istället för att ligga utplattade på toppnivå.
import boto3
client = boto3.client("bedrock-runtime", region_name="us-west-2")
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Explain the concept of a VPC in AWS in 5 points."}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
# Extrahera svaret
output = response["output"]["message"]["content"][0]["text"]
print(output)
Identifierare följer formatet mistral.<model-name>-<version>:0. Eftersom de är versionshanterade är det bäst att centralisera dem i en konstant istället för att kopiera in dem i varje anrop:
# Vanliga modeller (versionshanterade identifierare – kontrollera Bedrock-konsolen för aktuell lista)
MODELS = {
"large_3": "mistral.mistral-large-2512-v1:0",
"small": "mistral.mistral-small-2402-v1:0",
"mixtral": "mistral.mixtral-8x7b-instruct-v0:1",
"mistral_7b": "mistral.mistral-7b-instruct-v0:2",
}
För långa svar returnerar converse_stream en händelseström som du itererar över efter hand som den anländer. Detta låter ett gränssnitt visa text medan den genereras, istället för att vänta flera sekunder med en frusen skärm.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Generate a complete guide on Lambda functions."}]
}
],
inferenceConfig={"maxTokens": 2048}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
text = event["contentBlockDelta"]["delta"].get("text", "")
print(text, end="", flush=True)
Det nativa Mistral SDK:t och varför du bör undvika det här
Om du föredrar den vanliga Mistral-klienten låter en adapter dig peka den mot Bedrock-slutpunkten:
import os
from mistralai.client import Mistral
# Konfiguration för Bedrock
client = Mistral(
api_key=os.environ.get("AWS_SECRET_ACCESS_KEY", ""),
server_url=f"https://bedrock-runtime.us-west-2.amazonaws.com"
)
Metoden med boto3 rekommenderas dock på AWS eftersom den integreras naturligt med IAM, CloudWatch och andra AWS-tjänster. I praktiken ger valet av boto3 dig automatisk rotation av autentiseringsuppgifter via roller och observerbarhet utan att du behöver skriva en enda extra rad kod.
Integration med AWS-ekosystemet
Bedrock skickar automatiskt mätvärden till CloudWatch: Invocations för antal anrop, InvocationLatency för svarstid samt InputTokenCount och OutputTokenCount för tokenförbrukning. Du får en dashboard för kostnad och prestanda utan att behöva instrumentera din applikation. En snabb kontroll från kommandoraden räcker för att verifiera volymen under en given period:
# Kontrollera mätvärden via AWS CLI
aws cloudwatch get-metric-statistics \
--namespace "AWS/Bedrock" \
--metric-name "Invocations" \
--start-time 2026-04-01T00:00:00Z \
--end-time 2026-04-03T23:59:59Z \
--period 3600 \
--statistics Sum
AWS erbjuder också sina egna skyddsräcken (guardrails), som kompletterar Mistrals. Dessa fästs på anropsnivå och låter dig tillämpa en konsekvent filtreringspolicy över alla modeller i katalogen, oavsett leverantör:
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[{"role": "user", "content": [{"text": "..."}]}],
guardrailConfig={
"guardrailIdentifier": "my-guardrail-id",
"guardrailVersion": "1"
}
)
Skillnader jämfört med det direkta Mistral API:t
| Aspekt | Mistral API | AWS Bedrock |
|---|---|---|
| SDK | mistralai | boto3 |
| Auth | API-nyckel | IAM (SigV4) |
| API | chat.complete() | converse() |
| Streaming | chat.stream() | converse_stream() |
| Övervakning | Manuell | Native CloudWatch |
| Fakturering | Mistral | AWS |
Denna tabell förklarar varför migrering från Mistral API aldrig bara handlar om att byta URL: meddelandeformatet, den anropade metoden och autentiseringsmekanismen ändras alla samtidigt. Planera för ett abstraktionslager i din kod om du har för avsikt att betjäna båda.
Viktiga punkter
- Bedrock använder
boto3ochconverse()-API:t – inte den vanliga Mistral-klienten - Autentisering sker via IAM, inte via en Mistral API-nyckel
- CloudWatch-mätvärden skickas automatiskt (latens, tokens, anrop)
- Aktivera modeller i Bedrock-konsolen innan du använder dem
- Bedrock-identifierare är versionshanterade (
mistral.mistral-large-2512-v1:0) och ändras vid varje generation: verifiera det exakta värdet i Bedrock-konsolen innan driftsättning - Streaming sker via
converse_stream()med händelser