Spring til hovedindhold
Dansk— Vælg et sprog
Menu

AWS Bedrock

Lektion 8 af 14 Opdateret 2. november 2026 Avanceret
På denne side
  1. Mistral på Amazon Bedrock
  2. Forudsætninger
  3. Kald via Converse-API’en
  4. Det native Mistral SDK, og hvorfor du bør undgå det her
  5. Integration med AWS-økosystemet
  6. Forskelle fra den direkte Mistral-API
  7. Vigtige pointer

Mistral på Amazon Bedrock

Amazon Bedrock er AWS’ administrerede tjeneste til adgang til fundamentale modeller via en samlet API. Mistral AI tilbyder en komplet portefølje her, lige fra den lette Mistral 7B til den kraftfulde Mistral Large 3. Integrationen bygger på det standard AWS SDK, boto3. Det gør løsningen attraktiv for hold, der allerede er etableret på AWS: ingen ekstra nøgler fra leverandører at dele, ingen nye kontrakter at godkende, og en autentificeringsmodel, som dine administratorer allerede behersker.

Bedrock-kataloget er et af de mest omfattende for Mistral. Du finder Mistral Large 3 til avanceret ræsonnement og multimodale opgaver, den lette Ministral-serie (3B / 8B / 14B), tidligere versioner som Mistral Large 24.07 og 24.02 (ofte beholdt for at undgå at ødelægge kalibrerede prompts), Mistral Small til hurtig og omkostningseffektiv behandling, Mixtral 8x7B med sin Mixture-of-Experts-arkitektur, den grundlæggende open-weight-model Mistral 7B og Pixtral Large til syns- og multimodale funktioner. Denne dybde giver dig mulighed for at køre en billig model til masseklassificering sideløbende med en high-end-model til følsomme sammendrag inden for samme applikation.

Forudsætninger

Tre betingelser skal være opfyldt, før du foretager dit første kald. Først skal du have en AWS-konto i en region, der understøtter Bedrock. For det andet skal du have en IAM-principal – bruger eller rolle – med de to krævede Bedrock-tilladelser:

  • bedrock:InvokeModel
  • bedrock:InvokeModelWithResponseStream

Endelig skal Mistral-modeller være aktiveret i Bedrock-konsollen for din specifikke region. Dette sidste trin overrasker mange hold: Dine IAM-tilladelser kan være perfekte, men hvis modellen ikke er aktiveret i den region, du kalder fra, forbliver den utilgængelig. Aktivering sker region for region, hvilket forklarer fejl, når du skifter fra us-west-2 til en anden zone.

På workstation-siden begrænser installationen sig til AWS SDK:

pip install boto3>=1.34.131

Konfigurer derefter dine legitimationsoplysninger som sædvanligt:

aws configure
# AWS Access Key ID: your-access-key
# AWS Secret Access Key: your-secret-key
# Default region name: us-west-2
# Default output format: json

Kald via Converse-API’en

Bedrock samler adgangen til forskellige udbydere bag én enkelt metode: converse(). I praksis kalder den samme kode en Mistral-model eller enhver anden model i kataloget; kun identifikatoren ændres. Meddelelsesindholdet er ikke en simpel streng, men en liste over blokke, og indstillinger for generering er grupperet under inferenceConfig i stedet for at være fladt placeret på øverste niveau.

import boto3

client = boto3.client("bedrock-runtime", region_name="us-west-2")

response = client.converse(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[
        {
            "role": "user",
            "content": [{"text": "Explain the concept of a VPC in AWS in 5 points."}]
        }
    ],
    inferenceConfig={
        "temperature": 0.3,
        "maxTokens": 1024
    }
)

# Uddrag svaret
output = response["output"]["message"]["content"][0]["text"]
print(output)

Identifikatorer følger formatet mistral.<model-name>-<version>:0. Da de er versionsbestemte, er det bedst at centralisere dem i en konstant frem for at kopiere dem ind i hvert kald:

# Almindelige modeller (versionsbestemte identifikatorer – tjek Bedrock-konsollen for den aktuelle liste)
MODELS = {
    "large_3":  "mistral.mistral-large-2512-v1:0",
    "small":       "mistral.mistral-small-2402-v1:0",
    "mixtral":     "mistral.mixtral-8x7b-instruct-v0:1",
    "mistral_7b":  "mistral.mistral-7b-instruct-v0:2",
}

Til lange svar returnerer converse_stream en begivenhedsstrøm, som du itererer over, efterhånden som den ankommer. Det giver en grænseflade mulighed for at vise tekst, mens den genereres, i stedet for at vente flere sekunder med en frossen skærm.

response = client.converse_stream(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[
        {
            "role": "user",
            "content": [{"text": "Generate a complete guide on Lambda functions."}]
        }
    ],
    inferenceConfig={"maxTokens": 2048}
)

for event in response["stream"]:
    if "contentBlockDelta" in event:
        text = event["contentBlockDelta"]["delta"].get("text", "")
        print(text, end="", flush=True)

Det native Mistral SDK, og hvorfor du bør undgå det her

Hvis du foretrækker den standard Mistral-klient, lader en adapter dig pege den mod Bedrock-endepunktet:

import os
from mistralai.client import Mistral

# Konfiguration til Bedrock
client = Mistral(
    api_key=os.environ.get("AWS_SECRET_ACCESS_KEY", ""),
    server_url=f"https://bedrock-runtime.us-west-2.amazonaws.com"
)

Dog anbefales boto3-tilgangen på AWS, fordi den integreres nativt med IAM, CloudWatch og andre AWS-tjenester. I praksis giver valget af boto3 dig automatisk rotation af legitimationsoplysninger via roller og observabilitet uden at skulle skrive en eneste ekstra linje kode.

Integration med AWS-økosystemet

Bedrock sender automatisk målinger til CloudWatch: Invocations for antal kald, InvocationLatency for forespørgselslatens samt InputTokenCount og OutputTokenCount for tokenforbrug. Du får et dashboard for omkostninger og ydeevne uden at skulle instrumentere din applikation. Et hurtigt tjek fra kommandolinjen er nok til at verificere volumen for en given periode:

# Tjek målinger via AWS CLI
aws cloudwatch get-metric-statistics \
    --namespace "AWS/Bedrock" \
    --metric-name "Invocations" \
    --start-time 2026-04-01T00:00:00Z \
    --end-time 2026-04-03T23:59:59Z \
    --period 3600 \
    --statistics Sum

AWS tilbyder også sine egne guardrails, som supplerer Mistrals. Disse knyttes på kald-niveau, så du kan anvende en ensartet filtreringspolitik på tværs af alle modeller i kataloget, uanset deres udbyder:

response = client.converse(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[{"role": "user", "content": [{"text": "..."}]}],
    guardrailConfig={
        "guardrailIdentifier": "my-guardrail-id",
        "guardrailVersion": "1"
    }
)

Forskelle fra den direkte Mistral-API

AspektMistral APIAWS Bedrock
SDKmistralaiboto3
AuthAPI-nøgleIAM (SigV4)
APIchat.complete()converse()
Streamingchat.stream()converse_stream()
OvervågningManuelNative CloudWatch
FaktureringMistralAWS

Denne tabel forklarer, hvorfor portering fra Mistral-API’en aldrig blot er en ændring af URL: meddelelsesformatet, den kaldte metode og autentificeringsmekanismen ændrer sig alle på én gang. Planlæg et abstraktionslag i din kode, hvis du har til hensigt at betjene begge dele.

Vigtige pointer

  • Bedrock bruger boto3 og converse()-API’en – ikke den standard Mistral-klient
  • Autentificering sker via IAM, ikke en Mistral-API-nøgle
  • CloudWatch-målinger sendes automatisk (latens, tokens, kald)
  • Aktivér modeller i Bedrock-konsollen, før du bruger dem
  • Bedrock-identifikatorer er versionsbestemte (mistral.mistral-large-2512-v1:0) og ændrer sig med hver generation: verificér den nøjagtige værdi i Bedrock-konsollen før deployment
  • Streaming sker via converse_stream() med begivenheder