Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

AWS Bedrock

Lekcija 8 od 14 Posodobljeno 2. november 2026 Napredni
Na tej strani
  1. Mistral na Amazon Bedrock
  2. Predpogoji
  3. Klicanje prek API-ja Converse
  4. Domači SDK Mistral in zakaj se mu tu izogniti
  5. Integracija z ekosistemom AWS
  6. Razlike glede na neposredni API Mistral
  7. Ključne ugotovitve

Mistral na Amazon Bedrock

Amazon Bedrock je upravljana storitev AWS za dostop do temeljnih modelov prek enotnega API-ja. Mistral AI tu ponuja celoten nabor modelov, od lahkega Mistral 7B do zmogljivega Mistral Large 3. Integracija temelji na standardnem AWS SDK, boto3. To je privlačna izbira za ekipe, ki že delujejo v okolju AWS: ni treba krožiti dodatnih ključev ponudnikov, ni potrebe po novih pogodbah, model avtentikacije pa vaši skrbniki že obvladajo.

Katalog Bedrock je za modele Mistral eden najobsežnejših. Na voljo imate Mistral Large 3 za napredno sklepanje in večmodalne naloge, lahkotno serijo Ministral 3B / 8B / 14B, starejše različice, kot sta Mistral Large 24.07 in 24.02 (ki jih pogosto ohranijo, da ne bi pokvarili umerjenih pozivov), Mistral Small za hitro in stroškovno učinkovito obdelavo, Mixtral 8x7B z arhitekturo Mixture-of-Experts, osnovni model z odprtimi utežmi Mistral 7B ter Pixtral Large za vidne in večmodalne zmogljivosti. Ta globina vam omogoča, da v isti aplikaciji uporabljate poceni model za množično klasifikacijo in vrhunski model za zahtevne povzetke.

Predpogoji

Pred prvim klicem morate izpolniti tri pogoje. Prvič, potrebujete račun AWS v regiji, ki podpira Bedrock. Drugič, potrebujete glavno entiteto IAM (uporabnika ali vlogo) z dodeljenima dvema zahtevanima dovoljenjema za Bedrock:

  • bedrock:InvokeModel
  • bedrock:InvokeModelWithResponseStream

Končno morajo biti modeli Mistral v konzoli Bedrock za vašo specifično regijo omogočeni. Ta zadnji korak mnoge ekipe preseneti: vaša dovoljenja IAM so lahko popolna, a če model v regiji, ki jo kličete, ni omogočen, ostane nedosegljiv. Omogočanje poteka regija za regijo, kar pojasnjuje napake ob prehodu iz us-west-2 v drugo cono.

Na strani delovne postaje je namestitev omejena na AWS SDK:

pip install boto3>=1.34.131

Nato konfigurirajte svoje poverilnice kot običajno:

aws configure
# AWS Access Key ID: your-access-key
# AWS Secret Access Key: your-secret-key
# Default region name: us-west-2
# Default output format: json

Klicanje prek API-ja Converse

Bedrock poenoti dostop do različnih ponudnikov za eno samo metodo: converse(). V praksi ista koda kliče model Mistral ali kateri koli drug model v katalogu; spremeni se le identifikator. Vsebina sporočila ni preprost niz, temveč seznam blokov, nastavitve generiranja pa so združene pod inferenceConfig namesto da bi bile razpršene na najvišji ravni.

import boto3

client = boto3.client("bedrock-runtime", region_name="us-west-2")

response = client.converse(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[
        {
            "role": "user",
            "content": [{"text": "Explain the concept of a VPC in AWS in 5 points."}]
        }
    ],
    inferenceConfig={
        "temperature": 0.3,
        "maxTokens": 1024
    }
)

# Extract the response
output = response["output"]["message"]["content"][0]["text"]
print(output)

Identifikatorji sledijo formatu mistral.<model-name>-<version>:0. Ker so različičeni, jih je najbolje centralizirati v konstanti, namesto da bi jih kopirali v vsak klic:

# Common models (versioned identifiers — check the Bedrock console for the current list)
MODELS = {
    "large_3":  "mistral.mistral-large-2512-v1:0",
    "small":       "mistral.mistral-small-2402-v1:0",
    "mixtral":     "mistral.mixtral-8x7b-instruct-v0:1",
    "mistral_7b":  "mistral.mistral-7b-instruct-v0:2",
}

Za dolge odgovore converse_stream vrne tok dogodkov, ki ga iterirate, ko prispevajo. To omogoča vmesniku, da prikazuje besedilo med njegovim generiranjem, namesto da bi čakali več sekund z zamrznjenim zaslonom.

response = client.converse_stream(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[
        {
            "role": "user",
            "content": [{"text": "Generate a complete guide on Lambda functions."}]
        }
    ],
    inferenceConfig={"maxTokens": 2048}
)

for event in response["stream"]:
    if "contentBlockDelta" in event:
        text = event["contentBlockDelta"]["delta"].get("text", "")
        print(text, end="", flush=True)

Domači SDK Mistral in zakaj se mu tu izogniti

Če raje uporabljate standardnega odjemalca Mistral, vam adapter omogoča, da ga usmerite na končno točko Bedrock:

import os
from mistralai.client import Mistral

# Configuration for Bedrock
client = Mistral(
    api_key=os.environ.get("AWS_SECRET_ACCESS_KEY", ""),
    server_url=f"https://bedrock-runtime.us-west-2.amazonaws.com"
)

Vendar je pristop z boto3 v okolju AWS priporočljiv, ker se izvorno integrira z IAM, CloudWatch in drugimi storitvami AWS. V praksi vam izbira boto3 zagotavlja samodejno rotacijo poverilnic prek vlog in opazljivost brez zapisovanja ene same dodatne vrstice kode.

Integracija z ekosistemom AWS

Bedrock samodejno pošilja metrike v CloudWatch: Invocations za število klicev, InvocationLatency za zakasnitev zahtevkov ter InputTokenCount in OutputTokenCount za porabo žetonov. Brez instrumentacije vaše aplikacije dobite nadzorno ploščo za stroške in zmogljivost. Za preverjanje obsega za dano obdobje zadostuje hiter pregled iz ukazne vrstice:

# Check metrics via AWS CLI
aws cloudwatch get-metric-statistics \
    --namespace "AWS/Bedrock" \
    --metric-name "Invocations" \
    --start-time 2026-04-01T00:00:00Z \
    --end-time 2026-04-03T23:59:59Z \
    --period 3600 \
    --statistics Sum

AWS ponuja tudi lastne varovalke (guardrails), ki dopolnjujejo tiste od Mistrala. Te se pripnejo na ravni klica in vam omogočajo uporabo dosledne politike filtriranja za vse modele v katalogu, ne glede na njihovega ponudnika:

response = client.converse(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[{"role": "user", "content": [{"text": "..."}]}],
    guardrailConfig={
        "guardrailIdentifier": "my-guardrail-id",
        "guardrailVersion": "1"
    }
)

Razlike glede na neposredni API Mistral

VidikAPI MistralAWS Bedrock
SDKmistralaiboto3
AvtentikacijaAPI ključIAM (SigV4)
APIchat.complete()converse()
Pretakanjechat.stream()converse_stream()
SpremljanjeRočnoIzvorni CloudWatch
ObračunavanjeMistralAWS

Ta tabela pojasnjuje, zakaj prenos iz API-ja Mistral nikoli ni zgolj sprememba URL-ja: format sporočil, klicana metoda in mehanizem avtentikacije se spremenijo hkrati. Če nameravate podpirati oba, načrtujte plast abstrakcije v svoji kodi.

Ključne ugotovitve

  • Bedrock uporablja boto3 in API converse() – ne standardnega odjemalca Mistral
  • Avtentikacija poteka prek IAM, ne prek API ključa Mistral
  • Metrike CloudWatch se pošiljajo samodejno (zakasnitev, žetoni, klici)
  • Pred uporabo omogočite modele v konzoli Bedrock
  • Identifikatorji Bedrock so različičeni (mistral.mistral-large-2512-v1:0) in se spreminjajo z vsako generacijo: pred uvedbo preverite točno vrednost v konzoli Bedrock
  • Pretakanje poteka prek converse_stream() z dogodki