Lähe põhisisu juurde
Eesti— Vali keel
Menüü

AWS Bedrock

Õppetund 8 / 14 Värskendatud 2. november 2026 Edasijõudnutele
Sellel lehel
  1. Mistral Amazon Bedrockis
  2. Eeldused
  3. Kutsumine Converse API kaudu
  4. Native Mistral SDK ja miks seda siin vältida
  5. Integratsioon AWS-i ökosüsteemiga
  6. Erinevused otsese Mistrali API-ga võrreldes
  7. Peamised punktid

Mistral Amazon Bedrockis

Amazon Bedrock on AWS-i hallatav teenus, mis võimaldab juurdepääsu sihtotstarbelistele mudelitele ühtse API kaudu. Mistral AI pakub siin täielikku valikut, alates kergest Mistral 7B-st kuni võimsa Mistral Large 3-ni. Integratsioon tugineb standardsele AWS SDK-le, boto3. See teeb sellest atraktiivse valiku meeskondadele, kes on juba AWS-i keskkonnas kinnistunud: ei ole vaja levitada täiendavaid müüjate võtmeid, kiita heaks uusi lepinguid ning autentimismudel on teie administraatoritele juba tuttav.

Bedrocki kataloog on Mistrali mudelite jaoks üks ulatuslikumaid. Leiad sealt Mistral Large 3 täiustatud arutluskäigu ja mitmemodaalsete ülesannete jaoks, kergekaalulise Ministral 3B / 8B / 14B seeria, varasemad versioonid nagu Mistral Large 24.07 ja 24.02 (mida sageli hoitakse alles, et vältida häälestatud vihjete riknemist), Mistral Small kiireks ja kuluefektiivseks töötlemiseks, Mixtral 8x7B oma ekspertide segu (Mixture-of-Experts) arhitektuuriga, fundamentaalse avatud kaaludega Mistral 7B mudeli ning Pixtral Large nägemis- ja mitmemodaalsete võimete jaoks. See sügavus võimaldab sul käivitada samas rakenduses odavat mudelit mahuliseks klassifitseerimiseks kõrvuti tippklassi mudeliga delikaatsete kokkuvõtete jaoks.

Eeldused

Enne esimest väljakutset peavad olema täidetud kolm tingimust. Esiteks vajad AWS kontot piirkonnas, mis toetab Bedrocki. Teiseks vajad IAM printsiipaali – kasutajat või rolli –, kellele on antud kaks nõutavat Bedrocki õigust:

  • bedrock:InvokeModel
  • bedrock:InvokeModelWithResponseStream

Lõpuks peavad Mistrali mudelid olema sinu konkreetse piirkonna jaoks Bedrocki konsoolis lubatud. See viimane samm paneb paljud meeskonnad pahuksisse: sinu IAMi õigused võivad olla veatud, kuid kui mudel ei ole selles piirkonnas, kust seda kutsub, lubatud, jääb see kättesaamatuks. Lubamine toimub piirkonniti, mis seletab tõrkeid üleminekul us-west-2-st teise tsooni.

Tööjaama poolel piirdub paigaldus AWS SDK-ga:

pip install boto3>=1.34.131

Seejärel konfigureeri oma mandaadid nagu tavaliselt:

aws configure
# AWS Access Key ID: your-access-key
# AWS Secret Access Key: your-secret-key
# Default region name: us-west-2
# Default output format: json

Kutsumine Converse API kaudu

Bedrock ühtlustab juurdepääsu erinevatele pakkujatele ühe meetodi taga: converse(). Praktikas kutsub sama kood nii Mistrali mudelit kui ka mis tahes muud mudelit kataloogis; muutub vaid identifikaator. Sõnumi sisu ei ole lihtne string, vaid plokkide loend ja genereerimisseaded on rühmitatud inferenceConfig alla, mitte lapendatud ülemisel tasandil.

import boto3

client = boto3.client("bedrock-runtime", region_name="us-west-2")

response = client.converse(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[
        {
            "role": "user",
            "content": [{"text": "Selgita VPC kontseptsiooni AWS-is 5 punktis."}]
        }
    ],
    inferenceConfig={
        "temperature": 0.3,
        "maxTokens": 1024
    }
)

# Vastuse ekstraheerimine
output = response["output"]["message"]["content"][0]["text"]
print(output)

Identifikaatorid järgivad formaati mistral.<mudeli-nimi>-<versioon>:0. Kuna need on versioneeritud, on kõige parem tsentraliseerida need konstandina, mitte kopeerida igasse väljakutsesse:

# Levinud mudelid (versioneeritud identifikaatorid – vaata jooksvat loendit Bedrocki konsoolist)
MODELS = {
    "large_3":  "mistral.mistral-large-2512-v1:0",
    "small":       "mistral.mistral-small-2402-v1:0",
    "mixtral":     "mistral.mixtral-8x7b-instruct-v0:1",
    "mistral_7b":  "mistral.mistral-7b-instruct-v0:2",
}

Pikkade vastuste korral tagastab converse_stream sündmustevoo, mida saad iteratsiooni teha saabumise käigus. See võimaldab liidesel teksti kuvada selle genereerimise ajal, selle asemel et oodata mitu sekundit külmutatud ekraaniga.

response = client.converse_stream(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[
        {
            "role": "user",
            "content": [{"text": "Genereeri täielik juhend Lambda funktsioonide kohta."}]
        }
    ],
    inferenceConfig={"maxTokens": 2048}
)

for event in response["stream"]:
    if "contentBlockDelta" in event:
        text = event["contentBlockDelta"]["delta"].get("text", "")
        print(text, end="", flush=True)

Native Mistral SDK ja miks seda siin vältida

Kui eelistad standardset Mistrali klienti, võimaldab adapter suunata selle Bedrocki lõpp-punkti:

import os
from mistralai.client import Mistral

# Konfiguratsioon Bedrocki jaoks
client = Mistral(
    api_key=os.environ.get("AWS_SECRET_ACCESS_KEY", ""),
    server_url=f"https://bedrock-runtime.us-west-2.amazonaws.com"
)

Siiski on AWS-is soovitatav kasutada lähenemist boto3, kuna see integreerub loomupäraselt IAM-i, CloudWatchi ja teiste AWS-i teenustega. Praktikas annab boto3 valimine sulle automaatse mandaatide rotatsiooni rollide kaudu ja jälgitavuse ilma ühtegi lisakoodirida kirjutamata.

Integratsioon AWS-i ökosüsteemiga

Bedrock saadab mõõdikud automaatselt CloudWatchi: Invocations väljakutsete arvu jaoks, InvocationLatency päringu latentsuse jaoks ning InputTokenCount ja OutputTokenCount tokenite tarbimise jaoks. Saad kulude ja jõudluse armatuurlaua ilma oma rakendust instrumendita. Kiire kontroll käsurealt piisab mahu verifitseerimiseks antud perioodil:

# Kontrolli mõõdikuid AWS CLI kaudu
aws cloudwatch get-metric-statistics \
    --namespace "AWS/Bedrock" \
    --metric-name "Invocations" \
    --start-time 2026-04-01T00:00:00Z \
    --end-time 2026-04-03T23:59:59Z \
    --period 3600 \
    --statistics Sum

AWS pakub ka oma kaitseraudteid (guardrails), mis täiendavad Mistrali omi. Need kinnitatakse väljakutse tasandil, võimaldades rakendada järjepidevat filtreerimispoliitikat kõigile kataloogi mudelitele, sõltumata nende pakkujast:

response = client.converse(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[{"role": "user", "content": [{"text": "..."}]}],
    guardrailConfig={
        "guardrailIdentifier": "my-guardrail-id",
        "guardrailVersion": "1"
    }
)

Erinevused otsese Mistrali API-ga võrreldes

AspektMistral APIAWS Bedrock
SDKmistralaiboto3
AutentimineAPI võtiIAM (SigV4)
APIchat.complete()converse()
Voogedastuschat.stream()converse_stream()
JälgimineManuaalneNative CloudWatch
ArveldamineMistralAWS

See tabel selgitab, miks Mistrali API-lt üleviimine ei ole kunagi pelgalt URL-i muutmine: sõnumiformaat, kutsutav meetod ja autentimismehhanism muutuvad kõik korraga. Planeeri oma koodi abstraktsioonikiht, kui kavatsete teenindada mõlemat.

Peamised punktid

  • Bedrock kasutab boto3 ja converse() API-t – mitte standardset Mistrali klienti
  • Autentimine käib IAM-i kaudu, mitte Mistrali API võtmega
  • CloudWatchi mõõdikud saadetakse automaatselt (latentsus, tokenid, väljakutsed)
  • Luba mudelid Bedrocki konsoolis enne nende kasutamist
  • Bedrocki identifikaatorid on versioneeritud (mistral.mistral-large-2512-v1:0) ja muutuvad iga generatsiooniga: kontrolli täpset väärtust Bedrocki konsoolis enne kasutuselevõttu
  • Voogedastus toimub converse_stream() kaudu sündmustega