Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

AWS Bedrock

Paskaita 8 iš 14 Atnaujinta 2026 m. lapkričio 2 d. Pažengusiems
Šiame puslapyje
  1. „Mistral“ Amazon Bedrock aplinkoje
  2. Būtinos sąlygos
  3. Kvietimas per „Converse“ API
  4. Vietinis „Mistral“ SDK ir kodėl čia jo vengti
  5. Integracija su AWS ekosistema
  6. Skirtumai nuo tiesioginio „Mistral“ API
  7. Svarbiausi punktai

„Mistral“ Amazon Bedrock aplinkoje

Amazon Bedrock yra AWS valdoma tarnyba, leidžianti pasiekti pagrindinius modelius per vienodą API. „Mistral AI“ čia siūlo visą modelių asortimentą – nuo lengvojo „Mistral 7B“ iki galingo „Mistral Large 3“. Integracija remiasi standartiniu AWS SDK, boto3. Tai patrauklus pasirinkimas komandoms, jau dirbančioms AWS ekosistemoje: nereikia platinti papildomų tiekėjų raktų, tvirtinti naujų sutarčių, o autentifikavimo modelis jūsų administratoriams jau pažįstamas.

„Bedrock“ katalogas yra vienas išsamiausių „Mistral“ modeliams. Čia rasite „Mistral Large 3“ sudėtingam samprotavimui ir multimodalioms užduotims, lengvuosius „Ministral 3B / 8B / 14B“ modelius, ankstesnes versijas, tokias kaip „Mistral Large 24.07“ ir „24.02“ (dažnai paliekamas siekiant išvengti sukalibruotų promptų gedimų), „Mistral Small“ greitam ir ekonomiškam apdorojimui, „Mixtral 8x7B“ su jo ekspertų mišinio (Mixture-of-Experts) architektūra, bazinį atviro svorio „Mistral 7B“ modelį ir „Pixtral Large“ vaizdų bei multimodalioms galimybėms. Toks gylis leidžia toje pačioje programoje naudoti pigų modelį masinei klasifikacijai ir aukščiausios klasės modelį subtilioms santraukoms rengti.

Būtinos sąlygos

Prieš atlikdami pirmąjį kvietimą, turite įvykdyti tris sąlygas. Pirma, jums reikia AWS paskyros regione, kuris palaiko „Bedrock“. Antra, jums reikia IAM principalo – naudotojo ar vaidmens, kuriam suteikti du būtini „Bedrock“ leidimai:

  • bedrock:InvokeModel
  • bedrock:InvokeModelWithResponseStream

Galiausiai, „Mistral“ modeliai turi būti įgalinti „Bedrock“ konsolėje jūsų konkrečiame regione. Šis paskutinis žingsnis daugelį komandų nustebina: jūsų IAM leidimai gali būti tobuli, tačiau jei modelis nėra įgalintas regione, į kurį kreipiatės, jis lieka nepasiekiamas. Įgalinimas vykdomas regionu po regiono, todėl paaiškėja gedimai perjungus iš us-west-2 į kitą zoną.

Darbo stoties pusėje diegimas apsiriboja AWS SDK įdiegimu:

pip install boto3>=1.34.131

Tada sukonfigūruokite savo prisijungimo duomenis kaip įprasta:

aws configure
# AWS Access Key ID: your-access-key
# AWS Secret Access Key: your-secret-key
# Default region name: us-west-2
# Default output format: json

Kvietimas per „Converse“ API

„Bedrock“ suvienodina prieigą prie skirtingų tiekėjų naudodamas vieną metodą: converse(). Praktiškai tas pats kodas kviečia „Mistral“ modelį arba bet kurį kitą katalogo modelį; keičiasi tik identifikatorius. Pranešimo turinys nėra paprasta eilutė, o blokų sąrašas, o generavimo nustatymai sugrupuoti under inferenceConfig, o ne išdėstyti viršutiniame lygmenyje.

import boto3

client = boto3.client("bedrock-runtime", region_name="us-west-2")

response = client.converse(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[
        {
            "role": "user",
            "content": [{"text": "Explain the concept of a VPC in AWS in 5 points."}]
        }
    ],
    inferenceConfig={
        "temperature": 0.3,
        "maxTokens": 1024
    }
)

# Extract the response
output = response["output"]["message"]["content"][0]["text"]
print(output)

Identifikatoriai laikosi formato mistral.<model-name>-<version>:0. Kadangi jie yra versijuojami, geriausia juos centralizuoti konstantoje, o ne kopijuoti į kiekvieną kvietimą:

# Common models (versioned identifiers — check the Bedrock console for the current list)
MODELS = {
    "large_3":  "mistral.mistral-large-2512-v1:0",
    "small":       "mistral.mistral-small-2402-v1:0",
    "mixtral":     "mistral.mixtral-8x7b-instruct-v0:1",
    "mistral_7b":  "mistral.mistral-7b-instruct-v0:2",
}

Ilgų atsakymų atveju converse_stream grąžina įvykių srautą, kurį galite iteruoti jam atsirandant. Tai leidžia sąsajai rodyti tekstą jam generuojantis, užuot laukus kelias sekundes su užšalusiu ekranu.

response = client.converse_stream(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[
        {
            "role": "user",
            "content": [{"text": "Generate a complete guide on Lambda functions."}]
        }
    ],
    inferenceConfig={"maxTokens": 2048}
)

for event in response["stream"]:
    if "contentBlockDelta" in event:
        text = event["contentBlockDelta"]["delta"].get("text", "")
        print(text, end="", flush=True)

Vietinis „Mistral“ SDK ir kodėl čia jo vengti

Jei teikiate pirmenybę standartiniam „Mistral“ klientui, adapteris leidžia nukreipti jį į „Bedrock“ galinį tašką:

import os
from mistralai.client import Mistral

# Configuration for Bedrock
client = Mistral(
    api_key=os.environ.get("AWS_SECRET_ACCESS_KEY", ""),
    server_url=f"https://bedrock-runtime.us-west-2.amazonaws.com"
)

Tačiau AWS aplinkoje rekomenduojamas boto3 metodas, nes jis natūraliai integruojasi su IAM, CloudWatch ir kitomis AWS tarnybomis. Praktiškai pasirinkus boto3, automatiškai gaunate prisijungimo duomenų rotaciją per vaidmenis ir stebėseną nerašydami nė vienos papildomos kodo eilutės.

Integracija su AWS ekosistema

„Bedrock“ automatiškai siunčia metrikas į „CloudWatch“: Invocations kvietimų skaičiui, InvocationLatency užklausos delsai, taip pat InputTokenCount ir OutputTokenCount tokenų suvartojimui. Gaunate kainų ir našumo skydelį neinstrumentuodami savo programos. Pakanka greito patikrinimo iš komandinės eilutės, norint patikrinti apimtį tam tikru laikotarpiu:

# Check metrics via AWS CLI
aws cloudwatch get-metric-statistics \
    --namespace "AWS/Bedrock" \
    --metric-name "Invocations" \
    --start-time 2026-04-01T00:00:00Z \
    --end-time 2026-04-03T23:59:59Z \
    --period 3600 \
    --statistics Sum

AWS taip pat siūlo savo apsaugos mechanizmus (guardrails), kurie papildo „Mistral“ mechanizmus. Jie priskiriami kvietimo lygmeniu, leidžiant taikyti nuoseklią filtravimo politiką visiems katalogo modeliams, nepaisant jų tiekėjo:

response = client.converse(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[{"role": "user", "content": [{"text": "..."}]}],
    guardrailConfig={
        "guardrailIdentifier": "my-guardrail-id",
        "guardrailVersion": "1"
    }
)

Skirtumai nuo tiesioginio „Mistral“ API

Aspektas„Mistral“ APIAWS Bedrock
SDKmistralaiboto3
AutentifikavimasAPI raktasIAM (SigV4)
APIchat.complete()converse()
Srautinis perdavimaschat.stream()converse_stream()
StebėsenaRankinėVietinė „CloudWatch“
Atsiskaitymas„Mistral“AWS

Ši lentelė paaiškina, kodėl perkėlimas iš „Mistral“ API niekada nėra tik URL pakeitimas: pranešimo formatas, kviečiamas metodas ir autentifikavimo mechanizmas keičiasi vienu metu. Jei planuojate aptarnauti abu variantus, suplanuokite abstrakcijos sluoksnį savo kode.

Svarbiausi punktai

  • „Bedrock“ naudoja boto3 ir converse() API – o ne standartinį „Mistral“ klientą
  • Autentifikavimas vyksta per IAM, o ne per „Mistral“ API raktą
  • „CloudWatch“ metrikos siunčiamos automatiškai (delsa, tokenai, kvietimai)
  • Prieš naudodami modelius, įgalinkite juos „Bedrock“ konsolėje
  • „Bedrock“ identifikatoriai yra versijuojami (mistral.mistral-large-2512-v1:0) ir keičiasi su kiekviena generacija: prieš diegdami patikrinkite tikslią reikšmę „Bedrock“ konsolėje
  • Srautinis perdavimas vyksta per converse_stream() su įvykiais