Salt la conținutul principal
Română— Alege o limbă
Meniu

AWS Bedrock

Lecția 8 din 14 Actualizată 2 noiembrie 2026 Avansat
Pe această pagină
  1. Mistral pe Amazon Bedrock
  2. Condiții prealabile
  3. Apelarea prin API-ul Converse
  4. SDK-ul nativ Mistral și de ce să îl evitați aici
  5. Integrarea cu ecosistemul AWS
  6. Diferențe față de API-ul direct Mistral
  7. Puncte cheie

Mistral pe Amazon Bedrock

Amazon Bedrock este serviciul gestionat de AWS pentru accesarea modelelor fundamentale printr-o API unificată. Mistral AI oferă aici o gamă completă, de la modelul ușor Mistral 7B până la puternicul Mistral Large 3. Integrarea se bazează pe SDK-ul standard AWS, boto3. Aceasta o face o opțiune atractivă pentru echipele deja stabilite în ecosistemul AWS: nu trebuie să circulați chei suplimentare ale furnizorului, nu sunt necesare aprobări pentru noi contracte, iar modelul de autentificare este deja stăpânit de administratorii dumneavoastră.

Catalogul Bedrock este unul dintre cele mai extinse pentru Mistral. Veți găsi Mistral Large 3 pentru raționamente avansate și sarcini multimodale, gama ușoară Ministral 3B / 8B / 14B, versiuni anterioare precum Mistral Large 24.07 și 24.02 (adesea menținute pentru a evita ruperea prompturilor calibrate), Mistral Small pentru procesare rapidă și eficientă din punct de vedere al costurilor, Mixtral 8x7B cu arhitectura sa Mixture-of-Experts, modelul fundamental open-weight Mistral 7B și Pixtral Large pentru capabilități de viziune și multimodale. Această profunzime vă permite să rulați un model ieftin pentru clasificarea în masă alături de un model de top pentru rezumate delicate, în cadrul aceleiași aplicații.

Condiții prealabile

Trebuie îndeplinite trei condiții înainte de prima apelare. În primul rând, aveți nevoie de un cont AWS într-o regiune care suportă Bedrock. În al doilea rând, aveți nevoie de un principal IAM (utilizator sau rol) căruia i s-au acordat cele două permisiuni Bedrock necesare:

  • bedrock:InvokeModel
  • bedrock:InvokeModelWithResponseStream

În final, modelele Mistral trebuie activate în consola Bedrock pentru regiunea dumneavoastră specifică. Acest ultim pas prinde multe echipe nepregătite: permisiunile IAM pot fi perfecte, dar dacă modelul nu este activat în regiunea pe care o apelați, acesta rămâne inaccesibil. Activarea se face regiune cu regiune, ceea ce explică erorile apărute după trecerea de la us-west-2 la o altă zonă.

Pe partea stației de lucru, instalarea se limitează la SDK-ul AWS:

pip install boto3>=1.34.131

Apoi configurați credențialele ca de obicei:

aws configure
# AWS Access Key ID: your-access-key
# AWS Secret Access Key: your-secret-key
# Default region name: us-west-2
# Default output format: json

Apelarea prin API-ul Converse

Bedrock unifică accesul la diferiți furnizori în spatele unei singure metode: converse(). În practică, același cod apelează un model Mistral sau orice alt model din catalog; doar identificatorul se schimbă. Conținutul mesajului nu este un simplu șir de caractere, ci o listă de blocuri, iar setările de generare sunt grupate sub inferenceConfig, în loc să fie aplatizate la nivelul superior.

import boto3

client = boto3.client("bedrock-runtime", region_name="us-west-2")

response = client.converse(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[
        {
            "role": "user",
            "content": [{"text": "Explain the concept of a VPC in AWS in 5 points."}]
        }
    ],
    inferenceConfig={
        "temperature": 0.3,
        "maxTokens": 1024
    }
)

# Extrageți răspunsul
output = response["output"]["message"]["content"][0]["text"]
print(output)

Identificatorii urmează formatul mistral.<model-name>-<version>:0. Deoarece sunt versionați, este mai bine să îi centralizați într-o constantă, în loc să îi copiați în fiecare apel:

# Modele comune (identificatori versionați — verificați consola Bedrock pentru lista curentă)
MODELS = {
    "large_3":  "mistral.mistral-large-2512-v1:0",
    "small":       "mistral.mistral-small-2402-v1:0",
    "mixtral":     "mistral.mixtral-8x7b-instruct-v0:1",
    "mistral_7b":  "mistral.mistral-7b-instruct-v0:2",
}

Pentru răspunsuri lungi, converse_stream returnează un flux de evenimente peste care iterați pe măsură ce sosesc. Acest lucru permite unei interfețe să afișeze textul în timp ce este generat, în loc să aștepte câteva secunde cu un ecran blocat.

response = client.converse_stream(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[
        {
            "role": "user",
            "content": [{"text": "Generate a complete guide on Lambda functions."}]
        }
    ],
    inferenceConfig={"maxTokens": 2048}
)

for event in response["stream"]:
    if "contentBlockDelta" in event:
        text = event["contentBlockDelta"]["delta"].get("text", "")
        print(text, end="", flush=True)

SDK-ul nativ Mistral și de ce să îl evitați aici

Dacă preferați clientul standard Mistral, un adaptor vă permite să îl îndreptați către endpoint-ul Bedrock:

import os
from mistralai.client import Mistral

# Configurare pentru Bedrock
client = Mistral(
    api_key=os.environ.get("AWS_SECRET_ACCESS_KEY", ""),
    server_url=f"https://bedrock-runtime.us-west-2.amazonaws.com"
)

Cu toate acestea, abordarea boto3 este recomandată pe AWS deoarece se integrează nativ cu IAM, CloudWatch și alte servicii AWS. În practică, alegerea boto3 vă oferă rotirea automată a credențialelor prin roluri și observabilitate fără a scrie o singură linie suplimentară de cod.

Integrarea cu ecosistemul AWS

Bedrock trimite automat metrici către CloudWatch: Invocations pentru numărul de apeluri, InvocationLatency pentru latența cererilor și InputTokenCount și OutputTokenCount pentru consumul de token-uri. Obțineți un tablou de bord pentru costuri și performanță fără a instrumenta aplicația. O verificare rapidă din linia de comandă este suficientă pentru a verifica volumul pentru o perioadă dată:

# Verificați metricile prin AWS CLI
aws cloudwatch get-metric-statistics \
    --namespace "AWS/Bedrock" \
    --metric-name "Invocations" \
    --start-time 2026-04-01T00:00:00Z \
    --end-time 2026-04-03T23:59:59Z \
    --period 3600 \
    --statistics Sum

AWS oferă, de asemenea, propriile sale guardrails (mecanisme de siguranță), care le completează pe cele ale Mistral. Acestea se atașează la nivelul apelului, permițându-vă să aplicați o politică de filtrare consistentă pentru toate modelele din catalog, indiferent de furnizorul lor:

response = client.converse(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[{"role": "user", "content": [{"text": "..."}]}],
    guardrailConfig={
        "guardrailIdentifier": "my-guardrail-id",
        "guardrailVersion": "1"
    }
)

Diferențe față de API-ul direct Mistral

AspectAPI MistralAWS Bedrock
SDKmistralaiboto3
AuthCheie APIIAM (SigV4)
APIchat.complete()converse()
Streamingchat.stream()converse_stream()
MonitorizareManualăCloudWatch nativ
FacturareMistralAWS

Acest tabel explică de ce portarea de la API-ul Mistral nu este niciodată doar o schimbare de URL: formatul mesajului, metoda apelată și mecanismul de autentificare se schimbă toate simultan. Planificați un strat de abstractizare în codul dumneavoastră dacă intenționați să deserviți ambele.

Puncte cheie

  • Bedrock utilizează boto3 și API-ul converse() – nu clientul standard Mistral
  • Autentificarea trece prin IAM, nu printr-o cheie API Mistral
  • Metricile CloudWatch sunt trimise automat (latență, token-uri, invocări)
  • Activați modelele în consola Bedrock înainte de a le utiliza
  • Identificatorii Bedrock sunt versionați (mistral.mistral-large-2512-v1:0) și se schimbă la fiecare generație: verificați valoarea exactă în consola Bedrock înainte de implementare
  • Streaming-ul se realizează prin converse_stream() cu evenimente