Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

AWS Bedrock

Lekcia 8 z 14 Aktualizované 2. novembra 2026 Pokročilý
Na tejto strane
  1. Mistral na Amazon Bedrock
  2. Predpoklady
  3. Volanie prostredníctvom API Converse
  4. Natívny SDK Mistral a prečo sa mu tu vyhnúť
  5. Integrácia s ekosystémom AWS
  6. Rozdiely oproti priamemu API Mistral
  7. Kľúčové poznatky

Mistral na Amazon Bedrock

Amazon Bedrock je spravovaná služba AWS na prístup k základným modelom prostredníctvom jednotného rozhrania API. Mistral AI tu ponúka kompletný rad modelov, od ľahkého Mistral 7B až po výkonný Mistral Large 3. Integrácia sa spolieha na štandardný AWS SDK, boto3. To z neho robí atraktívnu voľbu pre tímy, ktoré už fungujú v prostredí AWS: žiadne ďalšie kľúče dodávateľa na distribúciu, žiadne nové zmluvy na schválenie a model overovania, ktorý tvoji administrátori už ovládajú.

Katalóg Bedrock je pre Mistral jeden z najrozsiahlejších. Nájdeš tu Mistral Large 3 na pokročilé logické úlohy a multimodálne úlohy, ľahký rad Ministral 3B / 8B / 14B, staršie verzie ako Mistral Large 24.07 a 24.02 (často ponechané, aby sa predišlo porušeniu kalibrovaných promptov), Mistral Small na rýchle a nákladovo efektívne spracovanie, Mixtral 8x7B s architektúrou Mixture-of-Experts, základný model s otvorenými váhami Mistral 7B a Pixtral Large na vizuálne a multimodálne schopnosti. Táto hĺbka ti umožňuje spustiť lacný model na hromadnú klasifikáciu vedľa špičkového modelu na jemné zhrnutia v rámci tej istej aplikácie.

Predpoklady

Pred prvým volaním musia byť splnené tri podmienky. Po prvé, potrebuješ účet AWS v regióne, ktorý podporuje Bedrock. Po druhé, potrebuješ hlavný subjekt IAM (používateľa alebo rolu) s udelenými dvoma požadovanými oprávneniami pre Bedrock:

  • bedrock:InvokeModel
  • bedrock:InvokeModelWithResponseStream

Nakoniec, modely Mistral musia byť v konzole Bedrock pre tvoj konkrétny región povolené. Tento posledný krok mnohé tímy prekvapí: tvoje oprávnenia IAM môžu byť dokonalé, ale ak model nie je povolený v regióne, ktorý voláš, zostane nedostupný. Povolenie sa vykonáva región po regióne, čo vysvetľuje zlyhania po prepnutí z us-west-2 do inej zóny.

Na strane pracovnej stanice sa inštalácia obmedzuje na AWS SDK:

pip install boto3>=1.34.131

Potom nakonfiguruj svoje poverenia ako obvykle:

aws configure
# AWS Access Key ID: your-access-key
# AWS Secret Access Key: your-secret-key
# Default region name: us-west-2
# Default output format: json

Volanie prostredníctvom API Converse

Bedrock zjednocuje prístup k rôznym poskytovateľom za jednou metódou: converse(). V praxi ten istý kód volá model Mistral alebo akýkoľvek iný model v katalógu; mení sa iba identifikátor. Obsah správy nie je jednoduchý reťazec, ale zoznam blokov a nastavenia generovania sú zoskupené pod inferenceConfig namiesto toho, aby boli sploštené na najvyššej úrovni.

import boto3

client = boto3.client("bedrock-runtime", region_name="us-west-2")

response = client.converse(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[
        {
            "role": "user",
            "content": [{"text": "Explain the concept of a VPC in AWS in 5 points."}]
        }
    ],
    inferenceConfig={
        "temperature": 0.3,
        "maxTokens": 1024
    }
)

# Extrahovanie odpovede
output = response["output"]["message"]["content"][0]["text"]
print(output)

Identifikátory nasledujú formát mistral.<model-name>-<version>:0. Keďže sú verzované, najlepšie je centralizovať ich do konštanty namiesto ich kopírovania do každého volania:

# Bežné modely (verzované identifikátory — aktuálny zoznam skontroluj v konzole Bedrock)
MODELS = {
    "large_3":  "mistral.mistral-large-2512-v1:0",
    "small":       "mistral.mistral-small-2402-v1:0",
    "mixtral":     "mistral.mixtral-8x7b-instruct-v0:1",
    "mistral_7b":  "mistral.mistral-7b-instruct-v0:2",
}

Pri dlhých odpovediach converse_stream vracia stream udalostí, ktorým iteruješ, ako prichádzajú. To umožňuje rozhraniu zobrazovať text počas jeho generovania namiesto čakania niekoľko sekúnd so zmrazenou obrazovkou.

response = client.converse_stream(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[
        {
            "role": "user",
            "content": [{"text": "Generate a complete guide on Lambda functions."}]
        }
    ],
    inferenceConfig={"maxTokens": 2048}
)

for event in response["stream"]:
    if "contentBlockDelta" in event:
        text = event["contentBlockDelta"]["delta"].get("text", "")
        print(text, end="", flush=True)

Natívny SDK Mistral a prečo sa mu tu vyhnúť

Ak uprednostňuješ štandardného klienta Mistral, adaptér ti umožňuje nasmerovať ho na koncový bod Bedrock:

import os
from mistralai.client import Mistral

# Konfigurácia pre Bedrock
client = Mistral(
    api_key=os.environ.get("AWS_SECRET_ACCESS_KEY", ""),
    server_url=f"https://bedrock-runtime.us-west-2.amazonaws.com"
)

Prístup cez boto3 je však na AWS odporúčaný, pretože sa natívne integruje s IAM, CloudWatch a ďalšími službami AWS. V praxi ti výber boto3 poskytuje automatickú rotáciu poverení prostredníctvom rolí a pozorovateľnosť bez napísania jediného riadku kódu navyše.

Integrácia s ekosystémom AWS

Bedrock automaticky odosiela metriky do CloudWatch: Invocations pre počet volaní, InvocationLatency pre oneskorenie požiadavky a InputTokenCount a OutputTokenCount pre spotrebu tokenov. Získaš dashboard nákladov a výkonu bez potreby inštrumentácie tvojej aplikácie. Na overenie objemu za dané obdobie stačí rýchla kontrola z príkazového riadku:

# Kontrola metrík cez AWS CLI
aws cloudwatch get-metric-statistics \
    --namespace "AWS/Bedrock" \
    --metric-name "Invocations" \
    --start-time 2026-04-01T00:00:00Z \
    --end-time 2026-04-03T23:59:59Z \
    --period 3600 \
    --statistics Sum

AWS tiež ponúka vlastné ochranné mechanizmy (guardrails), ktoré dopĺňajú tie od Mistral. Pripájajú sa na úrovni volania, čo ti umožňuje aplikovať konzistentnú politiku filtrovania naprieč všetkými modelmi v katalógu bez ohľadu na ich poskytovateľa:

response = client.converse(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[{"role": "user", "content": [{"text": "..."}]}],
    guardrailConfig={
        "guardrailIdentifier": "my-guardrail-id",
        "guardrailVersion": "1"
    }
)

Rozdiely oproti priamemu API Mistral

AspektAPI MistralAWS Bedrock
SDKmistralaiboto3
OverenieAPI kľúčIAM (SigV4)
APIchat.complete()converse()
Streamovaniechat.stream()converse_stream()
MonitorovanieManuálneNatívne CloudWatch
FakturáciaMistralAWS

Táto tabuľka vysvetľuje, prečo portovanie z API Mistral nie je len zmenou URL: formát správy, volaná metóda a mechanizmus overenia sa menia naraz. Ak plánuješ obsluhovať obe rozhrania, naplánuj si vo svojom kóde vrstvu abstrakcie.

Kľúčové poznatky

  • Bedrock používa boto3 a API converse() – nie štandardného klienta Mistral
  • Overenie prebieha cez IAM, nie cez API kľúč Mistral
  • Metriky CloudWatch sa odosielajú automaticky (oneskorenie, tokeny, volania)
  • Pred použitím povoľ modely v konzole Bedrock
  • Identifikátory Bedrock sú verzované (mistral.mistral-large-2512-v1:0) a menia sa s každou generáciou: pred nasadením over presnú hodnotu v konzole Bedrock
  • Streamovanie prebieha cez converse_stream() s udalosťami