Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

AWS Bedrock

8. lecke 14 közül Frissítve 2026. november 2. Haladó
Ezen az oldalon
  1. Mistral az Amazon Bedrockon
  2. Előfeltételek
  3. Hívás a Converse API-n keresztül
  4. A natív Mistral SDK és miért kerüld el itt
  5. Integráció az AWS ökoszisztémával
  6. Különbségek a közvetlen Mistral API-hoz képest
  7. Főbb megállapítások

Mistral az Amazon Bedrockon

Az Amazon Bedrock az AWS menedzselt szolgáltatása, amely egyesített API-n keresztül biztosít hozzáférést az alapmodellekhez. A Mistral AI itt teljes modellkínálattal rendelkezik, a könnyűsúlyú Mistral 7B-től kezdve a nagy teljesítményű Mistral Large 3-ig. Az integráció a szabványos AWS SDK-ra, a boto3-ra épül. Ez vonzó választássá teszi azok számára a csapatok számára, akik már az AWS ökoszisztémájában dolgoznak: nem kell külön vendor kulcsokat kezelni, nincs szükség új szerződések jóváhagyására, és a hitelesítési modellt az adminisztrátoraid már ismerik.

A Bedrock katalógus az egyik legbővebb a Mistral modellek tekintetében. Találsz itt Mistral Large 3-at fejlett következtetési és multimodális feladatokhoz, a könnyűsúlyú Ministral 3B / 8B / 14B szériát, korábbi verziókat, mint a Mistral Large 24.07 és 24.02 (amelyeket gyakran megtartanak a kalibrált promptok működésének biztosítása érdekében), Mistral Smallot gyors és költséghatékony feldolgozáshoz, Mixtral 8x7B-t a Mixture-of-Experts architektúrájával, az alapvető nyílt súlyú Mistral 7B modellt, valamint a Pixtral Large-ot látási és multimodális képességekhez. Ez a mélység lehetővé teszi, hogy ugyanazon az alkalmazáson belül olcsó modellt fuss tömeges osztályozásra, míg csúcskategóriás modellt használj kényes összefoglalókhoz.

Előfeltételek

Három feltételnek kell teljesülnie az első hívás előtt. Először is szükséged van egy AWS fiókra egy olyan régióban, amely támogatja a Bedrockot. Másodszor szükséged van egy IAM entitásra (felhasználó vagy szerep), amely megkapta a két szükséges Bedrock engedélyt:

  • bedrock:InvokeModel
  • bedrock:InvokeModelWithResponseStream

Végül a Mistral modelleket engedélyezni kell a Bedrock konzolon az adott régiódban. Ez az utolsó lépés sok csapatot váratlanul ér: az IAM engedélyeid lehetnek tökéletesek, de ha a modell nincs engedélyezve abban a régióban, amit hívsz, elérhetetlen marad. Az engedélyezés régiónként történik, ami megmagyarázza a hibákat, amikor átváltasz például a us-west-2-ről egy másik zónába.

A munkállomás oldalán a telepítés az AWS SDK-ra korlátozódik:

pip install boto3>=1.34.131

Ezután állítsd be a hitelesítő adataidat a szokásos módon:

aws configure
# AWS Access Key ID: your-access-key
# AWS Secret Access Key: your-secret-key
# Default region name: us-west-2
# Default output format: json

Hívás a Converse API-n keresztül

A Bedrock egyesíti a különböző szolgáltatókhoz való hozzáférést egyetlen metódus mögé: a converse() hívás mögé. A gyakorlatban ugyanaz a kód hív meg egy Mistral modellt vagy bármely más modellt a katalógusból; csak az azonosító változik. Az üzenet tartalma nem egyszerű sztring, hanem blokkok listája, a generálási beállítások pedig az inferenceConfig alatt csoportosulnak, nem pedig a legfelső szinten vannak laposan elhelyezve.

import boto3

client = boto3.client("bedrock-runtime", region_name="us-west-2")

response = client.converse(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[
        {
            "role": "user",
            "content": [{"text": "Explain the concept of a VPC in AWS in 5 points."}]
        }
    ],
    inferenceConfig={
        "temperature": 0.3,
        "maxTokens": 1024
    }
)

# A válasz kinyerése
output = response["output"]["message"]["content"][0]["text"]
print(output)

Az azonosítók a mistral.<model-name>-<version>:0 formátumot követik. Mivel verziókezelték őket, a legjobb, ha egy konstansban központosítod őket, ahelyett, hogy minden hívásba másolnád őket:

# Gyakori modellek (verziókezelt azonosítók — a jelenlegi listáért ellenőrizd a Bedrock konzolt)
MODELS = {
    "large_3":  "mistral.mistral-large-2512-v1:0",
    "small":       "mistral.mistral-small-2402-v1:0",
    "mixtral":     "mistral.mixtral-8x7b-instruct-v0:1",
    "mistral_7b":  "mistral.mistral-7b-instruct-v0:2",
}

Hosszú válaszok esetén a converse_stream egy eseményfolyamot ad vissza, amelyet iterálhatsz, ahogy az megérkezik. Ez lehetővé teszi, hogy a felület megjelenítse a szöveget generálás közben, ahelyett, hogy több másodpercet várnál egy befagyott képernyővel.

response = client.converse_stream(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[
        {
            "role": "user",
            "content": [{"text": "Generate a complete guide on Lambda functions."}]
        }
    ],
    inferenceConfig={"maxTokens": 2048}
)

for event in response["stream"]:
    if "contentBlockDelta" in event:
        text = event["contentBlockDelta"]["delta"].get("text", "")
        print(text, end="", flush=True)

A natív Mistral SDK és miért kerüld el itt

Ha inkább a szabványos Mistral klienst preferálod, egy adapter lehetővé teszi, hogy a Bedrock végpontra irányítsd:

import os
from mistralai.client import Mistral

# Konfiguráció a Bedrockhoz
client = Mistral(
    api_key=os.environ.get("AWS_SECRET_ACCESS_KEY", ""),
    server_url=f"https://bedrock-runtime.us-west-2.amazonaws.com"
)

Azonban az AWS környezetben a boto3 megközelítés javasolt, mert natívan integrálódik az IAM-mel, a CloudWatch-tal és egyéb AWS szolgáltatásokkal. A gyakorlatban a boto3 választása automatikus hitelesítőadat-rotációt biztosít szerepkörökön keresztül, és megfigyelhetőséget nyújt anélkül, hogy egyetlen extra sor kódot is írnál.

Integráció az AWS ökoszisztémával

A Bedrock automatikusan metrikákat küld a CloudWatch-nak: Invocations a hívások számához, InvocationLatency a kérés késleltetéséhez, valamint InputTokenCount és OutputTokenCount a tokenfogyasztáshoz. Így költséges és teljesítménydashboardot kapsz anélkül, hogy instrumentálnod kellene az alkalmazásodat. Egy gyors ellenőrzés a parancssorból elég ahhoz, hogy ellenőrizd a forgalmat egy adott időszakban:

# Metrikák ellenőrzése az AWS CLI-n keresztül
aws cloudwatch get-metric-statistics \
    --namespace "AWS/Bedrock" \
    --metric-name "Invocations" \
    --start-time 2026-04-01T00:00:00Z \
    --end-time 2026-04-03T23:59:59Z \
    --period 3600 \
    --statistics Sum

Az AWS saját guardrail-eket (védőkorlátokat) is kínál, amelyek kiegészítik a Mistralét. Ezek hívásszinten csatlakoztathatók, lehetővé téve, hogy konzisztens szűrési irányelvet alkalmazz a katalógus összes modelljére, függetlenül a szolgáltatójuktól:

response = client.converse(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[{"role": "user", "content": [{"text": "..."}]}],
    guardrailConfig={
        "guardrailIdentifier": "my-guardrail-id",
        "guardrailVersion": "1"
    }
)

Különbségek a közvetlen Mistral API-hoz képest

SzempontMistral APIAWS Bedrock
SDKmistralaiboto3
HitelesítésAPI kulcsIAM (SigV4)
APIchat.complete()converse()
Streamingchat.stream()converse_stream()
MonitorozásManuálisNatív CloudWatch
SzámlázásMistralAWS

Ez a táblázat megmagyarázza, miért nem csupán URL-csere a Mistral API-ról való átállás: az üzenetformátum, a meghívott metódus és a hitelesítési mechanizmus egyszerre változik meg. Tervezz absztrakciós réteget a kódodba, ha mindkettőt ki szeretnéd szolgálni.

Főbb megállapítások

  • A Bedrock a boto3-at és a converse() API-t használja – nem a szabványos Mistral klienst
  • A hitelesítés az IAM-en keresztül történik, nem Mistral API kulccsal
  • A CloudWatch metrikák automatikusan elküldésre kerülnek (késleltetés, tokenek, hívások)
  • Használat előtt engedélyezd a modelleket a Bedrock konzolon
  • A Bedrock azonosítók verziókezelték (mistral.mistral-large-2512-v1:0), és generációnként változnak: telepítés előtt ellenőrizd a pontos értéket a Bedrock konzolon
  • A streaming a converse_stream() segítségével történik eseményeken keresztül