AWS Bedrock
Na tejto strane
Mistral na Amazon Bedrock
Amazon Bedrock je spravovaná služba AWS na prístup k základným modelom prostredníctvom jednotného rozhrania API. Mistral AI tu ponúka kompletný rad modelov, od ľahkého Mistral 7B až po výkonný Mistral Large 3. Integrácia sa spolieha na štandardný AWS SDK, boto3. To z neho robí atraktívnu voľbu pre tímy, ktoré už fungujú v prostredí AWS: žiadne ďalšie kľúče dodávateľa na distribúciu, žiadne nové zmluvy na schválenie a model overovania, ktorý tvoji administrátori už ovládajú.
Katalóg Bedrock je pre Mistral jeden z najrozsiahlejších. Nájdeš tu Mistral Large 3 na pokročilé logické úlohy a multimodálne úlohy, ľahký rad Ministral 3B / 8B / 14B, staršie verzie ako Mistral Large 24.07 a 24.02 (často ponechané, aby sa predišlo porušeniu kalibrovaných promptov), Mistral Small na rýchle a nákladovo efektívne spracovanie, Mixtral 8x7B s architektúrou Mixture-of-Experts, základný model s otvorenými váhami Mistral 7B a Pixtral Large na vizuálne a multimodálne schopnosti. Táto hĺbka ti umožňuje spustiť lacný model na hromadnú klasifikáciu vedľa špičkového modelu na jemné zhrnutia v rámci tej istej aplikácie.
Predpoklady
Pred prvým volaním musia byť splnené tri podmienky. Po prvé, potrebuješ účet AWS v regióne, ktorý podporuje Bedrock. Po druhé, potrebuješ hlavný subjekt IAM (používateľa alebo rolu) s udelenými dvoma požadovanými oprávneniami pre Bedrock:
bedrock:InvokeModelbedrock:InvokeModelWithResponseStream
Nakoniec, modely Mistral musia byť v konzole Bedrock pre tvoj konkrétny región povolené. Tento posledný krok mnohé tímy prekvapí: tvoje oprávnenia IAM môžu byť dokonalé, ale ak model nie je povolený v regióne, ktorý voláš, zostane nedostupný. Povolenie sa vykonáva región po regióne, čo vysvetľuje zlyhania po prepnutí z us-west-2 do inej zóny.
Na strane pracovnej stanice sa inštalácia obmedzuje na AWS SDK:
pip install boto3>=1.34.131
Potom nakonfiguruj svoje poverenia ako obvykle:
aws configure
# AWS Access Key ID: your-access-key
# AWS Secret Access Key: your-secret-key
# Default region name: us-west-2
# Default output format: json
Volanie prostredníctvom API Converse
Bedrock zjednocuje prístup k rôznym poskytovateľom za jednou metódou: converse(). V praxi ten istý kód volá model Mistral alebo akýkoľvek iný model v katalógu; mení sa iba identifikátor. Obsah správy nie je jednoduchý reťazec, ale zoznam blokov a nastavenia generovania sú zoskupené pod inferenceConfig namiesto toho, aby boli sploštené na najvyššej úrovni.
import boto3
client = boto3.client("bedrock-runtime", region_name="us-west-2")
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Explain the concept of a VPC in AWS in 5 points."}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
# Extrahovanie odpovede
output = response["output"]["message"]["content"][0]["text"]
print(output)
Identifikátory nasledujú formát mistral.<model-name>-<version>:0. Keďže sú verzované, najlepšie je centralizovať ich do konštanty namiesto ich kopírovania do každého volania:
# Bežné modely (verzované identifikátory — aktuálny zoznam skontroluj v konzole Bedrock)
MODELS = {
"large_3": "mistral.mistral-large-2512-v1:0",
"small": "mistral.mistral-small-2402-v1:0",
"mixtral": "mistral.mixtral-8x7b-instruct-v0:1",
"mistral_7b": "mistral.mistral-7b-instruct-v0:2",
}
Pri dlhých odpovediach converse_stream vracia stream udalostí, ktorým iteruješ, ako prichádzajú. To umožňuje rozhraniu zobrazovať text počas jeho generovania namiesto čakania niekoľko sekúnd so zmrazenou obrazovkou.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Generate a complete guide on Lambda functions."}]
}
],
inferenceConfig={"maxTokens": 2048}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
text = event["contentBlockDelta"]["delta"].get("text", "")
print(text, end="", flush=True)
Natívny SDK Mistral a prečo sa mu tu vyhnúť
Ak uprednostňuješ štandardného klienta Mistral, adaptér ti umožňuje nasmerovať ho na koncový bod Bedrock:
import os
from mistralai.client import Mistral
# Konfigurácia pre Bedrock
client = Mistral(
api_key=os.environ.get("AWS_SECRET_ACCESS_KEY", ""),
server_url=f"https://bedrock-runtime.us-west-2.amazonaws.com"
)
Prístup cez boto3 je však na AWS odporúčaný, pretože sa natívne integruje s IAM, CloudWatch a ďalšími službami AWS. V praxi ti výber boto3 poskytuje automatickú rotáciu poverení prostredníctvom rolí a pozorovateľnosť bez napísania jediného riadku kódu navyše.
Integrácia s ekosystémom AWS
Bedrock automaticky odosiela metriky do CloudWatch: Invocations pre počet volaní, InvocationLatency pre oneskorenie požiadavky a InputTokenCount a OutputTokenCount pre spotrebu tokenov. Získaš dashboard nákladov a výkonu bez potreby inštrumentácie tvojej aplikácie. Na overenie objemu za dané obdobie stačí rýchla kontrola z príkazového riadku:
# Kontrola metrík cez AWS CLI
aws cloudwatch get-metric-statistics \
--namespace "AWS/Bedrock" \
--metric-name "Invocations" \
--start-time 2026-04-01T00:00:00Z \
--end-time 2026-04-03T23:59:59Z \
--period 3600 \
--statistics Sum
AWS tiež ponúka vlastné ochranné mechanizmy (guardrails), ktoré dopĺňajú tie od Mistral. Pripájajú sa na úrovni volania, čo ti umožňuje aplikovať konzistentnú politiku filtrovania naprieč všetkými modelmi v katalógu bez ohľadu na ich poskytovateľa:
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[{"role": "user", "content": [{"text": "..."}]}],
guardrailConfig={
"guardrailIdentifier": "my-guardrail-id",
"guardrailVersion": "1"
}
)
Rozdiely oproti priamemu API Mistral
| Aspekt | API Mistral | AWS Bedrock |
|---|---|---|
| SDK | mistralai | boto3 |
| Overenie | API kľúč | IAM (SigV4) |
| API | chat.complete() | converse() |
| Streamovanie | chat.stream() | converse_stream() |
| Monitorovanie | Manuálne | Natívne CloudWatch |
| Fakturácia | Mistral | AWS |
Táto tabuľka vysvetľuje, prečo portovanie z API Mistral nie je len zmenou URL: formát správy, volaná metóda a mechanizmus overenia sa menia naraz. Ak plánuješ obsluhovať obe rozhrania, naplánuj si vo svojom kóde vrstvu abstrakcie.
Kľúčové poznatky
- Bedrock používa
boto3a APIconverse()– nie štandardného klienta Mistral - Overenie prebieha cez IAM, nie cez API kľúč Mistral
- Metriky CloudWatch sa odosielajú automaticky (oneskorenie, tokeny, volania)
- Pred použitím povoľ modely v konzole Bedrock
- Identifikátory Bedrock sú verzované (
mistral.mistral-large-2512-v1:0) a menia sa s každou generáciou: pred nasadením over presnú hodnotu v konzole Bedrock - Streamovanie prebieha cez
converse_stream()s udalosťami