AWS Bedrock
Na této stránce
Mistral na Amazon Bedrock
Amazon Bedrock je spravovaná služba AWS pro přístup k základním modelům prostřednictvím jednotného API. Mistral AI zde nabízí kompletní portfolio, od lehkého Mistral 7B až po výkonný Mistral Large 3. Integrace spoléhá na standardní AWS SDK, boto3. To z něj dělá atraktivní volbu pro týmy již etablované v ekosystému AWS: žádné další klíče dodavatele k obíhání, žádné nové smlouvy ke schvalování a model ověřování, který vaši administrátoři již ovládají.
Katalog Bedrock je pro Mistral jeden z nejrozsáhlejších. Najdeš zde Mistral Large 3 pro pokročilé logické úlohy a multimodální zpracování, lehkou řadu Ministral 3B / 8B / 14B, starší verze jako Mistral Large 24.07 a 24.02 (často udržované, aby se předešlo rozbití kalibrovaných promptů), Mistral Small pro rychlé a nákladově efektivní zpracování, Mixtral 8x7B s architekturou Mixture-of-Experts, základní open-weight model Mistral 7B a Pixtral Large pro vizuální a multimodální schopnosti. Tato hloubka ti umožňuje spouštět v rámci jedné aplikace levný model pro hromadnou klasifikaci vedle špičkového modelu pro jemné shrnutí.
Předpoklady
Než provedeš první volání, musíš splnit tři podmínky. Zaprvé potřebuješ účet AWS v regionu, který podporuje Bedrock. Zadruhé potřebuješ IAM principal (uživatele nebo roli) s udělenými dvěma požadovanými oprávněními pro Bedrock:
bedrock:InvokeModelbedrock:InvokeModelWithResponseStream
Nakonec musí být modely Mistral pro tvůj konkrétní region povoleny v konzoli Bedrock. Tento poslední krok mnoho týmů zaskočí: tvá IAM oprávnění mohou být dokonalá, ale pokud model není v regionu, který voláš, povolen, zůstane nedostupný. Povolení probíhá region po regionu, což vysvětluje selhání po přepnutí z us-west-2 do jiné zóny.
Na straně pracovní stanice se instalace omezuje pouze na AWS SDK:
pip install boto3>=1.34.131
Poté nakonfiguruj své pověření jako obvykle:
aws configure
# AWS Access Key ID: your-access-key
# AWS Secret Access Key: your-secret-key
# Default region name: us-west-2
# Default output format: json
Volání prostřednictvím Converse API
Bedrock sjednocuje přístup k různým poskytovatelům za jedinou metodou: converse(). V praxi stejný kód volá model Mistral nebo jakýkoli jiný model v katalogu; mění se pouze identifikátor. Obsah zprávy není jednoduchý řetězec, ale seznam bloků a nastavení generování jsou seskupena pod inferenceConfig místo toho, aby byla zploštěna na nejvyšší úrovni.
import boto3
client = boto3.client("bedrock-runtime", region_name="us-west-2")
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Explain the concept of a VPC in AWS in 5 points."}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
# Extrahovat odpověď
output = response["output"]["message"]["content"][0]["text"]
print(output)
Identifikátory následují formát mistral.<model-name>-<version>:0. Protože jsou verzovány, je nejlepší je centralizovat v konstantě, místo abys je kopíroval do každého volání:
# Běžné modely (verzované identifikátory — aktuální seznam ověř v konzoli Bedrock)
MODELS = {
"large_3": "mistral.mistral-large-2512-v1:0",
"small": "mistral.mistral-small-2402-v1:0",
"mixtral": "mistral.mixtral-8x7b-instruct-v0:1",
"mistral_7b": "mistral.mistral-7b-instruct-v0:2",
}
Pro dlouhé odpovědi vrací converse_stream proud událostí, kterým iteruješ, jak přicházejí. To umožňuje rozhraní zobrazovat text během jeho generování, místo čekání několik sekund se zmrazenou obrazovkou.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Generate a complete guide on Lambda functions."}]
}
],
inferenceConfig={"maxTokens": 2048}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
text = event["contentBlockDelta"]["delta"].get("text", "")
print(text, end="", flush=True)
Natívní SDK Mistral a proč se mu zde vyhnout
Pokud preferuješ standardního klienta Mistral, adaptér ti umožňuje nasměrovat jej na koncový bod Bedrock:
import os
from mistralai.client import Mistral
# Konfigurace pro Bedrock
client = Mistral(
api_key=os.environ.get("AWS_SECRET_ACCESS_KEY", ""),
server_url=f"https://bedrock-runtime.us-west-2.amazonaws.com"
)
Přístup přes boto3 je však na AWS doporučován, protože se nativně integruje s IAM, CloudWatch a dalšími službami AWS. V praxi ti volba boto3 poskytuje automatickou rotaci pověření prostřednictvím rolí a pozorovatelnost bez nutnosti psát jediný řádek kódu navíc.
Integrace s ekosystémem AWS
Bedrock automaticky odesílá metriky do CloudWatch: Invocations pro počet volání, InvocationLatency pro latenci požadavků a InputTokenCount a OutputTokenCount pro spotřebu tokenů. Získáš dashboard nákladů a výkonu bez instrumentace své aplikace. K ověření objemu za dané období stačí rychlá kontrola z příkazového řádku:
# Kontrola metrik přes AWS CLI
aws cloudwatch get-metric-statistics \
--namespace "AWS/Bedrock" \
--metric-name "Invocations" \
--start-time 2026-04-01T00:00:00Z \
--end-time 2026-04-03T23:59:59Z \
--period 3600 \
--statistics Sum
AWS také nabízí vlastní guardrails (ochranné mechanismy), které doplňují ty od Mistralu. Připojují se na úrovni volání, což ti umožňuje aplikovat konzistentní politiku filtrování napříč všemi modely v katalogu bez ohledu na jejich poskytovatele:
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[{"role": "user", "content": [{"text": "..."}]}],
guardrailConfig={
"guardrailIdentifier": "my-guardrail-id",
"guardrailVersion": "1"
}
)
Rozdíly oproti přímému API Mistral
| Aspekt | API Mistral | AWS Bedrock |
|---|---|---|
| SDK | mistralai | boto3 |
| Auth | API Key | IAM (SigV4) |
| API | chat.complete() | converse() |
| Streaming | chat.stream() | converse_stream() |
| Monitoring | Manuální | Natívní CloudWatch |
| Fakturace | Mistral | AWS |
Tato tabulka vysvětluje, proč portování z API Mistral není nikdy jen změnou URL: formát zprávy, volaná metoda i mechanismus ověřování se mění všechny najednou. Pokud plánuješ obsluhovat obojí, naplánuj si ve svém kódu vrstvu abstrakce.
Klíčové poznatky
- Bedrock používá
boto3a APIconverse()– nikoli standardního klienta Mistral - Ověřování probíhá přes IAM, nikoli přes API klíč Mistral
- Metriky CloudWatch jsou odesílány automaticky (latence, tokeny, invokace)
- Před použitím povol modely v konzoli Bedrock
- Identifikátory Bedrock jsou verzovány (
mistral.mistral-large-2512-v1:0) a mění se s každou generací: před nasazením ověř přesnou hodnotu v konzoli Bedrock - Streaming probíhá přes
converse_stream()s událostmi