AWS Bedrock
Na ovoj stranici
Mistral na Amazon Bedrocku
Amazon Bedrock je upravljana usluga AWS-a za pristup temeljnim modelima putem jedinstvenog API-ja. Mistral AI ovdje nudi kompletan asortiman, od laganih modela poput Mistral 7B do moćnog Mistral Large 3. Integracija se oslanja na standardni AWS SDK, boto3. To ga čini privlačnom opcijom za timove koji već posluju unutar AWS ekosustava: nema potrebe za dijeljenjem dodatnih ključeva dobavljača, nema novih ugovora za odobravanje, a model autentifikacije već je poznat tvojim administratorima.
Bedrock katalog jedan je od najopsežnijih za Mistral modele. Pronaći ćeš Mistral Large 3 za napredno rezoniranje i multimodalne zadatke, lagani lineup Ministral 3B / 8B / 14B, starije verzije poput Mistral Large 24.07 i 24.02 (koje se često zadržavaju kako bi se izbjeglo kvaranje kalibriranih promptova), Mistral Small za brzu i isplativu obradu, Mixtral 8x7B s arhitekturom Mixture-of-Experts, temeljni open-weight model Mistral 7B te Pixtral Large za vizualne i multimodalne mogućnosti. Ova dubina omogućuje ti da unutar iste aplikacije pokrećeš jeftin model za masovnu klasifikaciju uz visokoklasni model za osjetljive sažetke.
Preduvjeti
Prije prvog poziva moraš ispuniti tri uvjeta. Prvo, trebaš AWS račun u regiji koja podržava Bedrock. Drugo, trebaš IAM principal (korisnika ili ulogu) kojem su dodijeljene dvije potrebne Bedrock dozvole:
bedrock:InvokeModelbedrock:InvokeModelWithResponseStream
Konačno, Mistral modeli moraju biti aktivirani u Bedrock konzoli za tvoju specifičnu regiju. Ovaj posljednji korak često iznenadi mnoge timove: tvoje IAM dozvole mogu biti savršene, ali ako model nije aktiviran u regiji koju zoveš, ostaje nedostupan. Aktivacija se vrši regija po regija, što objašnjava neuspjehe nakon prelaska s us-west-2 na drugu zonu.
Na strani radne stanice, instalacija je ograničena na AWS SDK:
pip install boto3>=1.34.131
Zatim konfiguriraj svoje vjerodajnice kao i obično:
aws configure
# AWS Access Key ID: your-access-key
# AWS Secret Access Key: your-secret-key
# Default region name: us-west-2
# Default output format: json
Pozivanje putem Converse API-ja
Bedrock objedinjuje pristup različitim pružateljima iza jedne metode: converse(). U praksi, isti kod poziva Mistral model ili bilo koji drugi model u katalogu; mijenja se samo identifikator. Sadržaj poruke nije jednostavan niz znakova već popis blokova, a postavke generiranja grupirane su pod inferenceConfig umjesto da su izravnane na najvišoj razini.
import boto3
client = boto3.client("bedrock-runtime", region_name="us-west-2")
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Explain the concept of a VPC in AWS in 5 points."}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
# Izdvoji odgovor
output = response["output"]["message"]["content"][0]["text"]
print(output)
Identifikatori slijede format mistral.<model-name>-<version>:0. Budući da imaju verzije, najbolje ih je centralizirati u konstantu umjesto da ih kopiraš u svaki poziv:
# Uobičajeni modeli (identifikatori s verzijama — provjeri Bedrock konzolu za trenutni popis)
MODELS = {
"large_3": "mistral.mistral-large-2512-v1:0",
"small": "mistral.mistral-small-2402-v1:0",
"mixtral": "mistral.mixtral-8x7b-instruct-v0:1",
"mistral_7b": "mistral.mistral-7b-instruct-v0:2",
}
Za duge odgovore, converse_stream vraća stream događaja kojim iteriraš kako oni pristižu. To omogućuje sučelju da prikazuje tekst dok se generira, umjesto da čekaš nekoliko sekundi sa zamrznutim zaslonom.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Generate a complete guide on Lambda functions."}]
}
],
inferenceConfig={"maxTokens": 2048}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
text = event["contentBlockDelta"]["delta"].get("text", "")
print(text, end="", flush=True)
Izvorni Mistral SDK i zašto ga ovdje izbjegavati
Ako preferiraš standardnog Mistral klijenta, adapter ti omogućuje da ga usmjeriš na Bedrock krajnju točku:
import os
from mistralai.client import Mistral
# Konfiguracija za Bedrock
client = Mistral(
api_key=os.environ.get("AWS_SECRET_ACCESS_KEY", ""),
server_url=f"https://bedrock-runtime.us-west-2.amazonaws.com"
)
Međutim, pristup putem boto3 preporučuje se na AWS-u jer se izvorno integrira s IAM-om, CloudWatchom i drugim AWS uslugama. U praksi, odabirom boto3 dobivaš automatsku rotaciju vjerodajnica putem uloga i opservabilnost bez pisanja ijednog dodatnog retka koda.
Integracija s AWS ekosustavom
Bedrock automatski šalje metrike u CloudWatch: Invocations za broj poziva, InvocationLatency za kašnjenje zahtjeva te InputTokenCount i OutputTokenCount za potrošnju tokena. Dobivaš nadzornu ploču za troškove i performanse bez instrumentiranja svoje aplikacije. Brza provjera iz naredbenog retka dovoljna je za verifikaciju volumena za određeno razdoblje:
# Provjeri metrike putem AWS CLI-ja
aws cloudwatch get-metric-statistics \
--namespace "AWS/Bedrock" \
--metric-name "Invocations" \
--start-time 2026-04-01T00:00:00Z \
--end-time 2026-04-03T23:59:59Z \
--period 3600 \
--statistics Sum
AWS također nudi vlastite zaštitne mehanizme (guardrails) koji nadopunjuju Mistralove. Oni se vežu na razini poziva, omogućujući ti primjenu dosljedne politike filtriranja na sve modele u katalogu, bez obzira na njihovog pružatelja:
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[{"role": "user", "content": [{"text": "..."}]}],
guardrailConfig={
"guardrailIdentifier": "my-guardrail-id",
"guardrailVersion": "1"
}
)
Razlike u odnosu na izravni Mistral API
| Aspekt | Mistral API | AWS Bedrock |
|---|---|---|
| SDK | mistralai | boto3 |
| Autentifikacija | API ključ | IAM (SigV4) |
| API | chat.complete() | converse() |
| Streaming | chat.stream() | converse_stream() |
| Nadzor | Ručni | Izvorni CloudWatch |
| Naplata | Mistral | AWS |
Ova tablica objašnjava zašto portanje s Mistral API-ja nikada nije samo promjena URL-a: format poruke, pozvana metoda i mehanizam autentifikacije mijenjaju se istovremeno. Planiraj sloj apstrakcije u svom kodu ako namjeravaš podržavati oba.
Ključne točke
- Bedrock koristi
boto3iconverse()API – ne standardnog Mistral klijenta - Autentifikacija prolazi kroz IAM, a ne kroz Mistral API ključ
- CloudWatch metrike šalju se automatski (kašnjenje, tokeni, pozivi)
- Aktiviraj modele u Bedrock konzoli prije korištenja
- Bedrock identifikatori imaju verzije (
mistral.mistral-large-2512-v1:0) i mijenjaju se sa svakom generacijom: provjeri točnu vrijednost u Bedrock konzoli prije implementacije - Streaming se odvija putem
converse_stream()s događajima