AWS Bedrock
F'din il-paġna
Mistral fuq Amazon Bedrock
Amazon Bedrock huwa s-servizz immaniġġjat ta’ AWS biex taċċessa mudelli fundamentali permezz ta’ API unifikata. Mistral AI toffri linja sħiħa hawnhekk, li tibda mill-ħafif Mistral 7B sal-qawwi Mistral Large 3. L-integrazzjoni tiddependi fuq l-AWS SDK standard, boto3. Dan jagħmilha għażla attraenti għat-timijiet diġà stabbiliti fuq AWS: l-ebda ċwievet ta’ bejjiegħ addizzjonali biex jiġu ċċirkolati, l-ebda kuntratt ġdid biex jiġi approvat, u mudell ta’ awtentikazzjoni li l-amministraturi tiegħek diġà jafu bih sew.
Il-katalgu ta’ Bedrock huwa wieħed mill-aktar estensivi għal Mistral. Se ssib Mistral Large 3 għar-raġunar avvanzat u kompiti multimodali, il-linja ħafifa Ministral 3B / 8B / 14B, verżjonijiet preċedenti bħal Mistral Large 24.07 u 24.02 (spiss miżmuma biex jevitaw li jinkisru prompts ikkalibrati), Mistral Small għal ipproċessar veloċi u effiċjenti fir-rigward tal-ispejjeż, Mixtral 8x7B bl-arkitettura Mixture-of-Experts tiegħu, il-mudell fundamentali open-weight Mistral 7B, u Pixtral Large għall-kapaċitajiet tal-viżjoni u multimodali. Din il-fondità tippermettilek tħaddem mudell irħis għall-klassifikazzjoni tal-massa flimkien ma’ mudell high-end għal sommarji delikati fl-istess applikazzjoni.
Prerekwiżiti
Tliet kundizzjonijiet iridu jiġu ssodisfati qabel l-ewwel sejħa tiegħek. L-ewwel, għandek bżonn kont AWS f’reġjun li jappoġġja Bedrock. It-tieni, għandek bżonn prinċipal IAM—utent jew rwol—li ngħataw iż-żewġ permessi meħtieġa ta’ Bedrock:
bedrock:InvokeModelbedrock:InvokeModelWithResponseStream
Fl-aħħar nett, il-mudelli ta’ Mistral iridu jiġu attivati fil-konsol ta’ Bedrock għar-reġjun speċifiku tiegħek. Dan l-aħħar pass iħalli ħafna timijiet sorpriżi: il-permessi IAM tiegħek jistgħu jkunu perfetti, iżda jekk il-mudell mhux attiv fir-reġjun li qed isejjaħ, jibqa’ barra mill-portata. L-attivazzjoni sseħħ reġjun b’reġjun, li jispjega l-fallimenti wara li tibdel minn us-west-2 għal żona oħra.
Fuq in-naħa tal-workstation, l-installazzjoni hija limitata għall-AWS SDK:
pip install boto3>=1.34.131
Imbagħad ikkonfigura l-kredenzjali tiegħek bħas-soltu:
aws configure
# AWS Access Key ID: your-access-key
# AWS Secret Access Key: your-secret-key
# Default region name: us-west-2
# Default output format: json
Sejħa permezz tal-API Converse
Bedrock jgħaqqad l-aċċess għal fornituri differenti wara metodu wieħed: converse(). Fil-prattika, l-istess kodiċi jsejjaħ mudell ta’ Mistral jew kwalunkwe mudell ieħor fil-katalgu; jinbidel biss l-identifikatur. Il-kontenut tal-messaġġ mhuwiex string sempliċi iżda lista ta’ blokok, u s-settings tal-ġenerazzjoni huma raggruppati taħt inferenceConfig minflok ma huma ċċattjati fil-livell ta’ fuq.
import boto3
client = boto3.client("bedrock-runtime", region_name="us-west-2")
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Explain the concept of a VPC in AWS in 5 points."}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
# Estrai r-risposta
output = response["output"]["message"]["content"][0]["text"]
print(output)
L-identifikaturi jsegwu l-format mistral.<model-name>-<version>:0. Peress li huma b’verżjoni, huwa l-aħjar li tiċċentralizzahom f’kostanti minflok ma tikkopjahom f’kull sejħa:
# Mudelli komuni (identifikaturi b'verżjoni — iċċekkja l-konsol ta' Bedrock għal-lista attwali)
MODELS = {
"large_3": "mistral.mistral-large-2512-v1:0",
"small": "mistral.mistral-small-2402-v1:0",
"mixtral": "mistral.mixtral-8x7b-instruct-v0:1",
"mistral_7b": "mistral.mistral-7b-instruct-v0:2",
}
Għal risposti twal, converse_stream jirritorna fluss ta’ avvenimenti li tista’ tgħaddi minnu hekk kif jaslu. Dan jippermetti lil interfaċċa turi t-test waqt li qed jiġi ġġenerat, minflok ma tistenna diversi sekondi bi skrin iffriżat.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Generate a complete guide on Lambda functions."}]
}
],
inferenceConfig={"maxTokens": 2048}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
text = event["contentBlockDelta"]["delta"].get("text", "")
print(text, end="", flush=True)
L-SDK Nattiv ta’ Mistral, u Għaliex Tevitah Hawnhekk
Jekk tippreferi l-klijent standard ta’ Mistral, adattatur jippermettilek tippuntah lejn l-endpoint ta’ Bedrock:
import os
from mistralai.client import Mistral
# Konfigurazzjoni għal Bedrock
client = Mistral(
api_key=os.environ.get("AWS_SECRET_ACCESS_KEY", ""),
server_url=f"https://bedrock-runtime.us-west-2.amazonaws.com"
)
Madankollu, l-approċċ boto3 huwa rrakkomandat fuq AWS għax jintegra nativament ma’ IAM, CloudWatch, u servizzi oħra ta’ AWS. Fil-prattika, li tagħżel boto3 jagħtik rotazzjoni awtomatika tal-kredenzjali permezz ta’ rwoli u osservabbiltà mingħajr ma tikteb linja waħda extra ta’ kodiċi.
Integrazzjoni mal-Ekosistema AWS
Bedrock jibgħat awtomatikament metriċi lil CloudWatch: Invocations għan-numru ta’ sejħiet, InvocationLatency għall-latenza tat-talba, u InputTokenCount u OutputTokenCount għall-konsum tat-tokens. Tikseb dashboard tal-ispejjeż u tal-prestazzjoni mingħajr ma tistrumenta l-applikazzjoni tiegħek. Verifika rapida mil-linja tal-kumandi biżżejjed biex tivverifika l-volum għal perjodu mogħti:
# Iċċekkja l-metriċi permezz tal-AWS CLI
aws cloudwatch get-metric-statistics \
--namespace "AWS/Bedrock" \
--metric-name "Invocations" \
--start-time 2026-04-01T00:00:00Z \
--end-time 2026-04-03T23:59:59Z \
--period 3600 \
--statistics Sum
AWS toffri wkoll il-guardrails tagħha stess, li jissupplimentaw dawk ta’ Mistral. Dawn jinhakku fil-livell tas-sejħa, u jħalluk tapplika politika ta’ filtrazzjoni konsistenti fuq il-mudelli kollha fil-katalgu, irrispettivament mill-fornitur tagħhom:
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[{"role": "user", "content": [{"text": "..."}]}],
guardrailConfig={
"guardrailIdentifier": "my-guardrail-id",
"guardrailVersion": "1"
}
)
Differenzi mill-API Diretta ta’ Mistral
| Aspett | API ta’ Mistral | AWS Bedrock |
|---|---|---|
| SDK | mistralai | boto3 |
| Awtentikazzjoni | API Key | IAM (SigV4) |
| API | chat.complete() | converse() |
| Streaming | chat.stream() | converse_stream() |
| Monitoraġġ | Manwali | CloudWatch Nattiv |
| Fatturazzjoni | Mistral | AWS |
Din it-tabella tispjega għaliex il-porting mill-API ta’ Mistral qatt mhu sempliċiment bidla fl-URL: il-format tal-messaġġ, il-metodu msejjaħ, u l-mekkaniżmu ta’ awtentikazzjoni jinbidlu kollha f’daqqa. Ippjana għal saff ta’ astrazzjoni fil-kodiċi tiegħek jekk intendi sservi t-tnejn.
Punti Ewlenin
- Bedrock juża
boto3u l-APIconverse()—mhux il-klijent standard ta’ Mistral - L-awtentikazzjoni tgħaddi minn IAM, mhux minn API key ta’ Mistral
- Il-metriċi ta’ CloudWatch jintbagħtu awtomatikament (latenza, tokens, invokazzjonijiet)
- Attiva l-mudelli fil-konsol ta’ Bedrock qabel ma tużahom
- L-identifikaturi ta’ Bedrock huma b’verżjoni (
mistral.mistral-large-2512-v1:0) u jinbidlu ma’ kull ġenerazzjoni: ivverifika l-valur eżatt fil-konsol ta’ Bedrock qabel id-distribuzzjoni - Is-streaming iseħħ permezz ta’
converse_stream()b’avvenimenti