AWS Bedrock
Sellel lehel
Mistral Amazon Bedrockis
Amazon Bedrock on AWS-i hallatav teenus, mis võimaldab juurdepääsu sihtotstarbelistele mudelitele ühtse API kaudu. Mistral AI pakub siin täielikku valikut, alates kergest Mistral 7B-st kuni võimsa Mistral Large 3-ni. Integratsioon tugineb standardsele AWS SDK-le, boto3. See teeb sellest atraktiivse valiku meeskondadele, kes on juba AWS-i keskkonnas kinnistunud: ei ole vaja levitada täiendavaid müüjate võtmeid, kiita heaks uusi lepinguid ning autentimismudel on teie administraatoritele juba tuttav.
Bedrocki kataloog on Mistrali mudelite jaoks üks ulatuslikumaid. Leiad sealt Mistral Large 3 täiustatud arutluskäigu ja mitmemodaalsete ülesannete jaoks, kergekaalulise Ministral 3B / 8B / 14B seeria, varasemad versioonid nagu Mistral Large 24.07 ja 24.02 (mida sageli hoitakse alles, et vältida häälestatud vihjete riknemist), Mistral Small kiireks ja kuluefektiivseks töötlemiseks, Mixtral 8x7B oma ekspertide segu (Mixture-of-Experts) arhitektuuriga, fundamentaalse avatud kaaludega Mistral 7B mudeli ning Pixtral Large nägemis- ja mitmemodaalsete võimete jaoks. See sügavus võimaldab sul käivitada samas rakenduses odavat mudelit mahuliseks klassifitseerimiseks kõrvuti tippklassi mudeliga delikaatsete kokkuvõtete jaoks.
Eeldused
Enne esimest väljakutset peavad olema täidetud kolm tingimust. Esiteks vajad AWS kontot piirkonnas, mis toetab Bedrocki. Teiseks vajad IAM printsiipaali – kasutajat või rolli –, kellele on antud kaks nõutavat Bedrocki õigust:
bedrock:InvokeModelbedrock:InvokeModelWithResponseStream
Lõpuks peavad Mistrali mudelid olema sinu konkreetse piirkonna jaoks Bedrocki konsoolis lubatud. See viimane samm paneb paljud meeskonnad pahuksisse: sinu IAMi õigused võivad olla veatud, kuid kui mudel ei ole selles piirkonnas, kust seda kutsub, lubatud, jääb see kättesaamatuks. Lubamine toimub piirkonniti, mis seletab tõrkeid üleminekul us-west-2-st teise tsooni.
Tööjaama poolel piirdub paigaldus AWS SDK-ga:
pip install boto3>=1.34.131
Seejärel konfigureeri oma mandaadid nagu tavaliselt:
aws configure
# AWS Access Key ID: your-access-key
# AWS Secret Access Key: your-secret-key
# Default region name: us-west-2
# Default output format: json
Kutsumine Converse API kaudu
Bedrock ühtlustab juurdepääsu erinevatele pakkujatele ühe meetodi taga: converse(). Praktikas kutsub sama kood nii Mistrali mudelit kui ka mis tahes muud mudelit kataloogis; muutub vaid identifikaator. Sõnumi sisu ei ole lihtne string, vaid plokkide loend ja genereerimisseaded on rühmitatud inferenceConfig alla, mitte lapendatud ülemisel tasandil.
import boto3
client = boto3.client("bedrock-runtime", region_name="us-west-2")
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Selgita VPC kontseptsiooni AWS-is 5 punktis."}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
# Vastuse ekstraheerimine
output = response["output"]["message"]["content"][0]["text"]
print(output)
Identifikaatorid järgivad formaati mistral.<mudeli-nimi>-<versioon>:0. Kuna need on versioneeritud, on kõige parem tsentraliseerida need konstandina, mitte kopeerida igasse väljakutsesse:
# Levinud mudelid (versioneeritud identifikaatorid – vaata jooksvat loendit Bedrocki konsoolist)
MODELS = {
"large_3": "mistral.mistral-large-2512-v1:0",
"small": "mistral.mistral-small-2402-v1:0",
"mixtral": "mistral.mixtral-8x7b-instruct-v0:1",
"mistral_7b": "mistral.mistral-7b-instruct-v0:2",
}
Pikkade vastuste korral tagastab converse_stream sündmustevoo, mida saad iteratsiooni teha saabumise käigus. See võimaldab liidesel teksti kuvada selle genereerimise ajal, selle asemel et oodata mitu sekundit külmutatud ekraaniga.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Genereeri täielik juhend Lambda funktsioonide kohta."}]
}
],
inferenceConfig={"maxTokens": 2048}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
text = event["contentBlockDelta"]["delta"].get("text", "")
print(text, end="", flush=True)
Native Mistral SDK ja miks seda siin vältida
Kui eelistad standardset Mistrali klienti, võimaldab adapter suunata selle Bedrocki lõpp-punkti:
import os
from mistralai.client import Mistral
# Konfiguratsioon Bedrocki jaoks
client = Mistral(
api_key=os.environ.get("AWS_SECRET_ACCESS_KEY", ""),
server_url=f"https://bedrock-runtime.us-west-2.amazonaws.com"
)
Siiski on AWS-is soovitatav kasutada lähenemist boto3, kuna see integreerub loomupäraselt IAM-i, CloudWatchi ja teiste AWS-i teenustega. Praktikas annab boto3 valimine sulle automaatse mandaatide rotatsiooni rollide kaudu ja jälgitavuse ilma ühtegi lisakoodirida kirjutamata.
Integratsioon AWS-i ökosüsteemiga
Bedrock saadab mõõdikud automaatselt CloudWatchi: Invocations väljakutsete arvu jaoks, InvocationLatency päringu latentsuse jaoks ning InputTokenCount ja OutputTokenCount tokenite tarbimise jaoks. Saad kulude ja jõudluse armatuurlaua ilma oma rakendust instrumendita. Kiire kontroll käsurealt piisab mahu verifitseerimiseks antud perioodil:
# Kontrolli mõõdikuid AWS CLI kaudu
aws cloudwatch get-metric-statistics \
--namespace "AWS/Bedrock" \
--metric-name "Invocations" \
--start-time 2026-04-01T00:00:00Z \
--end-time 2026-04-03T23:59:59Z \
--period 3600 \
--statistics Sum
AWS pakub ka oma kaitseraudteid (guardrails), mis täiendavad Mistrali omi. Need kinnitatakse väljakutse tasandil, võimaldades rakendada järjepidevat filtreerimispoliitikat kõigile kataloogi mudelitele, sõltumata nende pakkujast:
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[{"role": "user", "content": [{"text": "..."}]}],
guardrailConfig={
"guardrailIdentifier": "my-guardrail-id",
"guardrailVersion": "1"
}
)
Erinevused otsese Mistrali API-ga võrreldes
| Aspekt | Mistral API | AWS Bedrock |
|---|---|---|
| SDK | mistralai | boto3 |
| Autentimine | API võti | IAM (SigV4) |
| API | chat.complete() | converse() |
| Voogedastus | chat.stream() | converse_stream() |
| Jälgimine | Manuaalne | Native CloudWatch |
| Arveldamine | Mistral | AWS |
See tabel selgitab, miks Mistrali API-lt üleviimine ei ole kunagi pelgalt URL-i muutmine: sõnumiformaat, kutsutav meetod ja autentimismehhanism muutuvad kõik korraga. Planeeri oma koodi abstraktsioonikiht, kui kavatsete teenindada mõlemat.
Peamised punktid
- Bedrock kasutab
boto3jaconverse()API-t – mitte standardset Mistrali klienti - Autentimine käib IAM-i kaudu, mitte Mistrali API võtmega
- CloudWatchi mõõdikud saadetakse automaatselt (latentsus, tokenid, väljakutsed)
- Luba mudelid Bedrocki konsoolis enne nende kasutamist
- Bedrocki identifikaatorid on versioneeritud (
mistral.mistral-large-2512-v1:0) ja muutuvad iga generatsiooniga: kontrolli täpset väärtust Bedrocki konsoolis enne kasutuselevõttu - Voogedastus toimub
converse_stream()kaudu sündmustega