AWS Bedrock
Šajā lapā
Mistral pakalpojumā Amazon Bedrock
Amazon Bedrock ir AWS pārvaldītais serviss, kas nodrošina piekļuvi pamatmodeļiem, izmantojot vienotu API. Mistral AI šeit piedāvā pilnu modeļu klāstu — no vieglā Mistral 7B līdz jaudīgajam Mistral Large 3. Integrācija balstās uz standarta AWS SDK boto3. Tas padara Bedrock par pievilcīgu izvēli komandām, kas jau strādā AWS vidē: nav jāapmainās ar papildu piegādātāju atslēgām, nav jāapstiprina jauni līgumi, un autentifikācijas modeli tavi administratori jau pārzina.
Bedrock katalogs ir viens no plašākajiem Mistral modeļiem. Tajā atradīsi Mistral Large 3 sarežģītai spriešanai un multivides uzdevumiem, vieglo Ministral 3B / 8B / 14B līniju, agrākas versijas, piemēram, Mistral Large 24.07 un 24.02 (ko bieži saglabā, lai nesabojātu kalibrētus uzvednes), Mistral Small ātrai un izdevīgai apstrādei, Mixtral 8x7B ar tā ekspertu sajaukuma (Mixture-of-Experts) arhitektūru, fundamentālo atvērtā svara Mistral 7B modeli un Pixtral Large redzes un multivides iespējām. Šī dziļums ļauj vienā lietotnē vienlaikus izmantot lētu modeli masveida klasifikācijai un augstas klases modeli smalku kopsavilkumu veidošanai.
Priekšnosacījumi
Pirms pirmā izsaukuma ir jāizpilda trīs nosacījumi. Pirmkārt, tev ir nepieciešams AWS konts reģionā, kas atbalsta Bedrock. Otrkārt, tev ir nepieciešams IAM princips (lietotājs vai loma), kam piešķirtas divas nepieciešamās Bedrock atļaujas:
bedrock:InvokeModelbedrock:InvokeModelWithResponseStream
Visbeidzot, Mistral modeļiem ir jābūt aktivizētiem Bedrock konsolei tavā konkrētajā reģionā. Šis pēdējais solis daudzas komandas pārsteidz nesagatavotas: tavas IAM atļaujas var būt ideālas, taču, ja models nav aktivizēts reģionā, uz kuru veic izsaukumu, tas paliek nepieejams. Aktivizēšana notiek pa reģioniem, kas izskaidro kļūmes, pārejot no us-west-2 uz citu zonu.
Darbstacijas pusē instalēšana aprobežojas tikai ar AWS SDK:
pip install boto3>=1.34.131
Tad konfigurē savus akreditācijas datus kā parasti:
aws configure
# AWS Access Key ID: your-access-key
# AWS Secret Access Key: your-secret-key
# Default region name: us-west-2
# Default output format: json
Izsaukums, izmantojot Converse API
Bedrock apvieno piekļuvi dažādiem piegādātājiem aiz vienas metodes: converse(). Praksē viens un tas pats kods izsauc Mistral modeli vai jebkuru citu kataloga modeli; mainās tikai identifikators. Ziņojuma saturs nav vienkārša virkne, bet gan bloku saraksts, un ģenerēšanas iestatījumi ir sagrupēti zem inferenceConfig, nevis izklāti augšējā līmenī.
import boto3
client = boto3.client("bedrock-runtime", region_name="us-west-2")
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Explain the concept of a VPC in AWS in 5 points."}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
# Izgūst atbildi
output = response["output"]["message"]["content"][0]["text"]
print(output)
Identifikatori seko formātam mistral.<model-name>-<version>:0. Tā kā tie ir versijoti, vislabāk tos centralizēt konstantē, nevis kopēt katrā izsaukumā:
# Parastie modeļi (versijoti identifikatori — pārbaudi aktuālo sarakstu Bedrock konsole)
MODELS = {
"large_3": "mistral.mistral-large-2512-v1:0",
"small": "mistral.mistral-small-2402-v1:0",
"mixtral": "mistral.mixtral-8x7b-instruct-v0:1",
"mistral_7b": "mistral.mistral-7b-instruct-v0:2",
}
Garām atbildēm converse_stream atgriež notikumu plūsmu, ko iterē, tiklīdz tā pienāk. Tas ļauj saskarnei attēlot tekstu tā ģenerēšanas laikā, nevis gaidīt vairākas sekundes ar iesalušu ekrānu.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Generate a complete guide on Lambda functions."}]
}
],
inferenceConfig={"maxTokens": 2048}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
text = event["contentBlockDelta"]["delta"].get("text", "")
print(text, end="", flush=True)
Natīvais Mistral SDK un kāpēc no tā šeit izvairīties
Ja dod priekšroku standarta Mistral klientam, adapters ļauj to norādīt uz Bedrock galapunktu:
import os
from mistralai.client import Mistral
# Konfigurācija priekš Bedrock
client = Mistral(
api_key=os.environ.get("AWS_SECRET_ACCESS_KEY", ""),
server_url=f"https://bedrock-runtime.us-west-2.amazonaws.com"
)
Tomēr AWS vidē ir ieteicama pieeja ar boto3, jo tā dabiski integrējas ar IAM, CloudWatch un citiem AWS servisiem. Praksē boto3 izvēle nodrošina automātisku akreditācijas datu rotāciju, izmantojot lomas, un novērojamību, nerakstot nevienu papildu koda rindiņu.
Integrācija ar AWS ekosistēmu
Bedrock automātiski nosūta metrikas uz CloudWatch: Invocations izsaukumu skaitam, InvocationLatency pieprasījumu latentumam un InputTokenCount un OutputTokenCount tokena patēriņam. Tu iegūsti izmaksu un veiktspējas informācijas paneli, neinstrumentējot savu lietotni. Ātra pārbaude no komandrindas ir pietiekama, lai pārbaudītu apjomu konkrētā periodā:
# Pārbaudi metrikas, izmantojot AWS CLI
aws cloudwatch get-metric-statistics \
--namespace "AWS/Bedrock" \
--metric-name "Invocations" \
--start-time 2026-04-01T00:00:00Z \
--end-time 2026-04-03T23:59:59Z \
--period 3600 \
--statistics Sum
AWS piedāvā arī savus aizsargmehānismus (guardrails), kas papildina Mistral piedāvātos. Tie tiek pievienoti izsaukuma līmenī, ļaujot piemērot konsekventu filtrēšanas politiku visiem kataloga modeļiem neatkarīgi no to piegādātāja:
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[{"role": "user", "content": [{"text": "..."}]}],
guardrailConfig={
"guardrailIdentifier": "my-guardrail-id",
"guardrailVersion": "1"
}
)
Atšķirības no tiešās Mistral API
| Aspekts | Mistral API | AWS Bedrock |
|---|---|---|
| SDK | mistralai | boto3 |
| Autentifikācija | API atslēga | IAM (SigV4) |
| API | chat.complete() | converse() |
| Straumēšana | chat.stream() | converse_stream() |
| Monitorings | Manuāls | Natīvs CloudWatch |
| Rēķinu izrakstīšana | Mistral | AWS |
Šī tabula izskaidro, kāpēc pāreja no Mistral API nekad nav tikai URL maiņa: ziņojuma formāts, izsauktā metode un autentifikācijas mehānisms mainās vienlaicīgi. Ja plāno apkalpot abus, paredz abstrakcijas slāni savā kodā.
Galvenās atziņas
- Bedrock izmanto
boto3unconverse()API, nevis standarta Mistral klientu - Autentifikācija notiek caur IAM, nevis Mistral API atslēgu
- CloudWatch metrikas tiek sūtītas automātiski (latentums, tokeni, izsaukumi)
- Pirms lietošanas aktivizē modeļus Bedrock konsole
- Bedrock identifikatori ir versijoti (
mistral.mistral-large-2512-v1:0) un mainās ar katru paaudzi: pirms izvēršanas pārbaudi precīzo vērtību Bedrock konsole - Straumēšana notiek caur
converse_stream()ar notikumiem