AWS Bedrock
Na tej stronie
Mistral na Amazon Bedrock
Amazon Bedrock to zarządzana usługa AWS umożliwiająca dostęp do modeli podstawowych poprzez zunifikowane API. Mistral AI oferuje tutaj pełną gamę modeli, od lekkiego Mistral 7B po potężny Mistral Large 3. Integracja opiera się na standardowym SDK AWS, boto3. czyni to atrakcyjną opcją dla zespołów już działających w środowisku AWS: nie trzeba rozpowszechniać dodatkowych kluczy dostawcy, zawierać nowych umów, a model uwierzytelniania jest już znany Twoim administratorom.
Katalog Bedrock oferuje jeden z najszerszych wyborów modeli Mistral. Znajdziesz tam Mistral Large 3 do zaawansowanego rozumowania i zadań wielomodalnych, lekką linię Ministral 3B / 8B / 14B, wcześniejsze wersje takie jak Mistral Large 24.07 i 24.02 (często utrzymywane, aby nie łamać skalibrowanych promptów), Mistral Small do szybkiego i kosztowo efektywnego przetwarzania, Mixtral 8x7B z architekturą Mixture-of-Experts, podstawowy model open-weight Mistral 7B oraz Pixtral Large do zadań wizyjnych i wielomodalnych. Ta głębia pozwala uruchamiać tani model do masowej klasyfikacji obok modelu wysokiej klasy do delikatnych podsumowań w ramach tej samej aplikacji.
Wymagania wstępne
Przed pierwszym wywołaniem muszą zostać spełnione trzy warunki. Po pierwsze, potrzebujesz konta AWS w regionie obsługującym Bedrock. Po drugie, potrzebujesz podmiotu IAM (użytkownika lub roli) z nadanymi dwoma wymaganymi uprawnieniami Bedrock:
bedrock:InvokeModelbedrock:InvokeModelWithResponseStream
Na koniec modele Mistral muszą zostać aktywowane w konsoli Bedrock dla Twojego konkretnego regionu. Ten ostatni krok często zaskakuje zespoły: Twoje uprawnienia IAM mogą być idealne, ale jeśli model nie jest aktywowany w regionie, z którego wywołujesz API, pozostaje niedostępny. Aktywacja odbywa się region po regionie, co wyjaśnia błędy pojawiające się po przełączeniu z us-west-2 na inną strefę.
Po stronie stacji roboczej instalacja ogranicza się do SDK AWS:
pip install boto3>=1.34.131
Następnie skonfiguruj swoje poświadczenia jak zwykle:
aws configure
# AWS Access Key ID: your-access-key
# AWS Secret Access Key: your-secret-key
# Default region name: us-west-2
# Default output format: json
Wywołanie przez API Converse
Bedrock ujednolica dostęp do różnych dostawców za pomocą jednej metody: converse(). W praktyce ten sam kod wywołuje model Mistral lub dowolny inny model z katalogu; zmienia się tylko identyfikator. Zawartość wiadomości nie jest prostym ciągiem znaków, lecz listą bloków, a ustawienia generowania są zgrupowane pod inferenceConfig, a nie spłaszczone na najwyższym poziomie.
import boto3
client = boto3.client("bedrock-runtime", region_name="us-west-2")
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Explain the concept of a VPC in AWS in 5 points."}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
# Extract the response
output = response["output"]["message"]["content"][0]["text"]
print(output)
Identyfikatory遵循ują format mistral.<model-name>-<version>:0. Ponieważ są one wersjonowane, najlepiej scentralizować je w stałej, zamiast kopiować przy każdym wywołaniu:
# Common models (versioned identifiers — check the Bedrock console for the current list)
MODELS = {
"large_3": "mistral.mistral-large-2512-v1:0",
"small": "mistral.mistral-small-2402-v1:0",
"mixtral": "mistral.mixtral-8x7b-instruct-v0:1",
"mistral_7b": "mistral.mistral-7b-instruct-v0:2",
}
W przypadku długich odpowiedzi, converse_stream zwraca strumień zdarzeń, który iterujesz w miarę ich napływania. Pozwala to interfejsowi wyświetlać tekst podczas jego generowania, zamiast czekać kilka sekund z zablokowanym ekranem.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Generate a complete guide on Lambda functions."}]
}
],
inferenceConfig={"maxTokens": 2048}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
text = event["contentBlockDelta"]["delta"].get("text", "")
print(text, end="", flush=True)
Natywne SDK Mistral i dlaczego warto go tu unikać
Jeśli preferujesz standardowego klienta Mistral, adapter pozwala skierować go do punktu końcowego Bedrock:
import os
from mistralai.client import Mistral
# Configuration for Bedrock
client = Mistral(
api_key=os.environ.get("AWS_SECRET_ACCESS_KEY", ""),
server_url=f"https://bedrock-runtime.us-west-2.amazonaws.com"
)
Jednak podejście oparte na boto3 jest zalecane w środowisku AWS, ponieważ integruje się natywnie z IAM, CloudWatch i innymi usługami AWS. W praktyce wybór boto3 daje Ci automatyczne rotowanie poświadczeń poprzez role oraz obserwacyjność bez pisania ani jednej dodatkowej linii kodu.
Integracja z ekosystemem AWS
Bedrock automatycznie wysyła metryki do CloudWatch: Invocations dla liczby wywołań, InvocationLatency dla opóźnienia żądań oraz InputTokenCount i OutputTokenCount dla zużycia tokenów. Otrzymujesz pulpit nawigacyjny kosztów i wydajności bez konieczności instrumentowania aplikacji. Szybkie sprawdzenie z wiersza poleceń wystarczy, aby zweryfikować wolumen dla danego okresu:
# Check metrics via AWS CLI
aws cloudwatch get-metric-statistics \
--namespace "AWS/Bedrock" \
--metric-name "Invocations" \
--start-time 2026-04-01T00:00:00Z \
--end-time 2026-04-03T23:59:59Z \
--period 3600 \
--statistics Sum
AWS oferuje również własne mechanizmy ochronne (guardrails), które uzupełniają te od Mistral. Dołączane są na poziomie wywołania, pozwalając zastosować spójną politykę filtrowania dla wszystkich modeli w katalogu, niezależnie od ich dostawcy:
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[{"role": "user", "content": [{"text": "..."}]}],
guardrailConfig={
"guardrailIdentifier": "my-guardrail-id",
"guardrailVersion": "1"
}
)
Różnice w stosunku do bezpośredniego API Mistral
| Aspekt | API Mistral | AWS Bedrock |
|---|---|---|
| SDK | mistralai | boto3 |
| Auth | Klucz API | IAM (SigV4) |
| API | chat.complete() | converse() |
| Streaming | chat.stream() | converse_stream() |
| Monitoring | Ręczny | Natywny CloudWatch |
| Rozliczenia | Mistral | AWS |
Tabela ta wyjaśnia, dlaczego przenoszenie się z API Mistral nigdy nie jest tylko zmianą URL-a: format wiadomości, wywoływana metoda i mechanizm uwierzytelniania zmieniają się jednocześnie. Zaplanuj warstwę abstrakcji w swoim kodzie, jeśli zamierzasz obsługiwać oba środowiska.
Kluczowe wnioski
- Bedrock używa
boto3i APIconverse()– nie standardowego klienta Mistral - Uwierzytelnianie odbywa się przez IAM, a nie klucz API Mistral
- Metryki CloudWatch są wysyłane automatycznie (opóźnienie, tokeny, wywołania)
- Aktywuj modele w konsoli Bedrock przed ich użyciem
- Identyfikatory Bedrock są wersjonowane (
mistral.mistral-large-2512-v1:0) i zmieniają się z każdą generacją: zweryfikuj dokładną wartość w konsoli Bedrock przed wdrożeniem - Streaming odbywa się przez
converse_stream()ze zdarzeniami