AWS Bedrock
На тази страница
Mistral в Amazon Bedrock
Amazon Bedrock е управлявана услуга на AWS за достъп до фундаментални модели чрез единен API. Mistral AI предлага тук пълен набор модели – от лекия Mistral 7B до мощния Mistral Large 3. Интеграцията разчита на стандартния AWS SDK, boto3. Това я прави привлекателен избор за екипи, вече установени в екосистемата на AWS: няма нужда от разпространение на допълнителни ключове за достъп до външни доставчици, няма нови договори за одобряване, а моделът за автентикация е вече познат на Вашите администратори.
Каталогът на Bedrock е един от най-обемните за модели на Mistral. В него ще откриете Mistral Large 3 за сложни логически задачи и мултимодална обработка, леката гама Ministral 3B / 8B / 14B, по-ранни версии като Mistral Large 24.07 и 24.02 (често запазвани, за да не се нарушат калибрирани промптове), Mistral Small за бърза и икономична обработка, Mixtral 8x7B с неговата архитектура Mixture-of-Experts, базовия модел с отворени тегла Mistral 7B, както и Pixtral Large за визуални и мултимодални възможности. Тази дълбочина Ви позволява да използвате евтин модел за масова класификация успоредно с високоефективен модел за деликатни обобщения в рамките на едно и също приложение.
Предварителни изисквания
Преди първото си извикване трябва да изпълните три условия. Първо, имате нужда от AWS акаунт в регион, който поддържа Bedrock. Второ, имате нужда от IAM принципал (потребител или роля), на който са предоставени две задължителни разрешения за Bedrock:
bedrock:InvokeModelbedrock:InvokeModelWithResponseStream
Накрая, моделите на Mistral трябва да бъдат активирани в конзолата на Bedrock за Вашия конкретен регион. Този последен етап често изненадва екипите: Вашите IAM разрешения може да са перфектни, но ако моделът не е активиран в региона, към който се обръщате, той остава недостъпен. Активирането става регион по регион, което обяснява грешките при преминаване от us-west-2 към друга зона.
От страна на работната станция инсталацията се ограничава до AWS SDK:
pip install boto3>=1.34.131
След това конфигурирайте Вашите удостоверителни данни както обикновено:
aws configure
# AWS Access Key ID: your-access-key
# AWS Secret Access Key: your-secret-key
# Default region name: us-west-2
# Default output format: json
Извикване чрез Converse API
Bedrock унифицира достъпа до различни доставчици зад един-единствен метод: converse(). На практика един и същ код извиква модел на Mistral или който и да е друг модел от каталога; променя се само идентификаторът. Съдържанието на съобщенията не е обикновен низ, а списък от блокове, а настройките за генериране са групирани под inferenceConfig, вместо да са разпръснати на най-горно ниво.
import boto3
client = boto3.client("bedrock-runtime", region_name="us-west-2")
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Explain the concept of a VPC in AWS in 5 points."}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
# Extract the response
output = response["output"]["message"]["content"][0]["text"]
print(output)
Идентификаторите следват формата mistral.<model-name>-<version>:0. Тъй като те са версионирани, най-добре е да ги централизирате в константа, вместо да ги копирате във всяко извикване:
# Common models (versioned identifiers — check the Bedrock console for the current list)
MODELS = {
"large_3": "mistral.mistral-large-2512-v1:0",
"small": "mistral.mistral-small-2402-v1:0",
"mixtral": "mistral.mixtral-8x7b-instruct-v0:1",
"mistral_7b": "mistral.mistral-7b-instruct-v0:2",
}
За дълги отговори converse_stream връща поток от събития, през които можете да итерирате, докато те пристигат. Това позволява на интерфейса да показва текста, докато той се генерира, вместо потребителят да чака няколко секунди със замръзнал екран.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Generate a complete guide on Lambda functions."}]
}
],
inferenceConfig={"maxTokens": 2048}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
text = event["contentBlockDelta"]["delta"].get("text", "")
print(text, end="", flush=True)
Нативният SDK на Mistral и защо да го избягвате тук
Ако предпочитате стандартния клиент на Mistral, адаптер Ви позволява да го насочите към крайната точка на Bedrock:
import os
from mistralai.client import Mistral
# Configuration for Bedrock
client = Mistral(
api_key=os.environ.get("AWS_SECRET_ACCESS_KEY", ""),
server_url=f"https://bedrock-runtime.us-west-2.amazonaws.com"
)
Въпреки това, подходът с boto3 се препоръчва в средата на AWS, защото се интегрира нативно с IAM, CloudWatch и други услуги на AWS. На практика изборът на boto3 Ви осигурява автоматична ротация на удостоверителни данни чрез роли и наблюдаемост, без да пишете нито един ред допълнителен код.
Интеграция с екосистемата на AWS
Bedrock автоматично изпраща метрики към CloudWatch: Invocations за брой извиквания, InvocationLatency за латентност на заявките, както и InputTokenCount и OutputTokenCount за консумация на токени. Получавате таблото за разходи и производителност без да инструментирате приложението си. Бърза проверка от командния ред е достатъчна, за да验证ите обема за даден период:
# Check metrics via AWS CLI
aws cloudwatch get-metric-statistics \
--namespace "AWS/Bedrock" \
--metric-name "Invocations" \
--start-time 2026-04-01T00:00:00Z \
--end-time 2026-04-03T23:59:59Z \
--period 3600 \
--statistics Sum
AWS предлага и собствени предпазни механизми (guardrails), които допълват тези на Mistral. Те се прикачват на ниво извикване, позволявайки Ви да приложите последователна политика за филтриране върху всички модели в каталога, независимо от техния доставчик:
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[{"role": "user", "content": [{"text": "..."}]}],
guardrailConfig={
"guardrailIdentifier": "my-guardrail-id",
"guardrailVersion": "1"
}
)
Разлики спрямо директния API на Mistral
| Аспект | Mistral API | AWS Bedrock |
|---|---|---|
| SDK | mistralai | boto3 |
| Автентикация | API ключ | IAM (SigV4) |
| API | chat.complete() | converse() |
| Стрийминг | chat.stream() | converse_stream() |
| Мониторинг | Ръчен | Нативен CloudWatch |
| Таксуване | Mistral | AWS |
Тази таблица обяснява защо пренасянето от API на Mistral никога не е просто промяна на URL адреса: форматът на съобщенията, извикваният метод и механизмът за автентикация се променят едновременно. Планирайте слой за абстракция във Вашия код, ако възнамерявате да обслужвате и двете среди.
Ключови изводи
- Bedrock използва
boto3и API методаconverse()– не стандартния клиент на Mistral - Автентикацията минава през IAM, а не чрез API ключ на Mistral
- Метриките в CloudWatch се изпращат автоматично (латентност, токени, извиквания)
- Активирайте моделите в конзолата на Bedrock, преди да ги използвате
- Идентификаторите на Bedrock са версионирани (
mistral.mistral-large-2512-v1:0) и се променят с всяко поколение: проверете точната стойност в конзолата на Bedrock преди деплой - Стриймингът се осъществява чрез
converse_stream()със събития