AWS Bedrock и други доставчици на облачни услуги
На тази страница
Облачната екосистема на Mistral
Освен Azure и Google Cloud, моделите на Mistral са достъпни и на няколко други платформи. Този урок разглежда подробно AWS Bedrock, тъй като това е най-честата алтернатива и се различава най-много от наученото до момента. След това накратко ще обсъдим интеграциите със Snowflake Cortex, IBM watsonx и Outscale.
AWS Bedrock
Amazon Bedrock е управляваната услуга на AWS за фундаментални модели. Тя предоставя унифициран API пред множество доставчици – Anthropic, Meta, Mistral и други – като се грижи за фактурирането, сигурността и съответствието чрез AWS. За екипи, които вече използват AWS, това означава, че моделите на Mistral работят в същия обхват на IAM, използват същите дневници на CloudWatch и се появяват във същата фактура като останалата ви инфраструктура.
Що се отнася до каталога, Bedrock осигурява достъп до следните модели. Точният списък зависи от вашия регион и се променя с нови версии; страницата „Model Access“ в конзолата е източникът на истината.
| Модел | Позициониране |
|---|---|
| Mistral Large 3 | Флагмански модел (предишни версии на Mistral Large остават достъпни) |
| Mistral Small | Бърз и икономичен |
| Ministral (3B, 8B, 14B) | Компактни модели |
| Mixtral 8x7B | Модел с експерти от смесен тип (Mixture-of-experts) |
| Pixtral Large | Мултимодален (текст + изображения) |
Подготовка на достъпа
Преди да направите първото си заявка, трябва да изпълните четири условия:
- Акаунт в AWS с достъп до регион, който поддържа Bedrock
- IAM принципал с разрешения
bedrock:InvokeModelиbedrock:InvokeModelWithResponseStream - AWS CLI конфигуриран и boto3 инсталиран
- Активиране на моделите на Mistral в конзолата на Bedrock (Model Access)
pip install boto3>=1.34.131
aws configure # Въведете вашите удостоверителни данни
Второто разрешение е това, което хората често забравят: принципал само с bedrock:InvokeModel работи в синхронен режим, но се проваля при първия стрийминг повикване. Стъпка 4 е подобна на активирането на модели в Model Garden на Google: докато не отключите модела в Model Access, никакво IAM разрешение няма да проработи.
Извикване на модел с boto3
Ето основната разлика спрямо Azure и Vertex: в Bedrock не използвате SDK на Mistral. Всичко минава през родния AWS SDK, boto3, използвайки API метода converse(), общ за всички доставчици на платформата.
import boto3
import json
client = boto3.client('bedrock-runtime', region_name='us-west-2')
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "What are the advantages of a serverless architecture on AWS?"}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
texte = response["output"]["message"]["content"][0]["text"]
print(texte)
Стриймингът следва същата логика, използвайки converse_stream() и цикъл през събитията на потока. Обърнете внимание, че трябва да проверите за ключа contentBlockDelta: потокът на Bedrock също носи събития за начало и край на блока, които не съдържат текст.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Describe the Lambda + API Gateway architecture."}]
}
],
inferenceConfig={"temperature": 0.3, "maxTokens": 1024}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
texte = event["contentBlockDelta"]["delta"].get("text", "")
print(texte, end="", flush=True)
Ако пренасяте код, написан за директния API на Mistral, очаквайте четири разлики. Първо, content вече не е низ, а масив от обекти {"text": "..."}. Второ, modelId следва формата на AWS mistral.{model}-v{version}:{number}: за разлика от псевдонимите -latest в директния API, вие фиксирате конкретна версия и трябва да я актуализирате ръчно. Трето, параметрите за извод са групирани в отделен обект inferenceConfig, вместо да се предават на най-горно ниво. Накрая, няма участие на SDK на Mistral: отговорите са речници на boto3, а не типизирани модели, оттук и достъпът базиран на ключове, показан по-горе.
Snowflake Cortex
Snowflake интегрира моделите на Mistral, включително Mistral Large, директно в своята платформа за данни чрез Cortex AI. Основното предимство е просто: вашите данни никога не напускат Snowflake. Извикването на модела става SQL функция, invoked вътре в заявка, точно до таблицата, която искате да обогатите.
-- Директно използване в SQL заявка
SELECT SNOWFLAKE.CORTEX.COMPLETE(
'mistral-large',
'Summarize this financial report in three key points.'
) AS resume;
Представете си таблица с хиляди отчети: вместо да изнасяте съдържанието в Python скрипт, да извиквате API и да импортирате отново резултатите, вие пишете заявка, която директно произвежда колоната с обобщението. Това е очевидният избор, когато вашият конвейер за данни вече живее в Snowflake и правилата за управление забраняват всякакво изнасяне на данни.
IBM watsonx
IBM watsonx.ai предлага модели на Mistral, включително Mistral Large, в своя каталог. Достъпът става чрез watsonx API, използвайки удостоверителни данни на IBM Cloud: инстанцирате обект ModelInference, предавайки ID на модела, вашите удостоверителни данни и целевия проект. Обърнете внимание на регионалния URL в примера – той определя къде се изпълнява изводът, детайл, който трябва да проверите, ако имате изисквания за местоположение на данните.
from ibm_watsonx_ai import Credentials
from ibm_watsonx_ai.foundation_models import ModelInference
model = ModelInference(
model_id="mistralai/mistral-large",
credentials=Credentials(url="https://eu-de.ml.cloud.ibm.com", api_key="..."),
project_id="your-project-id"
)
response = model.generate_text("Explain the data mesh concept.")
Outscale, френският суверенен облак
Outscale, френски суверенен облак, квалифициран като SecNumCloud, също предлага модели на Mistral. За организации от публичния сектор, отбраната или здравеопазването, подлежащи на строги регулаторни ограничения, тази опция гарантира, че както данните, така и обработката остават във Франция. В тези контексти това е единственият критерий, който има значение: квалификацията има предимство пред удобството на интеграцията или опита на разработчика.
Избор на правилния доставчик
Изборът почти никога не зависи от самите модели, тъй като едни и същи са широко достъпни във всички платформи. Той зависи от това къде се намират вашите данни, вашия договор и вашите задължения за съответствие.
| Доставчик | Кога да го изберете |
|---|---|
| Директен API на Mistral | Най-прост, всички модели налични, идеален за начало |
| Azure AI | Ако вече сте в Azure, консолидирано фактуриране |
| Google Vertex AI | Ако сте в GCP, автентикация чрез роден IAM |
| AWS Bedrock | Ако сте в AWS, интеграция с екосистемата на AWS |
| Snowflake Cortex | Ако вашите данни са в Snowflake |
| Outscale | Ако имате изисквания за френски суверенитет |
Полезно правило за ориентир: започнете с директния API, за да валидирате, че моделът отговаря на вашите нужди, след което мигрирайте към доставчика на вашата екосистема, когато проектът премине в продукция. Кодът на приложението се променя малко; по-голямата част от работата включва автентикация и именуване на моделите.
Проверка преди внедряване
ID-тата на моделите при облачните доставчици са версионирани и се променят с всяко поколение (например mistral.mistral-large-2512-v1:0 в Bedrock). Преди да свържете внедряване, проверете точната стойност в конзолата на доставчика: тя е източникът на истината и остаряло ID води до грешка в достъпа, която е трудна за диагностициране.
Ключови изводи
- AWS Bedrock използва boto3 и API метода
converse()– не SDK на Mistral - Форматът на съобщенията в Bedrock се различава леко (съдържанието като масив от обекти)
- Snowflake Cortex интегрира Mistral директно в SQL заявки
- IBM watsonx и Outscale предлагат алтернативи за специфични нужди
- Изберете вашия доставчик въз основа на съществуващата ви облачна екосистема и регулаторни ограничения