AWS Bedrock a další poskytovatelé cloudu
Na této stránce
Ekosystém cloudu Mistral
Kromě Azure a Google Cloud jsou modely Mistral dostupné na několika dalších platformách. Tato lekce se podrobně věnuje službě AWS Bedrock, protože jde o nejčastější alternativu, která se nejvíce liší od toho, co jsi se zatím naučil. Následně stručně probíráme integrace se Snowflake Cortex, IBM watsonx a Outscale.
AWS Bedrock
Amazon Bedrock je spravovaná služba AWS pro základní modely. Poskytuje jednotné API před různými poskytovateli – Anthropic, Meta, Mistral a dalšími – a řeší fakturaci, zabezpečení i soulad s předpisy prostřednictvím AWS. Pro týmy, které již využívají AWS, to znamená, že modely Mistral fungují ve stejném rozsahu IAM, využívají stejné logy CloudWatch a objevují se na stejné faktuře jako zbytek vaší infrastruktury.
Pokud jde o katalog, Bedrock poskytuje přístup k následujícím modelům. Přesný seznam závisí na vašem regionu a mění se s novými vydáními; stránka Model Access v konzoli je směrodatným zdrojem.
| Model | Umístění |
|---|---|
| Mistral Large 3 | Vlajková loď (předchozí verze Mistral Large zůstávají dostupné) |
| Mistral Small | Rychlý a nákladově efektivní |
| Ministral (3B, 8B, 14B) | Kompaktní modely |
| Mixtral 8x7B | Model typu mixture-of-experts |
| Pixtral Large | Multimodální (text + obrázky) |
Příprava přístupu
Než provedeš první volání, musíš splnit čtyři podmínky:
- Účet AWS s přístupem do regionu, který podporuje Bedrock
- Identitu IAM s oprávněními
bedrock:InvokeModelabedrock:InvokeModelWithResponseStream - Nakonfigurované AWS CLI a nainstalované boto3
- Povolení modelů Mistral v konzoli Bedrock (Model Access)
pip install boto3>=1.34.131
aws configure # Zadej své pověření
Druhé oprávnění je to, na které lidé často zapomínají: identita pouze s bedrock:InvokeModel funguje v synchronním režimu, ale při prvním streamovaném volání selže. Krok 4 je podobný povolování modelů v Google Model Garden: dokud model neodemyknete v sekci Model Access, žádné oprávnění IAM nefunguje.
Volání modelu pomocí boto3
Zde je hlavní rozdíl oproti Azure a Vertex: na Bedrocku nepoužíváš SDK Mistral. Všechno probíhá přes nativní SDK AWS, boto3, pomocí API converse(), které je společné pro všechny poskytovatele na této platformě.
import boto3
import json
client = boto3.client('bedrock-runtime', region_name='us-west-2')
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "What are the advantages of a serverless architecture on AWS?"}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
texte = response["output"]["message"]["content"][0]["text"]
print(texte)
Streaming funguje na stejném principu, využívá converse_stream() a iteruje přes události streamu. Všimni si, že musíš kontrolovat klíč contentBlockDelta: stream Bedrocku také přenáší události začátku a konce bloku, které žádný text neobsahují.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Describe the Lambda + API Gateway architecture."}]
}
],
inferenceConfig={"temperature": 0.3, "maxTokens": 1024}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
texte = event["contentBlockDelta"]["delta"].get("text", "")
print(texte, end="", flush=True)
Pokud převádíš kód napsaný pro přímé API Mistral, očekávej čtyři rozdíly. Zaprvé, content již není řetězec, ale pole objektů {"text": "..."}. Zadruhé, modelId následuje formát AWS mistral.{model}-v{version}:{number}: na rozdíl od aliasů -latest v přímém API připínáš konkrétní verzi a musíš ji ručně aktualizovat. Zatřetí, parametry inferencí jsou seskupeny v samostatném objektu inferenceConfig místo toho, aby byly předávány na nejvyšší úrovni. A konečně, není zapojeno žádné SDK Mistral: odpovědi jsou slovníky boto3, nikoli typované modely, proto výše uvedený přístup založený na klíčích.
Snowflake Cortex
Snowflake integruje modely Mistral, včetně Mistral Large, přímo do své datové platformy prostřednictvím Cortex AI. Hlavní výhodou je jednoduchost: vaše data nikdy neopustí Snowflake. Volání modelu se stává SQL funkcí vyvolanou uvnitř dotazu, přímo vedle tabulky, kterou chceš obohatit.
-- Přímé použití v SQL dotazu
SELECT SNOWFLAKE.CORTEX.COMPLETE(
'mistral-large',
'Summarize this financial report in three key points.'
) AS resume;
Představ si tabulku s tisíci reporty: místo exportu obsahu do Python skriptu, volání API a opětovného importu výsledků napíšeš dotaz, který přímo vytvoří sloupec se shrnutím. To je zřejmá volba, když vaše datové pipeline již běží ve Snowflake a pravidla správy zakazují jakýkoli výstup dat.
IBM watsonx
IBM watsonx.ai nabízí modely Mistral, včetně Mistral Large, ve svém katalogu. Přístup probíhá přes watsonx API pomocí pověření IBM Cloud: vytvoříš objekt ModelInference, předáš ID modelu, své pověření a cílový projekt. Všimni si regionální URL v příkladu – určuje, kde inference probíhá, což je detail, který je třeba ověřit, pokud máš požadavky na lokalitu dat.
from ibm_watsonx_ai import Credentials
from ibm_watsonx_ai.foundation_models import ModelInference
model = ModelInference(
model_id="mistralai/mistral-large",
credentials=Credentials(url="https://eu-de.ml.cloud.ibm.com", api_key="..."),
project_id="your-project-id"
)
response = model.generate_text("Explain the data mesh concept.")
Outscale, francouzský suverénní cloud
Outscale, francouzský suverénní cloud s certifikací SecNumCloud, také nabízí modely Mistral. Pro organizace veřejného sektoru, obrany nebo zdravotnictví, které podléhají přísným regulačním omezením, tato možnost zaručuje, že data i zpracování zůstanou ve Francii. V těchto kontextech je to jediné kritérium, na kterém záleží: certifikace má přednost před pohodlím integrace nebo zkušenostmi vývojářů.
Výběr správného poskytovatele
Volba téměř nikdy nezávisí na samotných modelech, protože stejné jsou široce dostupné napříč platformami. Závisí na tom, kde tvoje data sídlí, na tvé smlouvě a na povinnostech týkajících se souladu s předpisy.
| Poskytovatel | Kdy jej vybrat |
|---|---|
| Přímé API Mistral | Nejjednodušší, všechny modely dostupné, ideální pro začátek |
| Azure AI | Pokud již používáš Azure, konsolidovaná fakturace |
| Google Vertex AI | Pokud používáš GCP, nativní ověřování IAM |
| AWS Bedrock | Pokud používáš AWS, integrace s ekosystémem AWS |
| Snowflake Cortex | Pokud jsou tvoje data ve Snowflake |
| Outscale | Pokud máš požadavky na francouzskou suverenitu |
Užitečné pravidlo: začni s přímým API, abys ověřil, že model splňuje tvé potřeby, a poté při přesunu projektu do produkce migruj na poskytovatele svého ekosystému. Kód aplikace se mění jen málo; většina práce spočívá v ověřování a pojmenování modelů.
Kontrola před nasazením
ID modelů poskytovatelů cloudu jsou verzována a mění se s každou generací (například mistral.mistral-large-2512-v1:0 na Bedrocku). Před propojením nasazení ověř přesnou hodnotu v konzoli poskytovatele: je to směrodatný zdroj a zastaralé ID způsobí chybu přístupu, kterou je těžké diagnostikovat.
Klíčové poznatky
- AWS Bedrock využívá boto3 a API
converse()– nikoli SDK Mistral - Formát zpráv Bedrocku se mírně liší (content jako pole objektů)
- Snowflake Cortex integruje Mistral přímo do SQL dotazů
- IBM watsonx a Outscale nabízejí alternativy pro specifické potřeby
- Vyber si poskytovatele na základě svého stávajícího cloudového ekosystému a regulačních omezení