AWS Bedrock a ďalší poskytovatelia cloudu
Na tejto strane
Cloudový ekosystém Mistral
Okrem Azure a Google Cloud sú modely Mistral dostupné aj na niekoľkých ďalších platformách. Táto lekcia sa podrobne zameriava na AWS Bedrock, pretože ide o najbežnejšiu alternatívu, ktorá sa najviac líši od toho, čo si sa doteraz naučil. Následne stručne preberieme integrácie so Snowflake Cortex, IBM watsonx a Outscale.
AWS Bedrock
Amazon Bedrock je spravovaná služba AWS pre základné modely (foundation models). Poskytuje jednotné API pred viacerými poskytovateľmi – Anthropic, Meta, Mistral a ďalšími – pričom cez AWS rieši fakturáciu, bezpečnosť aj dodržiavanie predpisov. Pre tímy, ktoré už využívajú AWS, to znamená, že modely Mistral fungujú v rámci rovnakého rozsahu IAM, využívajú rovnaké logy CloudWatch a objavujú sa na rovnakej faktúre ako zvyšok vašej infraštruktúry.
Pokiaľ ide o katalóg, Bedrock poskytuje prístup k nasledujúcim modelom. Presný zoznam závisí od vášho regiónu a mení sa s novými vydaniami; stránka Model Access v konzole je smerodajným zdrojom.
| Model | Pozícia |
|---|---|
| Mistral Large 3 | Vlajková loď (predchádzajúce verzie Mistral Large zostávajú dostupné) |
| Mistral Small | Rýchly a nákladovo efektívny |
| Ministral (3B, 8B, 14B) | Kompaktné modely |
| Mixtral 8x7B | Model zmesi expertov (Mixture-of-experts) |
| Pixtral Large | Multimodálny (text + obrázky) |
Príprava prístupu
Pred prvým volaním musíš splniť štyri podmienky:
- Účet AWS s prístupom do regiónu, ktorý podporuje Bedrock
- Identitu IAM s oprávneniami
bedrock:InvokeModelabedrock:InvokeModelWithResponseStream - Nakonfigurované AWS CLI a nainštalovaný boto3
- Povolenie modelov Mistral v konzole Bedrock (Model Access)
pip install boto3>=1.34.131
aws configure # Zadaj svoje poverenia
Druhé oprávnenie je to, na ktoré ľudia často zabúdajú: identita iba s bedrock:InvokeModel funguje v synchronnom režime, ale pri prvom streamovacom volaní zlyhá. Krok 4 je podobný povoľovaniu modelov v Google Model Garden: kým model odomkneš v časti Model Access, žiadne oprávnenie IAM nebude fungovať.
Volanie modelu pomocou boto3
Tu je hlavný rozdiel oproti Azure a Vertex: na Bedrocku nepoužívaš SDK Mistral. Všetko prebieha cez natívne AWS SDK, boto3, využívajúc API converse(), ktoré je spoločné pre všetkých poskytovateľov na tejto platforme.
import boto3
import json
client = boto3.client('bedrock-runtime', region_name='us-west-2')
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "What are the advantages of a serverless architecture on AWS?"}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
texte = response["output"]["message"]["content"][0]["text"]
print(texte)
Streamovanie funguje na rovnakom princípe, využíva converse_stream() a cyklus cez udalosti streamu. Všimni si, že musíš skontrolovať kľúč contentBlockDelta: stream Bedrocku obsahuje aj udalosti začiatku a konca bloku, ktoré neobsahujú žiadny text.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Describe the Lambda + API Gateway architecture."}]
}
],
inferenceConfig={"temperature": 0.3, "maxTokens": 1024}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
texte = event["contentBlockDelta"]["delta"].get("text", "")
print(texte, end="", flush=True)
Ak portuješ kód napísaný pre priame API Mistral, očakávaj štyri rozdiely. Po prvé, content už nie je reťazec, ale pole objektov {"text": "..."}. Po druhé, modelId nasleduje formát AWS mistral.{model}-v{version}:{number}: na rozdiel od aliasov -latest v priamom API pripneš konkrétnu verziu a musíš ju aktualizovať manuálne. Po tretie, parametre inferencie sú zoskupené v samostatnom objekte inferenceConfig namiesto toho, aby boli odovzdané na najvyššej úrovni. Nakoniec, nie je zapojené žiadne SDK Mistral: odpovede sú slovníky boto3, nie typované modely, preto prístup založený na kľúčoch uvedený vyššie.
Snowflake Cortex
Snowflake integruje modely Mistral, vrátane Mistral Large, priamo do svojej dátovej platformy prostredníctvom Cortex AI. Hlavná výhoda je jednoduchá: tvoje dáta nikdy neopustia Snowflake. Volanie modelu sa stáva SQL funkciou vyvolanou v rámci dopytu, priamo vedľa tabuľky, ktorú chceš obohatiť.
-- Priame použitie v SQL dopyte
SELECT SNOWFLAKE.CORTEX.COMPLETE(
'mistral-large',
'Summarize this financial report in three key points.'
) AS resume;
Predstav si tabuľku s tisícami správ: namiesto exportu obsahu do Python skriptu, volania API a spätného importu výsledkov, napíšeš dopyt, ktorý priamo vytvorí stĺpec so zhrnutím. Toto je zrejmá voľba, keď tvoje dátové pipeline už žijú v Snowflake a pravidlá správy dát zakazujú akýkoľvek výstup dát (egress).
IBM watsonx
IBM watsonx.ai ponúka modely Mistral, vrátane Mistral Large, vo svojom katalógu. Prístup sa realizuje cez watsonx API pomocou poverení IBM Cloud: vytvoríš objekt ModelInference, pričom odovzdáš ID modelu, svoje poverenia a cieľový projekt. Všimni si regionálnu URL v príklade – určuje, kde sa inferencia spúšťa, čo je detail, ktorý treba overiť, ak máš požiadavky na lokalitu dát.
from ibm_watsonx_ai import Credentials
from ibm_watsonx_ai.foundation_models import ModelInference
model = ModelInference(
model_id="mistralai/mistral-large",
credentials=Credentials(url="https://eu-de.ml.cloud.ibm.com", api_key="..."),
project_id="your-project-id"
)
response = model.generate_text("Explain the data mesh concept.")
Outscale, francúzsky suverénny cloud
Outscale, francúzsky suverénny cloud s kvalifikáciou SecNumCloud, tiež ponúka modely Mistral. Pre organizácie vo verejnom sektore, obrane alebo zdravotníctve, ktoré podliehajú prísnym regulačným obmedzeniam, táto možnosť garantuje, že dáta aj spracovanie zostanú vo Francúzsku. V týchto kontextoch je to jediné kritérium, na ktorom záleží: kvalifikácia má prednosť pred pohodlím integrácie alebo zážitkom vývojára.
Výber správneho poskytovateľa
Voľba takmer nikdy nezávisí od samotných modelov, keďže tie isté sú široko dostupné naprieč platformami. Závisí od toho, kde žijú tvoje dáta, od tvojej zmluvy a od povinností týkajúcich sa dodržiavania predpisov.
| Poskytovateľ | Kedy si ho vybrať |
|---|---|
| Priame API Mistral | Najjednoduchšie, všetky modely dostupné, ideálne na začiatok |
| Azure AI | Ak už používaš Azure, konsolidovaná fakturácia |
| Google Vertex AI | Ak používaš GCP, natívne overovanie IAM |
| AWS Bedrock | Ak používaš AWS, integrácia s ekosystémom AWS |
| Snowflake Cortex | Ak sú tvoje dáta v Snowflake |
| Outscale | Ak máš požiadavky na francúzsku suverenitu |
Užitočné pravidlo: začni s priamym API, aby si overil, či model spĺňa tvoje potreby, a následne migruj na poskytovateľa svojho ekosystému, keď projekt prejde do produkcie. Kód aplikácie sa mení len málo; väčšina práce spočíva v overovaní a pomenovávaní modelov.
Kontrola pred nasadením
ID modelov poskytovateľov cloudu sú verzované a menia sa s každou generáciou (napríklad mistral.mistral-large-2512-v1:0 na Bedrocku). Pred zapojením do nasadenia over presnú hodnotu v konzole poskytovateľa: je to smerodajný zdroj a zastarané ID spôsobí chybu prístupu, ktorú je ťažké diagnostikovať.
Kľúčové poznatky
- AWS Bedrock využíva boto3 a API
converse()– nie SDK Mistral - Formát správ v Bedrocku sa mierne líši (content ako pole objektov)
- Snowflake Cortex integruje Mistral priamo do SQL dopytov
- IBM watsonx a Outscale ponúkajú alternatívy pre špecifické potreby
- Vyber si poskytovateľa na základe svojho existujúceho cloudového ekosystému a regulačných obmedzení