AWS Bedrock i drugi pružatelji usluga u oblaku
Na ovoj stranici
Mistralov ekosustav u oblaku
Osim Azurea i Google Clouda, Mistralovi modeli dostupni su na nekoliko drugih platformi. Ova lekcija detaljno obrađuje AWS Bedrock jer je to najčešća alternativa i najviše se razlikuje od onoga što si do sada naučio/la. Zatim ukratko pokriva integracije sa Snowflake Cortexom, IBM watsonxom i Outscaleom.
AWS Bedrock
Amazon Bedrock je AWS-ova upravljana usluga za temeljne modele. Izlaže jedinstveni API ispred više pružatelja usluga—Anthropic, Meta, Mistral i drugih—upravljajući naplatom, sigurnošću i usklađenošću putem AWS-a. Za timove koji već koriste AWS, to znači da Mistralovi modeli rade unutar istog IAM opsega, koriste iste CloudWatch zapise i pojavljuju se na istom računu kao i ostatak tvoje infrastrukture.
Što se tiče kataloga, Bedrock omogućuje pristup sljedećim modelima. Točan popis ovisi o tvojoj regiji i mijenja se s novim izdanjima; stranica „Model Access“ u konzoli jedini je izvor istine.
| Model | Pozicioniranje |
|---|---|
| Mistral Large 3 | Vodeći model (prethodne verzije Mistral Largea i dalje su dostupne) |
| Mistral Small | Brz i isplativ |
| Ministral (3B, 8B, 14B) | Kompaktni modeli |
| Mixtral 8x7B | Model mješavine stručnjaka (mixture-of-experts) |
| Pixtral Large | Multimodalni (tekst + slike) |
Priprema pristupa
Prije prvog poziva moraš ispuniti četiri uvjeta:
- AWS račun s pristupom regiji koja podržava Bedrock
- IAM principal s dozvolama
bedrock:InvokeModelibedrock:InvokeModelWithResponseStream - Konfiguriran AWS CLI i instaliran boto3
- Aktiviranje Mistralovih modela u Bedrock konzoli (Model Access)
pip install boto3>=1.34.131
aws configure # Unesi svoje vjerodajnice
Druga dozvola je ona koju ljudi često zaborave: principal koji ima samo bedrock:InvokeModel radi u sinkronom načinu, ali ne uspijeva pri prvom streaming pozivu. Korak 4 sličan je aktiviranju modela u Googleovom Model Gardenu: dok ne otključaš model u odjeljku Model Access, nijedna IAM dozvola neće raditi.
Pozivanje modela pomoću boto3
Ovdje je glavna razlika u odnosu na Azure i Vertex: na Bedrocku ne koristiš Mistral SDK. Sve prolazi kroz izvorni AWS SDK, boto3, koristeći API converse() zajednički svim pružateljima na platformi.
import boto3
import json
client = boto3.client('bedrock-runtime', region_name='us-west-2')
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "What are the advantages of a serverless architecture on AWS?"}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
texte = response["output"]["message"]["content"][0]["text"]
print(texte)
Streaming slijedi istu logiku, koristeći converse_stream() i iterirajući kroz događaje streama. Imaj na umu da moraš provjeriti ključ contentBlockDelta: Bedrock stream također prenosi događaje početka i kraja bloka koji ne sadrže tekst.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Describe the Lambda + API Gateway architecture."}]
}
],
inferenceConfig={"temperature": 0.3, "maxTokens": 1024}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
texte = event["contentBlockDelta"]["delta"].get("text", "")
print(texte, end="", flush=True)
Ako prebacuješ kod napisan za izravni Mistral API, očekuj četiri razlike. Prvo, content više nije niz znakova već polje objekata {"text": "..."}. Drugo, modelId slijedi AWS format mistral.{model}-v{version}:{number}: za razliku od aliasa -latest u izravnom API-ju, ovdje fiksiraš specifičnu verziju i moraš je ručno ažurirati. Treće, parametri zaključivanja grupirani su u zasebnom objektu inferenceConfig umjesto da se prosljeđuju na najvišoj razini. Konačno, Mistral SDK nije uključen: odgovori su boto3 rječnici, a ne tipizirani modeli, stoga pristup putem ključeva kao što je prikazano gore.
Snowflake Cortex
Snowflake integrira Mistralove modele, uključujući Mistral Large, izravno u svoju podatkovnu platformu putem Cortex AI. Glavna prednost je jednostavna: tvoji podaci nikada ne napuštaju Snowflake. Pozivanje modela postaje SQL funkcija koja se poziva unutar upita, odmah uz tablicu koju želiš obogatiti.
-- Izravna uporaba u SQL upitu
SELECT SNOWFLAKE.CORTEX.COMPLETE(
'mistral-large',
'Summarize this financial report in three key points.'
) AS resume;
Zamisli tablicu s tisućama izvješća: umjesto izvoza sadržaja u Python skriptu, pozivanja API-ja i ponovnog uvoza rezultata, pišeš upit koji izravno proizvodi stupac sa sažetkom. Ovo je očigledan izbor kada tvoj podatkovni pipeline već živi u Snowflakeu, a pravila upravljanja zabranjuju bilo kakav izlaz podataka.
IBM watsonx
IBM watsonx.ai nudi Mistralove modele, uključujući Mistral Large, u svom katalogu. Pristup se ostvaruje kroz watsonx API koristeći IBM Cloud vjerodajnice: instanciraš objekt ModelInference, prosljeđujući ID modela, svoje vjerodajnice i ciljni projekt. Obrati pažnju na regionalni URL u primjeru—on određuje gdje se zaključivanje izvršava, što je detalj koji trebaš provjeriti ako imaš zahtjeve za rezidencijalnost podataka.
from ibm_watsonx_ai import Credentials
from ibm_watsonx_ai.foundation_models import ModelInference
model = ModelInference(
model_id="mistralai/mistral-large",
credentials=Credentials(url="https://eu-de.ml.cloud.ibm.com", api_key="..."),
project_id="your-project-id"
)
response = model.generate_text("Explain the data mesh concept.")
Outscale, francuski suvereni oblak
Outscale, francuski suvereni oblak kvalificiran kao SecNumCloud, također nudi Mistralove modele. Za organizacije iz javnog sektora, obrane ili zdravstva koje podliježu strogim regulatornim ograničenjima, ova opcija jamči da i podaci i obrada ostaju u Francuskoj. U tim kontekstima, to je jedini kriterij koji je bitan: kvalifikacija ima prednost nad pogodnostima integracije ili iskustvom programera.
Odabir pravog pružatelja usluga
Odabir gotovo nikada ne ovisi o samim modelima, jer su isti modeli široko dostupni na različitim platformama. Ovisi o tome gdje se nalaze tvoji podaci, o tvom ugovoru i obvezama usklađenosti.
| Pružatelj usluga | Kada ga odabrati |
|---|---|
| Izravni Mistral API | Najjednostavnije, svi modeli dostupni, idealno za početak |
| Azure AI | Ako već koristiš Azure, konsolidirana naplata |
| Google Vertex AI | Ako si na GCP-u, izvorna IAM autentikacija |
| AWS Bedrock | Ako si na AWS-u, integracija s AWS ekosustavom |
| Snowflake Cortex | Ako su tvoji podaci u Snowflakeu |
| Outscale | Ako imaš zahtjeve za francuski suverenitet |
Korisno pravilo: započni s izravnim API-jem kako bi potvrdio/la da model zadovoljava tvoje potrebe, a zatim migriraj na pružatelja usluga tvog ekosustava kada projekt prijeđe u proizvodnju. Kod aplikacije se malo mijenja; većina posla odnosi se na autentikaciju i nazive modela.
Provjera prije implementacije
ID-ovi modela pružatelja usluga u oblaku imaju verzije i mijenjaju se sa svakom generacijom (npr. mistral.mistral-large-2512-v1:0 na Bedrocku). Prije povezivanja implementacije, provjeri točnu vrijednost u konzoli pružatelja usluga: to je izvor istine, a zastarjeli ID proizvodi pogrešku pristupa koju je teško dijagnosticirati.
Ključne točke
- AWS Bedrock koristi boto3 i API
converse()—ne Mistral SDK - Format poruka na Bedrocku malo se razlikuje (sadržaj kao polje objekata)
- Snowflake Cortex integrira Mistral izravno u SQL upite
- IBM watsonx i Outscale nude alternative za specifične potrebe
- Odaberi pružatelja usluga na temelju svog postojećeg ekosustava u oblaku i regulatornih ograničenja