AWS Bedrock in drugi ponudniki oblaka
Na tej strani
Mistralov ekosistem v oblaku
Poleg Azure in Google Cloud so modeli Mistral na voljo še na več drugih platformah. V tej lekciji se bomo podrobno posvetili storitvi AWS Bedrock, saj je najpogostejša alternativa in se najbolj razlikuje od tega, kar si se naučil doslej. Na kratko bomo obravnavali tudi integracije s Snowflake Cortex, IBM watsonx in Outscale.
AWS Bedrock
Amazon Bedrock je upravljana storitev AWS za temeljne modele. Zagotavlja enoten API pred različnimi ponudniki – Anthropic, Meta, Mistral in drugimi – ter prek AWS skrbi za obračunavanje, varnost in skladnost. Za ekipe, ki že uporabljajo AWS, to pomeni, da modeli Mistral delujejo v istem obsegu IAM, uporabljajo iste dnevnike CloudWatch in se pojavljajo na istem računu kot preostala infrastruktura.
Kar zadeva katalog, Bedrock omogoča dostop do naslednjih modelov. Točen seznam je odvisen od vaše regije in se spreminja z novimi izdajami; stran Model Access v konzoli je edini zanesljiv vir informacij.
| Model | Pozicioniranje |
|---|---|
| Mistral Large 3 | Vodilni model (prejšnje različice Mistral Large so še vedno na voljo) |
| Mistral Small | Hiter in stroškovno učinkovit |
| Ministral (3B, 8B, 14B) | Kompaktni modeli |
| Mixtral 8x7B | Model mešanice strokovnjakov (Mixture-of-experts) |
| Pixtral Large | Večmodalni model (besedilo + slike) |
Priprava dostopa
Pred prvim klicem moraš izpolniti štiri pogoje:
- Račun AWS z dostopom do regije, ki podpira Bedrock
- Glavni subjekt IAM z dovoljenjema
bedrock:InvokeModelinbedrock:InvokeModelWithResponseStream - Nameščen in konfiguriran AWS CLI ter nameščen paket boto3
- Omogočeni modeli Mistral v konzoli Bedrock (Model Access)
pip install boto3>=1.34.131
aws configure # Vnesite svoje poverilnice
Drugo dovoljenje ljudje pogosto pozabijo: glavni subjekt z zgolj bedrock:InvokeModel deluje v sinhronem načinu, a odpove pri prvem klicu pretoka (streaming). Četrti korak je podoben omogočanju modelov v Googlovem Model Garden: dokler modela ne odklenete v razdelku Model Access, nobeno dovoljenje IAM ne bo delovalo.
Klicanje modela z boto3
Tu je glavna razlika glede na Azure in Vertex: pri Bedrocku ne uporabljaš Mistral SDK. Vse poteka prek izvornega AWS SDK, boto3, z uporabo API-ja converse(), ki je skupen vsem ponudnikom na tej platformi.
import boto3
import json
client = boto3.client('bedrock-runtime', region_name='us-west-2')
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "What are the advantages of a serverless architecture on AWS?"}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
texte = response["output"]["message"]["content"][0]["text"]
print(texte)
Pretok deluje po isti logiki, le da uporabiš converse_stream() in iteriraš prek dogodkov v pretoku. Upoštevaj, da moraš preveriti ključ contentBlockDelta: pretok Bedrock vsebuje tudi dogodke za začetek in konec bloka, ki ne vsebujejo besedila.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Describe the Lambda + API Gateway architecture."}]
}
],
inferenceConfig={"temperature": 0.3, "maxTokens": 1024}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
texte = event["contentBlockDelta"]["delta"].get("text", "")
print(texte, end="", flush=True)
Če prenašaš kodo, napisano za neposredni Mistral API, pričakuj štiri razlike. Prvič, content ni več niz, temveč polje objektov {"text": "..."}. Drugič, modelId sledi formatu AWS mistral.{model}-v{version}:{number}: za razliko od aliasov -latest v neposrednem API-ju tu določiš specifično različico in jo moraš ročno posodabljati. Tretjič, parametri za sklepanje so združeni v ločenem objektu inferenceConfig namesto da bi bili podani na najvišji ravni. Nazadnje, Mistral SDK ni vključen: odgovori so slovarji boto3, ne tipizirani modeli, zato je dostop prek ključev, kot je prikazano zgoraj.
Snowflake Cortex
Snowflake integrira modele Mistral, vključno z Mistral Large, neposredno v svojo podatkovno platformo prek Cortex AI. Glavna prednost je preprosta: tvoji podatki nikoli ne zapustijo Snowflake. Klicanje modela postane funkcija SQL, ki jo pokličeš znotraj poizvedbe, tik ob tabeli, ki jo želiš obogatiti.
-- Neposredna uporaba v poizvedbi SQL
SELECT SNOWFLAKE.CORTEX.COMPLETE(
'mistral-large',
'Summarize this financial report in three key points.'
) AS resume;
Predstavljaj si tabelo s tisoči poročil: namesto da bi izvozil vsebino v skript Python, poklical API in ponovno uvozil rezultate, napišeš poizvedbo, ki neposredno ustvari stolpec s povzetkom. To je očitna izbira, ko tvoja podatkovna cevovod že živi v Snowflake in pravila upravljanja prepovedujejo kakršen koli izhod podatkov.
IBM watsonx
IBM watsonx.ai ponuja modele Mistral, vključno z Mistral Large, v svojem katalogu. Dostop poteka prek API-ja watsonx z uporabo poverilnic IBM Cloud: ustvariš objekt ModelInference, pri čemer podaš ID modela, svoje poverilnice in ciljni projekt. Upoštevaj URL regije v primeru – ta določa, kje poteka sklepanje, kar je podrobnost, ki jo moraš preveriti, če imaš zahteve glede rezidence podatkov.
from ibm_watsonx_ai import Credentials
from ibm_watsonx_ai.foundation_models import ModelInference
model = ModelInference(
model_id="mistralai/mistral-large",
credentials=Credentials(url="https://eu-de.ml.cloud.ibm.com", api_key="..."),
project_id="your-project-id"
)
response = model.generate_text("Explain the data mesh concept.")
Outscale, francoski suvereni oblak
Outscale, francoski suvereni oblak s certifikatom SecNumCloud, prav tako ponuja modele Mistral. Za organizacije v javnem sektorju, obrambi ali zdravstvu, ki so podvržene strogim regulativnim omejitvam, ta možnost zagotavlja, da podatki in obdelava ostanejo v Franciji. V teh kontekstih je to edino merilo, ki šteje: kvalifikacija ima prednost pred priročnostjo integracije ali izkušnjo razvijalcev.
Izbira pravega ponudnika
Izbira skoraj nikoli ni odvisna od samih modelov, saj so isti modeli široko dostopni na različnih platformah. Odvisna je od tega, kje živijo tvoji podatki, tvoje pogodbe in obveznosti skladnosti.
| Ponudnik | Kdaj ga izbrati |
|---|---|
| Neposredni Mistral API | Najpreprosteje, na voljo vsi modeli, idealno za začetek |
| Azure AI | Če že uporabljaš Azure, konsolidirano obračunavanje |
| Google Vertex AI | Če uporabljaš GCP, avtentikacija z izvornim IAM |
| AWS Bedrock | Če uporabljaš AWS, integracija z ekosistemom AWS |
| Snowflake Cortex | Če so tvoji podatki v Snowflake |
| Outscale | Če imaš zahteve po francoski suverenosti |
Koristno splošno pravilo: začni z neposrednim API-jem, da preveriš, ali model ustreza tvojim potrebam, nato pa migriraj k ponudniku svojega ekosistema, ko projekt preide v proizvodnjo. Koda aplikacije se spremeni le malo; večina dela zajema avtentikacijo in poimenovanje modelov.
Preveri pred uvedbo
ID-ji modelov pri ponudnikih oblaka so različičeni in se spreminjajo z vsako generacijo (na primer mistral.mistral-large-2512-v1:0 pri Bedrocku). Preden povežeš uvedbo, preveri točno vrednost v konzoli ponudnika: ta je edini zanesljiv vir, zastarel ID pa povzroči napako pri dostopu, ki jo je težko diagnosticirati.
Ključne ugotovitve
- AWS Bedrock uporablja boto3 in API
converse()– ne Mistral SDK - Format sporočil pri Bedrocku se rahlo razlikuje (vsebina kot polje objektov)
- Snowflake Cortex integrira Mistral neposredno v poizvedbe SQL
- IBM watsonx in Outscale ponujata alternativi za specifične potrebe
- Ponudnika izberi glede na svoj obstoječi oblak in regulativne omejitve