AWS Bedrock u Fornituri oħra tas-Sħab
F'din il-paġna
L-Ekosistema tas-Sħab ta’ Mistral
Barra minn Azure u Google Cloud, il-mudelli ta’ Mistral huma disponibbli fuq diversi pjattaformi oħra. Din il-lezzjoni tkopri AWS Bedrock fid-dettall għax hija l-aktar alternattiva komuni u hija dik li tiddevja l-aktar minn dak li tgħallimt s’issa. Imbagħad, tkopri b’mod qasir l-integrazzjonijiet ma’ Snowflake Cortex, IBM watsonx, u Outscale.
AWS Bedrock
Amazon Bedrock huwa s-servizz immaniġġjat ta’ AWS għall-mudelli fundamentali. Jesponi API unifikata quddiem diversi fornituri—Anthropic, Meta, Mistral, u oħrajn—li timmaniġġja l-fatturazzjoni, is-sigurtà u l-konformità permezz ta’ AWS. Għat-timijiet li diġà jużaw AWS, dan ifisser li l-mudelli ta’ Mistral joperaw fl-istess ambitu ta’ IAM, jużaw l-istess logs ta’ CloudWatch, u jidhru fl-istess fattura bħall-bqija tal-infrastruttura tiegħek.
Fir-rigward tal-katalogu, Bedrock jipprovdi aċċess għall-mudelli li ġejjin. Il-lista eżatta tiddependi mir-reġjun tiegħek u tinbidel ma’ kull ħarġa ġdida; il-paġna “Model Access” fil-konsoll hija s-sors tal-verità.
| Mudell | Pożizzjonament |
|---|---|
| Mistral Large 3 | Il-mudell ewlieni (verżjonijiet preċedenti ta’ Mistral Large jibqgħu disponibbli) |
| Mistral Small | Veloċi u effiċjenti fl-ispejjeż |
| Ministral (3B, 8B, 14B) | Mudelli kompatti |
| Mixtral 8x7B | Mudell “Mixture-of-experts” |
| Pixtral Large | Multimodali (test + immaġnijiet) |
Ipprepara l-Aċċess
Trid tissodisfa erba’ kundizzjonijiet qabel ma tagħmel l-ewwel sejħa tiegħek:
- Kont AWS b’aċċess għal reġjun li jappoġġja Bedrock
- Prinċipal IAM bil-permessi
bedrock:InvokeModelubedrock:InvokeModelWithResponseStream - AWS CLI ikkonfigurat u boto3 installat
- Attiva l-mudelli ta’ Mistral fil-konsoll ta’ Bedrock (Model Access)
pip install boto3>=1.34.131
aws configure # Daħħal il-kredenzjali tiegħek
It-tieni permess huwa dak li n-nies spiss jinsu: prinċipal b’bedrock:InvokeModel biss jaħdem fil-modalità sinkrona iżda jfalli fl-ewwel sejħa ta’ streaming. Il-pass 4 huwa simili għall-attivazzjoni tal-mudelli fil-”Model Garden” ta’ Google: sakemm ma tiftaħx il-mudell f‘“Model Access”, l-ebda permess IAM ma se jaħdem.
Sejjaħ Mudell b’boto3
Hekk tidher id-differenza ewlenija meta mqabbla ma’ Azure u Vertex: fuq Bedrock, ma tużax l-SDK ta’ Mistral. Kollox jgħaddi mill-SDK nattiva ta’ AWS, boto3, bl-użu tal-API converse() komuni għall-fornituri kollha fuq il-pjattaforma.
import boto3
import json
client = boto3.client('bedrock-runtime', region_name='us-west-2')
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "What are the advantages of a serverless architecture on AWS?"}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
texte = response["output"]["message"]["content"][0]["text"]
print(texte)
Is-streaming isegwi l-istess loġika, bl-użu ta’ converse_stream() u billi tagħmel loop fuq l-avvenimenti tal-istream. Innota li trid tiċċekkja għaċ-ċavetta contentBlockDelta: l-istream ta’ Bedrock iġorr ukoll avvenimenti ta’ bidu u tmiem tal-blokki, li ma fihomx test.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Describe the Lambda + API Gateway architecture."}]
}
],
inferenceConfig={"temperature": 0.3, "maxTokens": 1024}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
texte = event["contentBlockDelta"]["delta"].get("text", "")
print(texte, end="", flush=True)
Jekk qed timporta kodiċi miktub għall-API diretta ta’ Mistral, stenna erba’ differenzi. L-ewwel, content m’għadhiex string iżda hija array ta’ oġġetti {"text": "..."}. It-tieni, modelId isegwi l-format ta’ AWS mistral.{model}-v{version}:{number}: kuntrarjament għall-aliases -latest fl-API diretta, inti twaħħal verżjoni speċifika u trid taġġornaha manwalment. It-tielet, il-parametri ta’ inferenza huma raggruppati f’oġġett separat inferenceConfig minflok ma jgħaddu fil-livell ogħla. Fl-aħħar nett, l-ebda SDK ta’ Mistral ma huwa involut: ir-risposti huma dizzjunarji ta’ boto3, mhux mudelli ttajpjati, għalhekk l-aċċess ibbażat fuq iċ-ċwievet muri hawn fuq.
Snowflake Cortex
Snowflake tintegra l-mudelli ta’ Mistral, inkluż Mistral Large, direttament fil-pjattaforma tad-data tagħha permezz ta’ Cortex AI. Il-vantaġġ prinċipali huwa sempliċi: id-data tiegħek qatt ma titlaq minn Snowflake. Is-sejħa tal-mudell issir funzjoni SQL invokata fi ħdan query, eżatt ħdejn it-tabella li trid tarrikkixxi.
-- Użu dirett f'query SQL
SELECT SNOWFLAKE.CORTEX.COMPLETE(
'mistral-large',
'Summarize this financial report in three key points.'
) AS resume;
Immaġina tabella b’eluf ta’ rapporti: minflok ma tesporta l-kontenut f’skript Python, isejjaħ l-API, u terġa’ timporta r-riżultati, tikteb query li tipproduċi direttament il-kolonna tas-sommarju. Din hija l-għażla ovvja meta l-pipeline tad-data tiegħek diġà jgħix f’Snowflake u r-regoli ta’ governanza jipprojbixxu kwalunkwe ħruġ ta’ data.
IBM watsonx
IBM watsonx.ai joffri mudelli ta’ Mistral, inkluż Mistral Large, fil-katalogu tiegħu. L-aċċess iseħħ permezz tal-API ta’ watsonx bl-użu tal-kredenzjali ta’ IBM Cloud: inti tistanzja oġġett ModelInference, tgħaddi l-ID tal-mudell, il-kredenzjali tiegħek, u l-proġett fil-mira. Innota l-URL reġjonali fl-eżempju—dan jiddetermina fejn issir l-inferenza, dettall li trid tivverifika jekk għandekx rekwiżiti ta’ residenza tad-data.
from ibm_watsonx_ai import Credentials
from ibm_watsonx_ai.foundation_models import ModelInference
model = ModelInference(
model_id="mistralai/mistral-large",
credentials=Credentials(url="https://eu-de.ml.cloud.ibm.com", api_key="..."),
project_id="your-project-id"
)
response = model.generate_text("Explain the data mesh concept.")
Outscale, is-Sħab Sovran Franċiż
Outscale, sħab sovran Franċiż kwalifikat SecNumCloud, joffri wkoll mudelli ta’ Mistral. Għall-organizzazzjonijiet tas-settur pubbliku, tad-difiża jew tas-saħħa soġġetti għal restrizzjonijiet regolatorji stretti, din l-għażla tiggarantixxi li kemm id-data kif ukoll l-ipproċessar jibqgħu fi Franza. F’dawn il-kuntesti, dan huwa l-uniku kriterju li j importa: il-kwalifikazzjoni tieħu preċedenza fuq il-konvenjenza tal-integrazzjoni jew l-esperjenza tal-iżviluppatur.
Agħżel il-Fornitur It-Tajjeb
L-għażla kważi qatt ma tiddependi fuq il-mudelli nfushom, peress li l-istess huma disponibbli b’mod wiesa’ fuq il-pjattaformi kollha. Tiddependi fuq fejn tgħix id-data tiegħek, il-kuntratt tiegħek u l-obbligi ta’ konformità tiegħek.
| Fornitur | Meta Tagħżlu |
|---|---|
| API Diretta ta’ Mistral | L-aktar sempliċi, il-mudelli kollha disponibbli, ideali biex tibda |
| Azure AI | Jekk diġà qiegħed fuq Azure, fatturazzjoni konsolidata |
| Google Vertex AI | Jekk qiegħed fuq GCP, awtentikazzjoni nattiva ta’ IAM |
| AWS Bedrock | Jekk qiegħed fuq AWS, integrazzjoni mal-ekosistema ta’ AWS |
| Snowflake Cortex | Jekk id-data tiegħek tinsab f’Snowflake |
| Outscale | Jekk għandek rekwiżiti ta’ sovranità Franċiża |
Regola utli biex tibda: ibda bl-API diretta biex tivvalida li l-mudell jissodisfa l-ħtiġijiet tiegħek, imbagħad immigra lejn il-fornitur tal-ekosistema tiegħek meta l-proġett jimxi lejn il-produzzjoni. Il-kodiċi tal-applikazzjoni jinbidel ftit; il-biċċa l-kbira tax-xogħol tinvolvi l-awtentikazzjoni u s-smijiet tal-mudelli.
Iċċekkja Qabel id-Dispjiegament
L-IDs tal-mudelli tal-fornituri tas-sħab huma verżjonati u jinbidlu ma’ kull ġenerazzjoni (mistral.mistral-large-2512-v1:0 fuq Bedrock, pereżempju). Qabel ma twaħħal dispjegament, ivverifika l-valur eżatt fil-konsoll tal-fornitur: dan huwa s-sors tal-verità, u ID antikata tipproduċi żball ta’ aċċess li huwa diffiċli biex tiddijanostika.
Punti Ewlenin
- AWS Bedrock juża boto3 u l-API
converse()—mhux l-SDK ta’ Mistral - Il-format tal-messaġġ ta’ Bedrock ivarja ftit (kontenut bħala array ta’ oġġetti)
- Snowflake Cortex tintegra lil Mistral direttament fil-queries SQL
- IBM watsonx u Outscale joffru alternattivi għal ħtiġijiet speċifiċi
- Agħżel il-fornitur tiegħek ibbażat fuq l-ekosistema tas-sħab eżistenti tiegħek u r-restrizzjonijiet regolatorji