AWS Bedrock ir kiti debesų tiekėjai
Šiame puslapyje
Mistral debesų ekosistema
Be „Azure“ ir „Google Cloud“, Mistral modeliai yra prieinami ir keliose kitose platformose. Šioje pamokoje išsamiai nagrinėsime „AWS Bedrock“, nes tai yra dažniausiai pasirenkama alternatyva, kuri labiausiai skiriasi nuo to, ką iki šiol išmokai. Tada trumpai aptarsime integracijas su „Snowflake Cortex“, „IBM watsonx“ ir „Outscale“.
AWS Bedrock
„Amazon Bedrock“ yra „AWS“ valdoma paslauga pagrindiniams modeliams (foundation models). Ji suteikia vieningą API, jungiantį kelis tiekėjus – „Anthropic“, „Meta“, „Mistral“ ir kitus, – per „AWS“ tvarkydama atsiskaitymus, saugumą ir atitiktį reikalavimams. Komandoms, jau naudojančioms „AWS“, tai reiškia, kad Mistral modeliai veikia tame pačiame IAM kontekste, naudoja tuos pačius „CloudWatch“ žurnalus ir atsiranda toje pačioje sąskaitoje kaip ir likusi jūsų infrastruktūra.
Kalbant apie katalogą, „Bedrock“ suteikia prieigą prie šių modelių. Tikslus sąrašas priklauso nuo jūsų regiono ir keičiasi išleidus naujas versijas; „Model Access“ puslapis valdymo skydelyje yra tiksliausias šaltinis.
| Modelis | Pozicionavimas |
|---|---|
| Mistral Large 3 | Pagrindinis modelis (ankstesnės „Mistral Large“ versijos vis dar prieinamos) |
| Mistral Small | Greitas ir ekonomiškai efektyvus |
| Ministral (3B, 8B, 14B) | Kompaktiški modeliai |
| Mixtral 8x7B | Ekspertų mišinio (mixture-of-experts) modelis |
| Pixtral Large | Multimodalinis (tekstas + vaizdai) |
Pasirengimas prieigai
Prieš atlikdami pirmąjį užklausimą, turite užtikrinti keturias sąlygas:
- Turėti AWS paskyrą su prieiga prie regiono, kuris palaiko „Bedrock“
- Turėti IAM principą su leidimais
bedrock:InvokeModelirbedrock:InvokeModelWithResponseStream - Suconfigūruotą AWS CLI ir įdiegtą boto3
- Įgalinti Mistral modelius „Bedrock“ valdymo skydelyje („Model Access“)
pip install boto3>=1.34.131
aws configure # Įveskite savo prisijungimo duomenis
Antrasis leidimas yra tas, kurį žmonės dažnai pamiršta: principas, turintis tik bedrock:InvokeModel, veikia sinchroniniu režimu, tačiau nepavyks atlikus pirmąjį srautinį (streaming) užklausimą. 4 žingsnis panašus į modelių įgalinimą „Google“ „Model Garden“: kol neatrakinsite modelio skiltyje „Model Access“, joks IAM leidimas neveiks.
Modelio iškvietimas naudojant boto3
Štai esminis skirtumas, lyginant su „Azure“ ir „Vertex“: „Bedrock“ nenaudojate Mistral SDK. Viskas vyksta per vietinį „AWS“ SDK – boto3, naudojant converse() API, bendrą visiems platformos tiekėjams.
import boto3
import json
client = boto3.client('bedrock-runtime', region_name='us-west-2')
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Kokie yra serverless architektūros privalumai AWS aplinkoje?"}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
texte = response["output"]["message"]["content"][0]["text"]
print(texte)
Srautinis apdorojimas veikia pagal tą pačią logiką, naudojant converse_stream() ir iteruojant per srauto įvykius. Atkreipkite dėmesį, kad turite patikrinti raktą contentBlockDelta: „Bedrock“ srautas taip pat perduoda bloko pradžios ir pabaigos įvykius, kuriuose teksto nėra.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Aprašykite Lambda + API Gateway architektūrą."}]
}
],
inferenceConfig={"temperature": 0.3, "maxTokens": 1024}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
texte = event["contentBlockDelta"]["delta"].get("text", "")
print(texte, end="", flush=True)
Jei perkelsite kodą, parašytą tiesioginei Mistral API, tikėkitės keturių skirtumų. Pirma, content dabar yra ne eilutė, o objektų masyvas {"text": "..."}. Antra, modelId laikosi „AWS“ formato mistral.{model}-v{version}:{number}: skirtingai nei tiesioginėje API naudojami -latest aliasai, čia jūs nurodote konkrečią versiją ir turite ją atnaujinti rankiniu būdu. Trečia, išvados parametrai sugrupuoti atskirame inferenceConfig objekte, o ne perduodami aukščiausiu lygmeniu. Galiausiai, Mistral SDK nenaudojamas: atsakymai yra boto3 žodynai, o ne tipizuoti modeliai, todėl taikomas aukščiau parodytas prieiga pagal raktus.
Snowflake Cortex
„Snowflake“ integruoja Mistral modelius, įskaitant „Mistral Large“, tiesiai į savo duomenų platformą per Cortex AI. Pagrindinis privalumas paprastas: jūsų duomenys niekada neišeina iš „Snowflake“. Modelio iškvietimas tampa SQL funkcija, iškviečiama užklausos viduje, greta lentelės, kurią norite papildyti.
-- Tiesioginis naudojimas SQL užklausoje
SELECT SNOWFLAKE.CORTEX.COMPLETE(
'mistral-large',
'Apibendrinkite šią finansinę ataskaitą trimis pagrindiniais punktais.'
) AS resume;
Įsivaizduokite lentelę su tūkstančiais ataskaitų: vietoj to, kad eksportuotumėte turinį į „Python“ scenarijų, iškviestumėte API ir iš naujo importuotumėte rezultatus, parašote užklausą, kuri tiesiogiai sukuria santraukos stulpelį. Tai akivaizdus pasirinkimas, kai jūsų duomenų vamzdynas jau yra „Snowflake“ aplinkoje, o valdymo taisyklės draudžia bet kokį duomenų išvedimą.
IBM watsonx
„IBM watsonx.ai“ savo kataloge siūlo Mistral modelius, įskaitant „Mistral Large“. Prieiga vykdoma per „watsonx“ API naudojant „IBM Cloud“ prisijungimo duomenis: sukuriate objektą ModelInference, perduodami modelio ID, savo prisijungimo duomenis ir tikslinį projektą. Atkreipkite dėmesį į regioninį URL pavyzdyje – jis nustato, kur vykdoma išvada; tai detalė, kurią reikia patikrinti, jei turite duomenų rezidencijos reikalavimų.
from ibm_watsonx_ai import Credentials
from ibm_watsonx_ai.foundation_models import ModelInference
model = ModelInference(
model_id="mistralai/mistral-large",
credentials=Credentials(url="https://eu-de.ml.cloud.ibm.com", api_key="..."),
project_id="your-project-id"
)
response = model.generate_text("Paaiškinkite duomenų tinklo (data mesh) koncepciją.")
Outscale – Prancūzijos suvereni debesis
„Outscale“, Prancūzijos suvereni debesis, kvalifikuota kaip „SecNumCloud“, taip pat siūlo Mistral modelius. Viešojo sektoriaus, gynybos ar sveikatos priežiūros organizacijoms, taikomoms griežtiems reguliavimo apribojimams, ši parinktis garantuoja, kad ir duomenys, ir jų apdorojimas lieka Prancūzijoje. Tokiais atvejais tai yra vienintelis svarbus kriterijus: kvalifikacija turi viršenybę prieš integracijos patogumą arba kūrėjo patirtį.
Tinkamo tiekėjo pasirinkimas
Pasirinkimas beveik niekada nepriklauso nuo pačių modelių, nes tie patys modeliai yra plačiai prieinami įvairiose platformose. Jis priklauso nuo to, kur yra jūsų duomenys, jūsų sutarties sąlygų ir atitikties reikalavimų.
| Tiekėjas | Kada jį pasirinkti |
|---|---|
| Tiesioginė Mistral API | Paprasčiausia, prieinami visi modeliai, idealu pradedant |
| Azure AI | Jei jau naudojate „Azure“, konsoliduotas atsiskaitymas |
| Google Vertex AI | Jei naudojate „GCP“, vietinis IAM autentifikavimas |
| AWS Bedrock | Jei naudojate „AWS“, integracija su „AWS“ ekosistema |
| Snowflake Cortex | Jei jūsų duomenys yra „Snowflake“ |
| Outscale | Jei turite Prancūzijos suvereniteto reikalavimų |
Naudinga taisyklė: pradėkite nuo tiesioginės API, kad patvirtintumėte, jog modelis atitinka jūsų poreikius, o projektui pereinant į gamybinę aplinką, pereikite prie savo ekosistemos tiekėjo. Programos kodas keičiasi nedaug; didžioji darbo dalis susijusi su autentifikavimu ir modelių pavadinimais.
Patikrinimas prieš diegimą
Debesų tiekėjų modelių ID yra versijuojami ir keičiasi su kiekviena karta (pvz., mistral.mistral-large-2512-v1:0 „Bedrock“ aplinkoje). Prieš sujungdami diegimą, patikrinkite tikslią reikšmę tiekėjo valdymo skydelyje: tai yra tiksliausias šaltinis, o pasenęs ID sukels prieigos klaidą, kurią sunku diagnozuoti.
Svarbiausi punktai
- „AWS Bedrock“ naudoja boto3 ir
converse()API, o ne Mistral SDK - „Bedrock“ žinučių formatas šiek tiek skiriasi (turinys kaip objektų masyvas)
- „Snowflake Cortex“ integruoja Mistral tiesiai į SQL užklausas
- „IBM watsonx“ ir „Outscale“ siūlo alternatyvas specifiniams poreikiams
- Pasirinkite tiekėją pagal savo esamą debesų ekosistemą ir reguliavimo apribojimus