Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

AWS Bedrock ir kiti debesų tiekėjai

Paskaita 13 iš 14 Atnaujinta 2026 m. liepos 29 d. Kūrėjas
Šiame puslapyje
  1. Mistral debesų ekosistema
  2. AWS Bedrock
  3. Snowflake Cortex
  4. IBM watsonx
  5. Outscale – Prancūzijos suvereni debesis
  6. Tinkamo tiekėjo pasirinkimas
  7. Patikrinimas prieš diegimą
  8. Svarbiausi punktai

Mistral debesų ekosistema

Be „Azure“ ir „Google Cloud“, Mistral modeliai yra prieinami ir keliose kitose platformose. Šioje pamokoje išsamiai nagrinėsime „AWS Bedrock“, nes tai yra dažniausiai pasirenkama alternatyva, kuri labiausiai skiriasi nuo to, ką iki šiol išmokai. Tada trumpai aptarsime integracijas su „Snowflake Cortex“, „IBM watsonx“ ir „Outscale“.

AWS Bedrock

„Amazon Bedrock“ yra „AWS“ valdoma paslauga pagrindiniams modeliams (foundation models). Ji suteikia vieningą API, jungiantį kelis tiekėjus – „Anthropic“, „Meta“, „Mistral“ ir kitus, – per „AWS“ tvarkydama atsiskaitymus, saugumą ir atitiktį reikalavimams. Komandoms, jau naudojančioms „AWS“, tai reiškia, kad Mistral modeliai veikia tame pačiame IAM kontekste, naudoja tuos pačius „CloudWatch“ žurnalus ir atsiranda toje pačioje sąskaitoje kaip ir likusi jūsų infrastruktūra.

Kalbant apie katalogą, „Bedrock“ suteikia prieigą prie šių modelių. Tikslus sąrašas priklauso nuo jūsų regiono ir keičiasi išleidus naujas versijas; „Model Access“ puslapis valdymo skydelyje yra tiksliausias šaltinis.

ModelisPozicionavimas
Mistral Large 3Pagrindinis modelis (ankstesnės „Mistral Large“ versijos vis dar prieinamos)
Mistral SmallGreitas ir ekonomiškai efektyvus
Ministral (3B, 8B, 14B)Kompaktiški modeliai
Mixtral 8x7BEkspertų mišinio (mixture-of-experts) modelis
Pixtral LargeMultimodalinis (tekstas + vaizdai)

Pasirengimas prieigai

Prieš atlikdami pirmąjį užklausimą, turite užtikrinti keturias sąlygas:

  1. Turėti AWS paskyrą su prieiga prie regiono, kuris palaiko „Bedrock“
  2. Turėti IAM principą su leidimais bedrock:InvokeModel ir bedrock:InvokeModelWithResponseStream
  3. Suconfigūruotą AWS CLI ir įdiegtą boto3
  4. Įgalinti Mistral modelius „Bedrock“ valdymo skydelyje („Model Access“)
pip install boto3>=1.34.131
aws configure  # Įveskite savo prisijungimo duomenis

Antrasis leidimas yra tas, kurį žmonės dažnai pamiršta: principas, turintis tik bedrock:InvokeModel, veikia sinchroniniu režimu, tačiau nepavyks atlikus pirmąjį srautinį (streaming) užklausimą. 4 žingsnis panašus į modelių įgalinimą „Google“ „Model Garden“: kol neatrakinsite modelio skiltyje „Model Access“, joks IAM leidimas neveiks.

Modelio iškvietimas naudojant boto3

Štai esminis skirtumas, lyginant su „Azure“ ir „Vertex“: „Bedrock“ nenaudojate Mistral SDK. Viskas vyksta per vietinį „AWS“ SDK – boto3, naudojant converse() API, bendrą visiems platformos tiekėjams.

import boto3
import json

client = boto3.client('bedrock-runtime', region_name='us-west-2')

response = client.converse(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[
        {
            "role": "user",
            "content": [{"text": "Kokie yra serverless architektūros privalumai AWS aplinkoje?"}]
        }
    ],
    inferenceConfig={
        "temperature": 0.3,
        "maxTokens": 1024
    }
)

texte = response["output"]["message"]["content"][0]["text"]
print(texte)

Srautinis apdorojimas veikia pagal tą pačią logiką, naudojant converse_stream() ir iteruojant per srauto įvykius. Atkreipkite dėmesį, kad turite patikrinti raktą contentBlockDelta: „Bedrock“ srautas taip pat perduoda bloko pradžios ir pabaigos įvykius, kuriuose teksto nėra.

response = client.converse_stream(
    modelId="mistral.mistral-large-2512-v1:0",
    messages=[
        {
            "role": "user",
            "content": [{"text": "Aprašykite Lambda + API Gateway architektūrą."}]
        }
    ],
    inferenceConfig={"temperature": 0.3, "maxTokens": 1024}
)

for event in response["stream"]:
    if "contentBlockDelta" in event:
        texte = event["contentBlockDelta"]["delta"].get("text", "")
        print(texte, end="", flush=True)

Jei perkelsite kodą, parašytą tiesioginei Mistral API, tikėkitės keturių skirtumų. Pirma, content dabar yra ne eilutė, o objektų masyvas {"text": "..."}. Antra, modelId laikosi „AWS“ formato mistral.{model}-v{version}:{number}: skirtingai nei tiesioginėje API naudojami -latest aliasai, čia jūs nurodote konkrečią versiją ir turite ją atnaujinti rankiniu būdu. Trečia, išvados parametrai sugrupuoti atskirame inferenceConfig objekte, o ne perduodami aukščiausiu lygmeniu. Galiausiai, Mistral SDK nenaudojamas: atsakymai yra boto3 žodynai, o ne tipizuoti modeliai, todėl taikomas aukščiau parodytas prieiga pagal raktus.

Snowflake Cortex

„Snowflake“ integruoja Mistral modelius, įskaitant „Mistral Large“, tiesiai į savo duomenų platformą per Cortex AI. Pagrindinis privalumas paprastas: jūsų duomenys niekada neišeina iš „Snowflake“. Modelio iškvietimas tampa SQL funkcija, iškviečiama užklausos viduje, greta lentelės, kurią norite papildyti.

-- Tiesioginis naudojimas SQL užklausoje
SELECT SNOWFLAKE.CORTEX.COMPLETE(
  'mistral-large',
  'Apibendrinkite šią finansinę ataskaitą trimis pagrindiniais punktais.'
) AS resume;

Įsivaizduokite lentelę su tūkstančiais ataskaitų: vietoj to, kad eksportuotumėte turinį į „Python“ scenarijų, iškviestumėte API ir iš naujo importuotumėte rezultatus, parašote užklausą, kuri tiesiogiai sukuria santraukos stulpelį. Tai akivaizdus pasirinkimas, kai jūsų duomenų vamzdynas jau yra „Snowflake“ aplinkoje, o valdymo taisyklės draudžia bet kokį duomenų išvedimą.

IBM watsonx

„IBM watsonx.ai“ savo kataloge siūlo Mistral modelius, įskaitant „Mistral Large“. Prieiga vykdoma per „watsonx“ API naudojant „IBM Cloud“ prisijungimo duomenis: sukuriate objektą ModelInference, perduodami modelio ID, savo prisijungimo duomenis ir tikslinį projektą. Atkreipkite dėmesį į regioninį URL pavyzdyje – jis nustato, kur vykdoma išvada; tai detalė, kurią reikia patikrinti, jei turite duomenų rezidencijos reikalavimų.

from ibm_watsonx_ai import Credentials
from ibm_watsonx_ai.foundation_models import ModelInference

model = ModelInference(
    model_id="mistralai/mistral-large",
    credentials=Credentials(url="https://eu-de.ml.cloud.ibm.com", api_key="..."),
    project_id="your-project-id"
)

response = model.generate_text("Paaiškinkite duomenų tinklo (data mesh) koncepciją.")

Outscale – Prancūzijos suvereni debesis

„Outscale“, Prancūzijos suvereni debesis, kvalifikuota kaip „SecNumCloud“, taip pat siūlo Mistral modelius. Viešojo sektoriaus, gynybos ar sveikatos priežiūros organizacijoms, taikomoms griežtiems reguliavimo apribojimams, ši parinktis garantuoja, kad ir duomenys, ir jų apdorojimas lieka Prancūzijoje. Tokiais atvejais tai yra vienintelis svarbus kriterijus: kvalifikacija turi viršenybę prieš integracijos patogumą arba kūrėjo patirtį.

Tinkamo tiekėjo pasirinkimas

Pasirinkimas beveik niekada nepriklauso nuo pačių modelių, nes tie patys modeliai yra plačiai prieinami įvairiose platformose. Jis priklauso nuo to, kur yra jūsų duomenys, jūsų sutarties sąlygų ir atitikties reikalavimų.

TiekėjasKada jį pasirinkti
Tiesioginė Mistral APIPaprasčiausia, prieinami visi modeliai, idealu pradedant
Azure AIJei jau naudojate „Azure“, konsoliduotas atsiskaitymas
Google Vertex AIJei naudojate „GCP“, vietinis IAM autentifikavimas
AWS BedrockJei naudojate „AWS“, integracija su „AWS“ ekosistema
Snowflake CortexJei jūsų duomenys yra „Snowflake“
OutscaleJei turite Prancūzijos suvereniteto reikalavimų

Naudinga taisyklė: pradėkite nuo tiesioginės API, kad patvirtintumėte, jog modelis atitinka jūsų poreikius, o projektui pereinant į gamybinę aplinką, pereikite prie savo ekosistemos tiekėjo. Programos kodas keičiasi nedaug; didžioji darbo dalis susijusi su autentifikavimu ir modelių pavadinimais.

Patikrinimas prieš diegimą

Debesų tiekėjų modelių ID yra versijuojami ir keičiasi su kiekviena karta (pvz., mistral.mistral-large-2512-v1:0 „Bedrock“ aplinkoje). Prieš sujungdami diegimą, patikrinkite tikslią reikšmę tiekėjo valdymo skydelyje: tai yra tiksliausias šaltinis, o pasenęs ID sukels prieigos klaidą, kurią sunku diagnozuoti.

Svarbiausi punktai

  • „AWS Bedrock“ naudoja boto3 ir converse() API, o ne Mistral SDK
  • „Bedrock“ žinučių formatas šiek tiek skiriasi (turinys kaip objektų masyvas)
  • „Snowflake Cortex“ integruoja Mistral tiesiai į SQL užklausas
  • „IBM watsonx“ ir „Outscale“ siūlo alternatyvas specifiniams poreikiams
  • Pasirinkite tiekėją pagal savo esamą debesų ekosistemą ir reguliavimo apribojimus