AWS Bedrock i inni dostawcy chmury
Na tej stronie
Ekosystem chmurowy Mistral
Poza Azure i Google Cloud, modele Mistral są dostępne na kilku innych platformach. W tej lekcji szczegółowo omówimy AWS Bedrock, ponieważ jest to najczęstsza alternatywa, która najbardziej różni się od tego, czego nauczyłeś się do tej pory. Następnie krótko przedstawimy integracje ze Snowflake Cortex, IBM watsonx oraz Outscale.
AWS Bedrock
Amazon Bedrock to zarządzana usługa AWS przeznaczona dla modeli podstawowych (foundation models). Udostępnia ona zunifikowane API dla wielu dostawców – Anthropic, Meta, Mistral i innych – obsługując rozliczenia, bezpieczeństwo i zgodność z przepisami poprzez AWS. Dla zespołów już korzystających z AWS oznacza to, że modele Mistral działają w tym samym zakresie IAM, używają tych samych logów CloudWatch i pojawiają się na tej samej fakturze co reszta Twojej infrastruktury.
Jeśli chodzi o katalog, Bedrock zapewnia dostęp do następujących modeli. Dokładna lista zależy od Twojego regionu i zmienia się wraz z nowymi wydaniami; strona „Model Access“ w konsoli jest jedynym wiarygodnym źródłem informacji.
| Model | Pozycjonowanie |
|---|---|
| Mistral Large 3 | Model flagowy (poprzednie wersje Mistral Large pozostają dostępne) |
| Mistral Small | Szybki i opłacalny |
| Ministral (3B, 8B, 14B) | Modele kompaktowe |
| Mixtral 8x7B | Model typu mixture-of-experts |
| Pixtral Large | Multimodalny (tekst + obrazy) |
Przygotowanie dostępu
Zanim wykonasz pierwsze wywołanie, musisz spełnić cztery warunki:
- Posiadać konto AWS z dostępem do regionu obsługującego Bedrock
- Mieć principal IAM z uprawnieniami
bedrock:InvokeModelorazbedrock:InvokeModelWithResponseStream - Mieć skonfigurowany AWS CLI i zainstalowane boto3
- Włączyć modele Mistral w konsoli Bedrock (sekcja Model Access)
pip install boto3>=1.34.131
aws configure # Wprowadź swoje dane uwierzytelniające
Drugie uprawnienie to to, o którym ludzie często zapominają: principal posiadający tylko bedrock:InvokeModel zadziała w trybie synchronicznym, ale pierwsze wywołanie strumieniowe zakończy się niepowodzeniem. Krok 4 jest podobny do włączania modeli w Model Garden Google: dopóki nie odblokujesz modelu w sekcji Model Access, żadne uprawnienie IAM nie zadziała.
Wywołanie modelu za pomocą boto3
Oto główna różnica w porównaniu z Azure i Vertex: w Bedrock nie używasz SDK Mistral. Wszystko odbywa się przez natywne SDK AWS, boto3, korzystające z API converse(), wspólnego dla wszystkich dostawców na tej platformie.
import boto3
import json
client = boto3.client('bedrock-runtime', region_name='us-west-2')
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "What are the advantages of a serverless architecture on AWS?"}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
texte = response["output"]["message"]["content"][0]["text"]
print(texte)
Strumieniowanie działa na tej samej zasadzie, wykorzystując converse_stream() i iterując po zdarzeniach strumienia. Pamiętaj, że musisz sprawdzić obecność klucza contentBlockDelta: strumień Bedrock zawiera również zdarzenia rozpoczęcia i zakończenia bloku, które nie zawierają tekstu.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Describe the Lambda + API Gateway architecture."}]
}
],
inferenceConfig={"temperature": 0.3, "maxTokens": 1024}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
texte = event["contentBlockDelta"]["delta"].get("text", "")
print(texte, end="", flush=True)
Jeśli przenosisz kod napisany dla bezpośredniego API Mistral, spodziewaj się czterech różnic. Po pierwsze, content nie jest już ciągiem znaków, lecz tablicą obiektów {"text": "..."}. Po drugie, modelId遵循 formatu AWS mistral.{model}-v{wersja}:{numer}: w przeciwieństwie do aliasów -latest w bezpośrednim API, przypinasz konkretną wersję i musisz ją aktualizować ręcznie. Po trzecie, parametry wnioskowania są zgrupowane w osobnym obiekcie inferenceConfig, zamiast być przekazywane na najwyższym poziomie. Wreszcie, nie bierze udziału żadne SDK Mistral: odpowiedzi to słowniki boto3, a nie typowane modele, stąd dostęp oparty na kluczach pokazany powyżej.
Snowflake Cortex
Snowflake integruje modele Mistral, w tym Mistral Large, bezpośrednio ze swoją platformą danych poprzez Cortex AI. Główna zaleta jest prosta: Twoje dane nigdy nie opuszczają Snowflake. Wywołanie modelu staje się funkcją SQL wywoływaną wewnątrz zapytania, tuż obok tabeli, którą chcesz wzbogacić.
-- Bezpośrednie użycie w zapytaniu SQL
SELECT SNOWFLAKE.CORTEX.COMPLETE(
'mistral-large',
'Summarize this financial report in three key points.'
) AS resume;
Wyobraź sobie tabelę z tysiącami raportów: zamiast eksportować zawartość do skryptu Pythona, wywoływać API i ponownie importować wyniki, piszesz zapytanie, które bezpośrednio generuje kolumnę z podsumowaniem. Jest to oczywisty wybór, gdy Twój potok danych już działa w Snowflake, a zasady ładu korporacyjnego zabraniają jakiegokolwiek wypływu danych na zewnątrz.
IBM watsonx
IBM watsonx.ai oferuje modele Mistral, w tym Mistral Large, w swoim katalogu. Dostęp odbywa się przez API watsonx przy użyciu poświadczeń IBM Cloud: instancjonujesz obiekt ModelInference, przekazując ID modelu, swoje poświadczenia i docelowy projekt. Zwróć uwagę na regionalny URL w przykładzie – determinuje on, gdzie uruchamiane jest wnioskowanie; jest to szczegół, który musisz zweryfikować, jeśli masz wymagania dotyczące rezydencji danych.
from ibm_watsonx_ai import Credentials
from ibm_watsonx_ai.foundation_models import ModelInference
model = ModelInference(
model_id="mistralai/mistral-large",
credentials=Credentials(url="https://eu-de.ml.cloud.ibm.com", api_key="..."),
project_id="your-project-id"
)
response = model.generate_text("Explain the data mesh concept.")
Outscale, francuska chmura suwerenna
Outscale, francuska chmura suwerenna posiadająca kwalifikację SecNumCloud, również oferuje modele Mistral. Dla organizacji sektora publicznego, obronności lub ochrony zdrowia, podlegających ścisłym ograniczeniom regulacyjnym, opcja ta gwarantuje, że zarówno dane, jak i przetwarzanie pozostają we Francji. W tych kontekstach jest to jedyne kryterium, które się liczy: kwalifikacja ma pierwszeństwo przed wygodą integracji czy doświadczeniem deweloperskim.
Wybór właściwego dostawcy
Wybór prawie nigdy nie zależy od samych modeli, ponieważ te same są szeroko dostępne na różnych platformach. Zależy on od tego, gdzie znajdują się Twoje dane, od Twojej umowy oraz od zobowiązań dotyczących zgodności.
| Dostawca | Kiedy go wybrać |
|---|---|
| Bezpośrednie API Mistral | Najprostsze, wszystkie modele dostępne, idealne na start |
| Azure AI | Jeśli już korzystasz z Azure, skonsolidowane rozliczenia |
| Google Vertex AI | Jeśli korzystasz z GCP, natywna autentyfikacja IAM |
| AWS Bedrock | Jeśli korzystasz z AWS, integracja z ekosystemem AWS |
| Snowflake Cortex | Jeśli Twoje dane są w Snowflake |
| Outscale | Jeśli masz wymagania dotyczące francuskiej suwerenności |
Przydatna zasada ogólna: zacznij od bezpośredniego API, aby zweryfikować, czy model spełnia Twoje potrzeby, a następnie migruj do dostawcy w ramach swojego ekosystemu, gdy projekt trafi do produkcji. Kod aplikacji zmienia się niewiele; większość pracy dotyczy autentyfikacji i nazewnictwa modeli.
Sprawdzenie przed wdrożeniem
ID modeli u dostawców chmury są wersjonowane i zmieniają się z każdą generacją (np. mistral.mistral-large-2512-v1:0 w Bedrock). Przed podpięciem wdrożenia sprawdź dokładną wartość w konsoli dostawcy: jest to jedyne wiarygodne źródło, a przestarzałe ID powoduje błędy dostępu, które trudno zdiagnozować.
Kluczowe wnioski
- AWS Bedrock używa boto3 i API
converse()– a nie SDK Mistral - Format wiadomości w Bedrock nieco się różni (content jako tablica obiektów)
- Snowflake Cortex integruje Mistral bezpośrednio z zapytaniami SQL
- IBM watsonx i Outscale oferują alternatywy dla specyficznych potrzeb
- Wybierz dostawcę w oparciu o swój istniejący ekosystem chmurowy i ograniczenia regulacyjne