AWS Bedrock
Σε αυτήν τη σελίδα
Το Mistral στο Amazon Bedrock
Το Amazon Bedrock είναι η διαχειριζόμενη υπηρεσία της AWS για πρόσβαση σε θεμελιώδη μοντέλα μέσω ενός ενιαίου API. Η Mistral AI προσφέρει εδώ μια πλήρη γκάμα, από το ελαφρύ Mistral 7B έως το ισχυρό Mistral Large 3. Η ενσωμάτωση βασίζεται στο πρότυπο AWS SDK, το boto3. Αυτό το καθιστά ελκυστική επιλογή για ομάδες που δραστηριοποιούνται ήδη στην AWS: δεν χρειάζεται να διακινείτε επιπλέον κλειδιά προμηθευτών, δεν απαιτούνται νέες εγκρίσεις συμβάσεων και το μοντέλο πιστοποίησης είναι ήδη οικείο στους διαχειριστές σας.
Ο κατάλογος του Bedrock είναι ένας από τους πιο εκτεταμένους για τη Mistral. Θα βρείτε το Mistral Large 3 για προηγμένο συλλογισμό και πολυτροπικές εργασίες, την ελαφριά σειρά Ministral 3B / 8B / 14B, παλαιότερες εκδόσεις όπως τα Mistral Large 24.07 και 24.02 (που συχνά διατηρούνται για να αποφευχθεί η διακοπή λειτουργίας βαθμονομημένων prompts), το Mistral Small για γρήγορη και οικονομική επεξεργασία, το Mixtral 8x7B με την αρχιτεκτονική Mixture-of-Experts, το θεμελιώδες ανοιχτού βάρους μοντέλο Mistral 7B, και το Pixtral Large για δυνατότητες όρασης και πολυτροπικές λειτουργίες. Αυτό το βάθος σας επιτρέπει να εκτελείτε ένα φθηνό μοντέλο για μαζική ταξινόμηση παράλληλα με ένα μοντέλο υψηλής απόδοσης για λεπτές περιλήψεις μέσα στην ίδια εφαρμογή.
Προαπαιτούμενα
Πρέπει να πληρούνται τρεις προϋποθέσεις πριν από την πρώτη σας κλήση. Πρώτον, χρειάζεστε έναν λογαριασμό AWS σε μια περιοχή που υποστηρίζει το Bedrock. Δεύτερον, χρειάζεστε μια οντότητα IAM (χρήστη ή ρόλο) στην οποία έχουν χορηγηθεί οι δύο απαιτούμενες άδειες Bedrock:
bedrock:InvokeModelbedrock:InvokeModelWithResponseStream
Τέλος, τα μοντέλα της Mistral πρέπει να είναι ενεργοποιημένα στην κονσόλα του Bedrock για τη συγκεκριμένη περιοχή σας. Αυτό το τελευταίο βήμα αιφνιδιάζει πολλές ομάδες: οι άδειες IAM μπορεί να είναι τέλειες, αλλά αν το μοντέλο δεν είναι ενεργοποιημένο στην περιοχή που καλείτε, παραμένει απρόσιτο. Η ενεργοποίηση γίνεται ανά περιοχή, γεγονός που εξηγεί τις αποτυχίες κατά τη μετάβαση από το us-west-2 σε άλλη ζώνη.
Στον σταθμό εργασίας, η εγκατάσταση περιορίζεται στο AWS SDK:
pip install boto3>=1.34.131
Στη συνέχεια, διαμορφώστε τα διαπιστευτήριά σας ως συνήθως:
aws configure
# AWS Access Key ID: your-access-key
# AWS Secret Access Key: your-secret-key
# Default region name: us-west-2
# Default output format: json
Κλήση μέσω του Converse API
Το Bedrock ενοποιεί την πρόσβαση σε διαφορετικούς παρόχους πίσω από μια ενιαία μέθοδο: την converse(). Στην πράξη, ο ίδιος κώδικας καλεί ένα μοντέλο Mistral ή οποιοδήποτε άλλο μοντέλο στον κατάλογο· αλλάζει μόνο το αναγνωριστικό. Το περιεχόμενο του μηνύματος δεν είναι μια απλή συμβολοσειρά, αλλά μια λίστα μπλοκ, και οι ρυθμίσεις παραγωγής ομαδοποιούνται κάτω από το inferenceConfig αντί να είναι επίπεδες στο ανώτατο επίπεδο.
import boto3
client = boto3.client("bedrock-runtime", region_name="us-west-2")
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Explain the concept of a VPC in AWS in 5 points."}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
# Εξαγωγή της απάντησης
output = response["output"]["message"]["content"][0]["text"]
print(output)
Τα αναγνωριστικά ακολουθούν τη μορφή mistral.<model-name>-<version>:0. Επειδή έχουν εκδοθεί με αριθμό έκδοσης, είναι προτιμότερο να τα κεντροποιείτε σε μια σταθερά αντί να τα αντιγράφετε σε κάθε κλήση:
# Κοινά μοντέλα (αναγνωριστικά με έκδοση — ελέγξτε την κονσόλα Bedrock για την τρέχουσα λίστα)
MODELS = {
"large_3": "mistral.mistral-large-2512-v1:0",
"small": "mistral.mistral-small-2402-v1:0",
"mixtral": "mistral.mixtral-8x7b-instruct-v0:1",
"mistral_7b": "mistral.mistral-7b-instruct-v0:2",
}
Για μεγάλες απαντήσεις, η converse_stream επιστρέφει μια ροή γεγονότων την οποία επαναλαμβάνετε καθώς φτάνουν. Αυτό επιτρέπει σε μια διεπαφή να εμφανίζει κείμενο ενώ παράγεται, αντί να περιμένετε αρκετά δευτερόλεπτα με μια παγωμένη οθόνη.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Generate a complete guide on Lambda functions."}]
}
],
inferenceConfig={"maxTokens": 2048}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
text = event["contentBlockDelta"]["delta"].get("text", "")
print(text, end="", flush=True)
Το Εγγενές SDK της Mistral και γιατί να το αποφύγετε εδώ
Αν προτιμάτε τον πρότυπο πελάτη Mistral, ένας προσαρμογέας σας επιτρέπει να τον κατευθύνετε στο endpoint του Bedrock:
import os
from mistralai.client import Mistral
# Διαμόρφωση για Bedrock
client = Mistral(
api_key=os.environ.get("AWS_SECRET_ACCESS_KEY", ""),
server_url=f"https://bedrock-runtime.us-west-2.amazonaws.com"
)
Ωστόσο, η προσέγγιση με boto3 συνιστάται στην AWS επειδή ενσωματώνεται εγγενώς με το IAM, το CloudWatch και άλλες υπηρεσίες AWS. Στην πράξη, η επιλογή του boto3 σας προσφέρει αυτόματη περιστροφή διαπιστευτηρίων μέσω ρόλων και παρατηρησιμότητα χωρίς να γράψετε ούτε μία επιπλέον γραμμή κώδικα.
Ενσωμάτωση με το Οικοσύστημα της AWS
Το Bedrock στέλνει αυτόματα μετρικές στο CloudWatch: Invocations για τον αριθμό κλήσεων, InvocationLatency για την καθυστέρηση αιτήματος, και InputTokenCount και OutputTokenCount για την κατανάλωση tokens. Αποκτάτε έναν πίνακα ελέγχου κόστους και απόδοσης χωρίς να χρειάζεται να instrumentάρετε την εφαρμογή σας. Ένας γρήγορος έλεγχος από τη γραμμή εντολών αρκεί για να επαληθεύσετε τον όγκο για μια δεδομένη περίοδο:
# Έλεγχος μετρικών μέσω AWS CLI
aws cloudwatch get-metric-statistics \
--namespace "AWS/Bedrock" \
--metric-name "Invocations" \
--start-time 2026-04-01T00:00:00Z \
--end-time 2026-04-03T23:59:59Z \
--period 3600 \
--statistics Sum
Η AWS προσφέρει επίσης τα δικά της guardrails, τα οποία συμπληρώνουν εκείνα της Mistral. Αυτά επισυνάπτονται στο επίπεδο κλήσης, επιτρέποντάς σας να εφαρμόζετε μια συνεπή πολιτική φιλτραρίσματος σε όλα τα μοντέλα του καταλόγου, ανεξάρτητα από τον πάροχό τους:
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[{"role": "user", "content": [{"text": "..."}]}],
guardrailConfig={
"guardrailIdentifier": "my-guardrail-id",
"guardrailVersion": "1"
}
)
Διαφορές από το Άμεσο API της Mistral
| Πτυχή | Mistral API | AWS Bedrock |
|---|---|---|
| SDK | mistralai | boto3 |
| Πιστοποίηση | API Key | IAM (SigV4) |
| API | chat.complete() | converse() |
| Streaming | chat.stream() | converse_stream() |
| Παρακολούθηση | Χειροκίνητη | Εγγενές CloudWatch |
| Χρέωση | Mistral | AWS |
Αυτός ο πίνακας εξηγεί γιατί η μεταφορά από το API της Mistral δεν είναι ποτέ απλώς μια αλλαγή URL: η μορφή του μηνύματος, η μέθοδος που καλείται και ο μηχανισμός πιστοποίησης αλλάζουν όλα ταυτόχρονα. Προγραμματίστε ένα στρώμα αφαίρεσης στον κώδικά σας αν σκοπεύετε να εξυπηρετήσετε και τα δύο.
Βασικά σημεία
- Το Bedrock χρησιμοποιεί το
boto3και το APIconverse()—όχι τον πρότυπο πελάτη Mistral - Η πιστοποίηση γίνεται μέσω IAM, όχι μέσω κλειδιού API της Mistral
- Οι μετρικές CloudWatch στέλνονται αυτόματα (καθυστέρηση, tokens, κλήσεις)
- Ενεργοποιήστε τα μοντέλα στην κονσόλα του Bedrock πριν τα χρησιμοποιήσετε
- Τα αναγνωριστικά του Bedrock έχουν εκδοθεί με αριθμό έκδοσης (
mistral.mistral-large-2512-v1:0) και αλλάζουν με κάθε γενιά: επαληθεύστε την ακριβή τιμή στην κονσόλα Bedrock πριν την ανάπτυξη - Το streaming πραγματοποιείται μέσω της
converse_stream()με γεγονότα