AWS Bedrock
Ar an leathanach seo
Mistral ar Amazon Bedrock
Is é Amazon Bedrock seirbhís bhainistithe AWS chun bunmhúnlaí a rochtain trí API aontaithe. Cuireann Mistral AI líne iomlán múnlaí ar fáil anseo, ón Mistral 7B éadrom go dtí an Mistral Large 3 cumhachtach. Braitheann an comhtháthú ar an AWS SDK caighdeánach, boto3. Déanann sé seo rogha tarraingteach de do fhoirne atá cheana féin bunaithe ar AWS: gan eochracha díoltóra breise a scaipeadh, gan conarthaí nua a fhormheas, agus le samhlacha fíordheimhniú atá máistir ag do riarthóirí cheana féin.
Is é catalóg Bedrock ceann de na cinn is cuimsithí do Mistral. Gheobhaidh tú Mistral Large 3 le haghaidh réasúnaíochta ardfhorbartha agus tascanna ilmhóideacha, an líne éadrom Ministral 3B / 8B / 14B, leaganacha níos luaithe cosúil le Mistral Large 24.07 agus 24.02 (a choinnítear go minic chun seachaint briseadh ar leideanna calabrálta), Mistral Small le haghaidh próiseála tapa agus cost-éifeachtach, Mixtral 8x7B lena ailtireacht Mixture-of-Experts, an bunmhúnla oscailte Mistral 7B, agus Pixtral Large le haghaidh cumais físe agus ilmhóideacha. Ligeann an doimhneacht seo duit múnla saor a rith le haghaidh aicmiú ollmhór taobh le múnla arddeireadh le haghaidh achoimrí delicate laistigh den fheidhmchlár céanna.
Réamhriachtanais
Caithfear trí choinníoll a chomhlíonadh sula ndéanann tú do chéad ghlao. Ar dtús, teastaíonn cuntas AWS uait i réigiún a thacaíonn le Bedrock. Ar an dara dul síos, teastaíonn príomhaí IAM—úsáideoir nó ról—a bhfuil an dá chead Bedrock de dhíth air:
bedrock:InvokeModelbedrock:InvokeModelWithResponseStream
Ar deireadh, ní mór múnlaí Mistral a bheith cumasaithe sa chonsól Bedrock do do réigiún sonrach. Is é an céim dheireanach seo a chuireann go leor foirne amú: d’fhéadfadh do cheadanna IAM a bheith foirfe, ach mura bhfuil an múnla cumasaithe sa réigiún a bhfuil tú ag glaoch air, fanann sé as do rochtain. Tarlaíonn an cumasú réigiún ar réigiún, rud a mhíníonn teipeanna tar éis aistriú ó us-west-2 go crios eile.
Ar thaobh an stáisiúin oibre, tá an suiteáil teoranta don AWS SDK:
pip install boto3>=1.34.131
Ansin, cumraigh do chreidiúintí mar is gnách:
aws configure
# AWS Access Key ID: your-access-key
# AWS Secret Access Key: your-secret-key
# Default region name: us-west-2
# Default output format: json
Glaoch tríd an API Converse
Aontaíonn Bedrock rochtain ar sholáthraithe éagsúla taobh thiar d’aon mhodh amháin: converse(). Go praiticiúil, glaonn an cód céanna ar mhúnla Mistral nó ar aon mhúnla eile sa chatalóg; ní athraíonn ach an t-aitheantóir. Ní teaghrán simplí é inneachar na teachtaireachta ach liosta blocanna, agus grúpáiltear socruithe giniúna faoi inferenceConfig seachas a bheith comhréidh ag an leibhéal barr.
import boto3
client = boto3.client("bedrock-runtime", region_name="us-west-2")
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Explain the concept of a VPC in AWS in 5 points."}]
}
],
inferenceConfig={
"temperature": 0.3,
"maxTokens": 1024
}
)
# Extract the response
output = response["output"]["message"]["content"][0]["text"]
print(output)
Leanann aitheantóirí an formáid mistral.<model-name>-<version>:0. Ós rud é go bhfuil siad leaganaithe, is fearr iad a lárnú i dtairiseach seachas iad a chóipeáil isteach i ngach glao:
# Common models (versioned identifiers — check the Bedrock console for the current list)
MODELS = {
"large_3": "mistral.mistral-large-2512-v1:0",
"small": "mistral.mistral-small-2402-v1:0",
"mixtral": "mistral.mixtral-8x7b-instruct-v0:1",
"mistral_7b": "mistral.mistral-7b-instruct-v0:2",
}
Le haghaidh freagairtí fada, filleann converse_stream sruth imeachta a dhéanann tú atriall air de réir mar a thagann sé. Ligeann sé seo d’aghaidh téacs a thaispeáint agus é á ghiniúint, in ionad fanacht roinnt soicind le scáileán reoite.
response = client.converse_stream(
modelId="mistral.mistral-large-2512-v1:0",
messages=[
{
"role": "user",
"content": [{"text": "Generate a complete guide on Lambda functions."}]
}
],
inferenceConfig={"maxTokens": 2048}
)
for event in response["stream"]:
if "contentBlockDelta" in event:
text = event["contentBlockDelta"]["delta"].get("text", "")
print(text, end="", flush=True)
An SDK Mistral Dúchasach, agus Cén Fáth É a Sheachaint Anseo
Má fhearr leat an cliant Mistral caighdeánach, ligeann oiriúntóir duit é a dhíriú ar an bpointe deiridh Bedrock:
import os
from mistralai.client import Mistral
# Configuration for Bedrock
client = Mistral(
api_key=os.environ.get("AWS_SECRET_ACCESS_KEY", ""),
server_url=f"https://bedrock-runtime.us-west-2.amazonaws.com"
)
Mar sin féin, moltar an cur chuige boto3 ar AWS toisc go gcomhtháthaíonn sé go dúchasach le IAM, CloudWatch, agus seirbhísí AWS eile. Go praiticiúil, tugann roghnú boto3 duit rothlú uathoibríoch creidiúintí trí róil agus inbhreathnaitheacht gan líne amháin breise cód a scríobh.
Comhtháthú leis an Éiceachóras AWS
Seolann Bedrock méadrachtaí go huathoibríoch chuig CloudWatch: Invocations do líon na nglao, InvocationLatency do mhoill iarratais, agus InputTokenCount agus OutputTokenCount do thomhaltas token. Faigheann tú deascmhéadar costais agus feidhmíochta gan d’fheidhmchlár a ionstraimiú. Is leor seiceáil ghasta ón líne ordaithe chun an toirt a fhíorú do thréimhse ar leith:
# Check metrics via AWS CLI
aws cloudwatch get-metric-statistics \
--namespace "AWS/Bedrock" \
--metric-name "Invocations" \
--start-time 2026-04-01T00:00:00Z \
--end-time 2026-04-03T23:59:59Z \
--period 3600 \
--statistics Sum
Tairgeann AWS a chuid cosantóirí (guardrails) féin freisin, a fhorlíonann cinn Mistral. Ceanglaítear iad seo ag leibhéal an ghlao, rud a ligeann duit polasaí scagtha comhsheasmhach a chur i bhfeidhm ar gach múnla sa chatalóg, beag beann ar a soláthraí:
response = client.converse(
modelId="mistral.mistral-large-2512-v1:0",
messages=[{"role": "user", "content": [{"text": "..."}]}],
guardrailConfig={
"guardrailIdentifier": "my-guardrail-id",
"guardrailVersion": "1"
}
)
Difríochtaí ón API Mistral Díreach
| Gné | API Mistral | AWS Bedrock |
|---|---|---|
| SDK | mistralai | boto3 |
| Fíordheimhniú | Eochair API | IAM (SigV4) |
| API | chat.complete() | converse() |
| Sruthú | chat.stream() | converse_stream() |
| Monatóireacht | De láimh | CloudWatch Dúchasach |
| Billeáil | Mistral | AWS |
Míníonn an tábla seo cén fáth nach athrú URL amháin atá i gceist le portáil ón API Mistral riamh: athraíonn formáid na teachtaireachta, an modh a ghlaotar, agus an sásra fíordheimhniú go léir ag an am céanna. Pleanáil sraithe teibíochta i do chód má tá sé ar intinn agat an dá cheann a fhreastal.
Príomhphointí
- Úsáideann Bedrock
boto3agus an APIconverse()—ní an cliant Mistral caighdeánach - Téann an fíordheimhniú trí IAM, ní trí eochair API Mistral
- Seoltar méadrachtaí CloudWatch go huathoibríoch (moill, tokenanna, glaonna)
- Cumasaigh múnlaí sa chonsól Bedrock sula n-úsáideann tú iad
- Tá aitheantóirí Bedrock leaganaithe (
mistral.mistral-large-2512-v1:0) agus athraíonn siad le gach glúin: fíoraigh an luach cruinn sa chonsól Bedrock sula ndéanann tú imlonnú - Tarlaíonn an sruthú trí
converse_stream()le himeachtaí