Azure i dtáirgeadh
Ar an leathanach seo
Ullmhú d’Fhormhíniú Láidir ar Azure
Níl aon difríocht idir fréamhshampla oibre ar do ríomhaire glúine agus córas táirgeachta maidir leis an gcód glaonna, a fhanann díreach mar an gcéanna. Is sna gnéithe timpeall an chóid sin a bhíonn an difríocht: cá dtagann rúin, conas a dhéanann tú monatóireacht ar an méid atá ar siúl, cad a tharlaíonn nuair a dhéantar an trácht a dhúbailt, agus cén cosán líonra a thaistealaíonn na sonraí. Clúdaíonn an ceacht seo na ceithre thoise seo d’fhorlíonadh Mistral ar Azure.
Ailtireacht Táirgeachta
Tugann formhíniú tipiciúil cúig bhloc tógála le chéile. Óstálann an críochphointe Azure AI an tsamhail Mistral mar MaaS; stórálann Azure Key Vault eochracha API; soláthraíonn Azure Monitor agus Application Insights inbhreathnaitheacht; feidhmíonn Azure API Management mar gheata le srianadh ráta agus fíordheimhniú os comhair d’iarratais; ar deireadh, soláthraíonn Azure Virtual Network leithlisiú líonra, rud atá roghnach ach a bhíonn ag teastáil go minic do shonraí íogaire.
Ba chóir duit tosú trí rúin a bhaint as do chód agus as athróga timpeallachta, agus an t-iarratas a chur ag léamh iad ag am tosaithe ó Key Vault ina ionad sin.
from azure.identity import DefaultAzureCredential
from azure.keyvault.secrets import SecretClient
from mistralai.azure.client import MistralAzure
# Retrieve the API key from Key Vault
credential = DefaultAzureCredential()
vault_url = "https://mon-keyvault.vault.azure.net"
secret_client = SecretClient(vault_url=vault_url, credential=credential)
endpoint = secret_client.get_secret("mistral-endpoint").value
api_key = secret_client.get_secret("mistral-api-key").value
client = MistralAzure(server_url=endpoint, api_key=api_key)
Téann an tairbhe thar rúndacht shimplí. Nuair a rothlaíonn tú eochair, ní gá athfhorlíonadh iarratais toisc go léitear an luach ón stórseomra seachas é a bheith crua-chódaithe sa chumraíocht.
Monatóireacht le Application Insights
Gan ionstraimiú, is é an t-aon rud a bheidh ar eolas agat faoi theagmhas ná go bhfuil an t-iarratas “mall” de réir úsáideora. Tabharfaidh rianú gach glaonna lena fhad, líon na dtócan, agus an tsamhail duit an méid atá uait chun freagairt laistigh de chúpla nóiméad.
import time
import logging
from opencensus.ext.azure.log_exporter import AzureLogHandler
logger = logging.getLogger(__name__)
logger.addHandler(AzureLogHandler(
connection_string="InstrumentationKey=your-key"
))
def monitored_call(client, messages, model="azureai"):
"""Mistral call with Azure Monitor metrics."""
start = time.time()
try:
response = client.chat.complete(model=model, messages=messages)
duration = time.time() - start
logger.info(
"MistralCall",
extra={
"custom_dimensions": {
"duration_ms": int(duration * 1000),
"prompt_tokens": response.usage.prompt_tokens,
"completion_tokens": response.usage.completion_tokens,
"model": model
}
}
)
return response
except Exception as e:
duration = time.time() - start
logger.error(
f"MistralError: {e}",
extra={
"custom_dimensions": {
"duration_ms": int(duration * 1000),
"error_type": type(e).__name__
}
}
)
raise
Níl luach ar na méadrachtaí seo ach amháin má bhíonn duine éigin ag faire orthu. Cumraigh na foláirimh chomhfhreagracha in Azure Monitor:
- Moill P95 > 5s — díghrádú feidhmíochta
- Ráta earráide 5xx > 1% — fadhbanna taobh freastalaí
- Earráidí 429 > 10/nóim — sroichtear teorainn ráta
- Tomhaltas tócan > 80% den chuóta — ag druidim leis an teorainn
Scálaitheacht
Nuair a fhásann an toirt, is é an chéad bhotún ná an tsamhail a ghlaonna go sioncronach ón iarratas HTTP isteach: leathnaíonn aon mhoilliú díreach chuig an úsáideoir. Ligeann díthiomsú le Azure Service Bus duit buaicphointí a ionsú—cruinníonn iarratais i scuaine agus ídítear iad ag an ráta a cheadaíonn do chuóta.
from azure.servicebus import ServiceBusClient, ServiceBusMessage
import json
# Producer: send requests to the queue
def enqueue_request(prompt: str, request_id: str):
with ServiceBusClient.from_connection_string(conn_str) as sb_client:
sender = sb_client.get_queue_sender(queue_name="mistral-requests")
message = ServiceBusMessage(
json.dumps({"prompt": prompt, "request_id": request_id})
)
sender.send_messages(message)
# Consumer: process requests from the queue
def process_queue():
with ServiceBusClient.from_connection_string(conn_str) as sb_client:
receiver = sb_client.get_queue_receiver(queue_name="mistral-requests")
for msg in receiver:
data = json.loads(str(msg))
response = client.chat.complete(
model="azureai",
messages=[{"role": "user", "content": data["prompt"]}]
)
# Store the result...
receiver.complete_message(msg)
Má thagann an bac ó thréchur féin seachas ón ualach meandrach, forlíon críochphointí iolracha don tsamhail chéanna agus dáil na glaonna eatarthu.
import random
endpoints = [
{"url": os.environ["AZUREAI_ENDPOINT_1"], "key": os.environ["AZUREAI_KEY_1"]},
{"url": os.environ["AZUREAI_ENDPOINT_2"], "key": os.environ["AZUREAI_KEY_2"]},
]
def get_client():
"""Simple round-robin across endpoints."""
ep = random.choice(endpoints)
return MistralAzure(server_url=ep["url"], api_key=ep["key"])
Slándáil Líonra
Do shonraí íogaire, cinntíonn Azure Private Link nach dtrasnaíonn an trácht idir d’iarratas agus an críochphointe Mistral an t-idirlíon poiblí riamh. Tarlaíonn an chumraíocht i gceithre chéim:
- Cruthaigh Críochphointe Príobháideach i do VNet
- Nasc é le d’acmhainn Azure AI
- Díchumasaigh rochtain phoiblí ar an gcríochphointe
- Cumraigh DNS príobháideach le haghaidh réitigh
Is é an tríú céim an ceann a dhéanann daoine dearmad air, agus gan é fanann an cosán poiblí oscailte i gcomhthráth: tá Private Link ann, ach ní chuireann aon rud cosc ar dhul thairis.
San spiorad céanna, baineann Managed Identity an eochair API as an áireamh: faigheann an t-iarratas a chuid tocain ó Microsoft Entra ID, mar sin níl aon rún le stóráil ná a rothlú. Tá dhá choinníoll i bhfeidhm, áfach. Déanann an cliant MistralAzure a dhoiciméadaigh Mistral fíordheimhniú trí eochair; téann an fíordheimhniú gan eochair a dhéanann Microsoft cur síos air trí shamhail atá forlíonta in acmhainn Microsoft Foundry, arna fiosrú ar a bealach comhoiriúnach OpenAI /openai/v1/, le tocain eisiúnta don scóip https://ai.azure.com/.default. Agus caithfidh an róil thátla a bheith deonaithe don aitheantas ar an acmhainn roimh ré. Déanann soláthraí tocain, seachas tócan a léamh uair amháin ag am tosaithe, rochtain a athnuachan sula rachaidh sí in éag:
from azure.identity import ManagedIdentityCredential, get_bearer_token_provider
from openai import OpenAI
token_provider = get_bearer_token_provider(
ManagedIdentityCredential(),
"https://ai.azure.com/.default",
)
client = OpenAI(
base_url="https://<resource>.openai.azure.com/openai/v1/",
api_key=token_provider,
)
response = client.chat.completions.create(
model="my-mistral-deployment", # name of your deployment
messages=[{"role": "user", "content": "Summarize the data retention policy."}],
)
print(response.choices[0].message.content)
Foinse: Endpoints for Microsoft Foundry Models — keyless authentication.
Seicliosta Ullmhachta Táirgeachta
Sula ndearbhóidh tú go bhfuil d’fhorlíonadh réidh, siúil tríd an slabhra san ord ina dtógadh é. Caithfidh athróga timpeallachta agus rúin a bheith imithe go Key Vault, agus caithfidh do chód glaonna a bheith cosanta ag iarracht athfhillteach easpónantúil a chlúdaíonn earráidí 429 agus 5xx araon. Caithfidh monatóireacht Application Insights moill, earráidí agus tócan a thuairisciú, le foláirimh comhfhreagracha cumraithe go gníomhach ar mhéadrachtaí criticiúla—ní hamháin beartaithe. Ar deireadh, déileáil leis na rudaí a mbíonn daoine claonta chun a chur ar athló: tástálacha ualaigh rite go hiomlán, rochtain líonra príobháideach má tá na sonraí íogaire, agus rothlú eochracha API sceidealta le dáta, gan é a fhágáil faoi dhíscreid ghinearálta.
Príomhphointí
- Úsáid Azure Key Vault chun eochracha API a stóráil, seachas athróga timpeallachta téacs simplí
- Déan monatóireacht ar gach glao le Application Insights (moill, tócan, earráidí)
- Díthiomsú le Service Bus d’ualacha oibre ardtoirte
- Úsáid Private Link agus Managed Identity do thimpeallachtaí slána
- Rith tástálacha ualaigh agus cumraigh foláirimh sula dtéann tú i dtáirgeadh