Azure gamyboje
Šiame puslapyje
Paruoškite patikimą „Azure“ diegimą
Veikiantis prototipas jūsų nešiojamajame kompiuteryje ir gamybinė sistema skiriasi ne kvietimo kodu, kuris lieka identiškas. Jos skiriasi viskuo, kas supa tą kodą: iš kur gaunamos paslaptys, kaip stebite vykstančius procesus, kas nutinka dvigubai padidėjus srautui ir kokiu tinklo keliu keliauja duomenys. Šioje pamokoje nagrinėjami šie keturi aspektai diegiant „Mistral“ „Azure“ aplinkoje.
Gamybinė architektūra
Tipiškas diegimas sujungia penkis statybinius blokus. „Azure AI“ galinė stotis talpina „Mistral“ modelį kaip MaaS; „Azure Key Vault“ saugo API raktus; „Azure Monitor“ ir „Application Insights“ užtikrina stebėseną; „Azure API Management“ veikia kaip vartai su ribojimu ir autentifikavimu priešais jūsų programą; galiausiai „Azure Virtual Network“ suteikia tinklo izoliaciją, kuri yra neprivaloma, tačiau dažnai būtina dirbant su jautriais duomenimis.
Pirmasis jūsų žingsnis turėtų būti paslapčių išėmimas iš kodo ir aplinkos kintamųjų, leidžiant programai jas nuskaityti paleidimo metu tiesiai iš „Key Vault“.
from azure.identity import DefaultAzureCredential
from azure.keyvault.secrets import SecretClient
from mistralai.azure.client import MistralAzure
# Gauti API raktą iš Key Vault
credential = DefaultAzureCredential()
vault_url = "https://mon-keyvault.vault.azure.net"
secret_client = SecretClient(vault_url=vault_url, credential=credential)
endpoint = secret_client.get_secret("mistral-endpoint").value
api_key = secret_client.get_secret("mistral-api-key").value
client = MistralAzure(server_url=endpoint, api_key=api_key)
Naudą teikia ne tik konfidencialumas. Kai pakeičiate raktą, programos perdiegimo nereikia, nes reikšmė nuskaityta iš saugyklos, o ne įkodavota konfigūracijoje.
Stebėsena naudojant „Application Insights“
Be instrumentavimo, vienintelis dalykas, kurį sužinosite apie incidentą, bus tai, kad vartotojas mano, jog programa „lėta“. Kiekvieno kvietimo sekimas fiksuojant jo trukmę, žetonų skaičių ir modelį suteikia jums tai, ko reikia reagavimui per kelias minutes.
import time
import logging
from opencensus.ext.azure.log_exporter import AzureLogHandler
logger = logging.getLogger(__name__)
logger.addHandler(AzureLogHandler(
connection_string="InstrumentationKey=your-key"
))
def monitored_call(client, messages, model="azureai"):
"""Mistral kvietimas su Azure Monitor metrikomis."""
start = time.time()
try:
response = client.chat.complete(model=model, messages=messages)
duration = time.time() - start
logger.info(
"MistralCall",
extra={
"custom_dimensions": {
"duration_ms": int(duration * 1000),
"prompt_tokens": response.usage.prompt_tokens,
"completion_tokens": response.usage.completion_tokens,
"model": model
}
}
)
return response
except Exception as e:
duration = time.time() - start
logger.error(
f"MistralError: {e}",
extra={
"custom_dimensions": {
"duration_ms": int(duration * 1000),
"error_type": type(e).__name__
}
}
)
raise
Šios metrikos yra vertingos tik tada, jei kas nors jas stebi. „Azure Monitor“ sukonfigūruokite atitinkamus įspėjimus:
- P95 delsos laikas > 5 s – našumo pablogėjimas
- 5xx klaidų dažnis > 1 % – serverio pusės problemos
- 429 klaidos > 10 per min. – pasiektas dažnio ribojimas
- Žetonų suvartojimas > 80 % kvotos – artėjama prie ribos
Mastelis
Didėjant apimtims, pirmoji klaida yra sinchroninis modelio kvietimas iš gaunamo HTTP užklausos: bet koks sulėtėjimas tiesiogiai perduodamas vartotojui. Atsiejimas naudojant „Azure Service Bus“ leidžia sugerti apkrovos šuolius – užklausos kaupiasi eilėje ir yra apdorojamos tokiu tempu, kokį leidžia jūsų kvota.
from azure.servicebus import ServiceBusClient, ServiceBusMessage
import json
# Gamintojas: siųsti užklausas į eilę
def enqueue_request(prompt: str, request_id: str):
with ServiceBusClient.from_connection_string(conn_str) as sb_client:
sender = sb_client.get_queue_sender(queue_name="mistral-requests")
message = ServiceBusMessage(
json.dumps({"prompt": prompt, "request_id": request_id})
)
sender.send_messages(message)
# Vartotojas: apdoroti užklausas iš eilės
def process_queue():
with ServiceBusClient.from_connection_string(conn_str) as sb_client:
receiver = sb_client.get_queue_receiver(queue_name="mistral-requests")
for msg in receiver:
data = json.loads(str(msg))
response = client.chat.complete(
model="azureai",
messages=[{"role": "user", "content": data["prompt"]}]
)
# Išsaugoti rezultatą...
receiver.complete_message(msg)
Jei „butelio kaklelis“ kyla ne iš momentinės apkrovos, o iš pačio pralaidumo, diekite kelias to paties modelio galines stotis ir paskirstykite kvietimus joms.
import random
endpoints = [
{"url": os.environ["AZUREAI_ENDPOINT_1"], "key": os.environ["AZUREAI_KEY_1"]},
{"url": os.environ["AZUREAI_ENDPOINT_2"], "key": os.environ["AZUREAI_KEY_2"]},
]
def get_client():
"""Paprastas ciklinis balansas tarp galinių stočių."""
ep = random.choice(endpoints)
return MistralAzure(server_url=ep["url"], api_key=ep["key"])
Tinklo saugumas
Dirbant su jautriais duomenimis, „Azure Private Link“ užtikrina, kad srautas tarp jūsų programos ir „Mistral“ galinės stoties niekada nekirstų viešojo interneto. Konfigūravimas atliekamas keturiais žingsniais:
- Sukurkite privatų galinį tašką savo VNet
- Susiekite jį su savo „Azure AI“ ištekliumi
- Išjunkite viešąją prieigą prie galinio taško
- Sukonfigūruokite privatų DNS skyrai
Trečiasis žingsnis yra tas, kurį žmonės pamiršta, o be jo viešasis kelias lieka atviras lygiagrečiai: „Private Link“ egzistuoja, tačiau niekas neleidžia jo apeiti.
Tuo pačiu principu valdoma tapatybė („Managed Identity“) pašalina API raktą iš lygties: programa gauna savo prieigos žetonus iš „Microsoft Entra ID“, todėl nereikia saugoti ar keisti jokių paslapčių. Tačiau taikomos dvi sąlygos. „Mistral“ dokumentuojamas MistralAzure klientas autentifikuoja naudojant raktą; „Microsoft“ aprašytas autentifikavimas be rakto vyksta per modelį, diegtą „Microsoft Foundry“ ištekliuje, užklausiamą per jo „OpenAI“ suderinamą maršrutą /openai/v1/, su žetonais, išduotais scope https://ai.azure.com/.default. Be to, tapatybei iš anksto turi būti suteiktas išvedimo („inference“) vaidmuo šiame ištekliuje. Prieigos žetonų teikėjas, o ne vieną kartą paleidimo metu nuskaitytas žetonas, atnaujina prieigą prieš jai pasibaigiant:
from azure.identity import ManagedIdentityCredential, get_bearer_token_provider
from openai import OpenAI
token_provider = get_bearer_token_provider(
ManagedIdentityCredential(),
"https://ai.azure.com/.default",
)
client = OpenAI(
base_url="https://<resource>.openai.azure.com/openai/v1/",
api_key=token_provider,
)
response = client.chat.completions.create(
model="my-mistral-deployment", # jūsų diegimo pavadinimas
messages=[{"role": "user", "content": "Apibendrinkite duomenų saugojimo politiką."}],
)
print(response.choices[0].message.content)
Šaltinis: „Microsoft Foundry“ modelių galiniai taškai – autentifikavimas be rakto.
Pasirengimo gamybai kontrolinis sąrašas
Prieš paskelbdami savo diegimą paruoštu, peržiūrėkite grandinę tokia tvarka, kokia ji buvo kuriama. Aplinkos kintamieji ir paslaptys turi būti perkelti į „Key Vault“, o jūsų kvietimo kodas turi būti apsaugotas eksponentiniu pakartotiniu bandymu, apimančiu tiek 429, tiek 5xx klaidas. „Application Insights“ stebėsena turi teikti ataskaitas apie delsos laiką, klaidas ir žetonus, o kritinėms metrikoms turi būti sukonfigūruoti atitinkami įspėjimai – ne tik suplanuoti. Galiausiai imkitės to, ką žmonės linkę atidėlioti: faktiškai atlikti apkrovos testai, privataus tinklo prieiga, jei duomenys jautrūs, ir API rakto keitimo grafikas su konkrečia data, o ne paliktas bendrai nuožiūrai.
Svarbiausi punktai
- Naudokite „Azure Key Vault“ API raktams saugoti, o ne paprastus aplinkos kintamuosius
- Stebėkite kiekvieną kvietimą naudodami „Application Insights“ (delsos laikas, žetonai, klaidos)
- Atsiekite naudojant „Service Bus“ didelės apimties darbo krūviams
- Saugiose aplinkose naudokite „Private Link“ ir valdomą tapatybę
- Prieš pereidami į gamybą, atlikite apkrovos testus ir sukonfigūruokite įspėjimus