Azure v proizvodnji
Na tej strani
Priprava robustne namestitve v Azure
Delujoči prototip na prenosniku in produkcijski sistem se ne razlikujeta v kodi za klicanje, ki ostaja enaka. Razlikujeta se v vsem, kar to kodo obdaja: od kod prihajajo skrivnosti, kako opazuješ dogajanje, kaj se zgodi, ko se promet podvoji, in po kateri omrežni poti potujejo podatki. Ta lekcija pokriva te štiri dimenzije za namestitev Mistral na Azure.
Produkcijska arhitektura
Tipična namestitev združuje pet gradnikov. Končna točka Azure AI gosti model Mistral kot MaaS; Azure Key Vault shranjuje ključe API; Azure Monitor in Application Insights zagotavljata opaznost; Azure API Management deluje kot prehod s pospeševanjem in avtentikacijo pred tvojo aplikacijo; nazadnje, Azure Virtual Network zagotavlja omrežno izolacijo, kar je opcijsko, a pogosto zahtevano za občutljive podatke.
Tvoj prvi korak naj bo izvleček skrivnosti iz kode in spremenljivk okolja, tako da jih aplikacija ob zagonu prebere iz Key Vault.
from azure.identity import DefaultAzureCredential
from azure.keyvault.secrets import SecretClient
from mistralai.azure.client import MistralAzure
# Retrieve the API key from Key Vault
credential = DefaultAzureCredential()
vault_url = "https://mon-keyvault.vault.azure.net"
secret_client = SecretClient(vault_url=vault_url, credential=credential)
endpoint = secret_client.get_secret("mistral-endpoint").value
api_key = secret_client.get_secret("mistral-api-key").value
client = MistralAzure(server_url=endpoint, api_key=api_key)
Korist presega zgolj zaupnost. Ko zavrtiš ključ, ponovna namestitev aplikacije ni potrebna, saj se vrednost prebere iz trezorja in ni trdno kodirana v konfiguraciji.
Spremljanje z Application Insights
Brez instrumentacije je edina stvar, ki jo boš vedel ob incidentu, ta, da uporabnik aplikacijo označi kot „počasno”. Sledenje vsakemu klicu z njegovo trajanjem, številom žetonov in modelom ti da vse, kar potrebuješ za odziv v nekaj minutah.
import time
import logging
from opencensus.ext.azure.log_exporter import AzureLogHandler
logger = logging.getLogger(__name__)
logger.addHandler(AzureLogHandler(
connection_string="InstrumentationKey=your-key"
))
def monitored_call(client, messages, model="azureai"):
"""Mistral call with Azure Monitor metrics."""
start = time.time()
try:
response = client.chat.complete(model=model, messages=messages)
duration = time.time() - start
logger.info(
"MistralCall",
extra={
"custom_dimensions": {
"duration_ms": int(duration * 1000),
"prompt_tokens": response.usage.prompt_tokens,
"completion_tokens": response.usage.completion_tokens,
"model": model
}
}
)
return response
except Exception as e:
duration = time.time() - start
logger.error(
f"MistralError: {e}",
extra={
"custom_dimensions": {
"duration_ms": int(duration * 1000),
"error_type": type(e).__name__
}
}
)
raise
Ti metrik so koristni le, če jih nekdo spremlja. V Azure Monitor konfiguriraj ustrezna opozorila:
- Latentnost P95 > 5 s — poslabšanje zmogljivosti
- Stopnja napak 5xx > 1 % — težave na strani strežnika
- Napake 429 > 10/min — dosežena omejitev hitrosti
- Poraba žetonov > 80 % kvote — približevanje omejitvi
Skalabilnost
Ko obseg raste, je prva napaka sinhrono klicanje modela iz dohodnega zahtevka HTTP: vsaka upočasnitev se neposredno prenese na uporabnika. Ločevanje s storitvijo Azure Service Bus ti omogoča absorpcijo konic – zahtevki se kopičijo v čakalni vrsti in se porabijo s tempom, ki ga dopušča tvoja kvota.
from azure.servicebus import ServiceBusClient, ServiceBusMessage
import json
# Producer: send requests to the queue
def enqueue_request(prompt: str, request_id: str):
with ServiceBusClient.from_connection_string(conn_str) as sb_client:
sender = sb_client.get_queue_sender(queue_name="mistral-requests")
message = ServiceBusMessage(
json.dumps({"prompt": prompt, "request_id": request_id})
)
sender.send_messages(message)
# Consumer: process requests from the queue
def process_queue():
with ServiceBusClient.from_connection_string(conn_str) as sb_client:
receiver = sb_client.get_queue_receiver(queue_name="mistral-requests")
for msg in receiver:
data = json.loads(str(msg))
response = client.chat.complete(
model="azureai",
messages=[{"role": "user", "content": data["prompt"]}]
)
# Store the result...
receiver.complete_message(msg)
Če ozko grlo izvira iz samega pretoka in ne iz trenutne obremenitve, namesti več končnih točk za isti model in porazdeli klice mednje.
import random
endpoints = [
{"url": os.environ["AZUREAI_ENDPOINT_1"], "key": os.environ["AZUREAI_KEY_1"]},
{"url": os.environ["AZUREAI_ENDPOINT_2"], "key": os.environ["AZUREAI_KEY_2"]},
]
def get_client():
"""Simple round-robin across endpoints."""
ep = random.choice(endpoints)
return MistralAzure(server_url=ep["url"], api_key=ep["key"])
Omrežna varnost
Za občutljive podatke Azure Private Link zagotavlja, da promet med tvojo aplikacijo in končno točko Mistral nikoli ne prečka javnega interneta. Konfiguracija poteka v štirih korakih:
- Ustvari zasebno končno točko v svojem VNet
- Poveži jo s svojim virom Azure AI
- Onemogoči javni dostop do končne točke
- Konfiguriraj zasebni DNS za razreševanje
Tretji korak je tisti, na katerega ljudje pozabijo, in brez njega javna pot ostane odprta vzporedno: Private Link obstaja, a nič ne preprečuje njegove obhode.
V istem duhu upravljana identiteta (Managed Identity) odstrani ključ API iz enačbe: aplikacija pridobi svoje žetone od Microsoft Entra ID, zato ni treba shranjevati ali vrteti skrivnosti. Veljata pa dva pogoja. Odjemalec MistralAzure, ki ga dokumentira Mistral, se avtentificira s ključem; avtentikacija brez ključa, ki jo opisuje Microsoft, poteka prek modela, nameščenega v viru Microsoft Foundry, poizvedovanega na njegovi poti, združljivi z OpenAI, /openai/v1/, z žetoni, izdanimi za obseg https://ai.azure.com/.default. Identiteta mora imeti predhodno dodeljeno vlogo sklepanja (inference role) na viru. Ponudnik žetonov namesto žetona, prebranega enkrat ob zagonu, obnovi dostop pred potekom:
from azure.identity import ManagedIdentityCredential, get_bearer_token_provider
from openai import OpenAI
token_provider = get_bearer_token_provider(
ManagedIdentityCredential(),
"https://ai.azure.com/.default",
)
client = OpenAI(
base_url="https://<resource>.openai.azure.com/openai/v1/",
api_key=token_provider,
)
response = client.chat.completions.create(
model="my-mistral-deployment", # name of your deployment
messages=[{"role": "user", "content": "Summarize the data retention policy."}],
)
print(response.choices[0].message.content)
Vir: Endpoints for Microsoft Foundry Models — keyless authentication.
Kontrolni seznam pripravljenosti za proizvodnjo
Preden razglasiš svojo namestitev za pripravljeno, preveri verigo po vrstnem redu, kot je bila zgrajena. Spremenljivke okolja in skrivnosti morajo biti preseljene v Key Vault, tvoja koda za klicanje pa mora biti zaščitena z eksponentnim poskusom ponovnega klica, ki pokriva tako napake 429 kot 5xx. Spremljanje z Application Insights mora poročati o latentnosti, napakah in žetonih, pri čemer morajo biti ustrezna opozorila dejansko konfigurirana za kritične metrike – ne le načrtovana. Nazadnje se loti tega, kar ljudje radi odlagajo: testi obremenitve so dejansko izvedeni, dostop do zasebnega omrežja je vzpostavljen, če so podatki občutljivi, in vrtenje ključev API je načrtovano z določenim datumom, ne prepuščeno splošni presoji.
Ključne ugotovitve
- Uporabi Azure Key Vault za shranjevanje ključev API, ne spremenljivk okolja v navadnem besedilu
- Spremljaj vsak klic z Application Insights (latentnost, žetoni, napake)
- Loči procese s Service Bus za delovne obremenitve z velikim obsegom
- Uporabi Private Link in Managed Identity za varna okolja
- Pred prehodom v proizvodnjo izvedi teste obremenitve in konfiguriraj opozorila