Azure tuotantoympäristössä
Tällä sivulla
Valmistele kestävä Azure-käyttöönotto
Toimiva prototyyppi kannettavalla tietokoneellasi ja tuotantojärjestelmä eivät eroa toisistaan kutsukoodinsa osalta, joka pysyy identtisenä. Ne eroavat kaikessa tuota koodia ympäröivässä: mistä salaiset tiedot haetaan, miten toimintaa havainnoidaan, mitä tapahtuu liikenteen kaksinkertaistuessa ja mitä verkkoreittiä data kulkee. Tämä oppitunti käsittelee näitä neljää ulottuvuutta Mistral-käyttöönotossa Azuressa.
Tuotantoarkkitehtuuri
Tyypillinen käyttöönotto yhdistää viisi rakennuspalikkaa. Azure AI -päätepiste isännöi Mistral-mallia palveluna (MaaS); Azure Key Vault säilyttää API-avaimet; Azure Monitor ja Application Insights tarjoavat havainnoinnin; Azure API Management toimii porttina, joka tarjoaa kuristuksen ja todennuksen sovelluksesi edessä; lopuksi Azure Virtual Network tarjoaa verkk eristyksen, mikä on valinnaista mutta usein vaadittu arkaluonteisille tiedoille.
Ensimmäinen siirtosi pitäisi olla salaisen tiedon siirtäminen pois koodista ja ympäristömuuttujista siten, että sovellus lukee ne käynnistyksen yhteydessä Key Vaultista.
from azure.identity import DefaultAzureCredential
from azure.keyvault.secrets import SecretClient
from mistralai.azure.client import MistralAzure
# Retrieve the API key from Key Vault
credential = DefaultAzureCredential()
vault_url = "https://mon-keyvault.vault.azure.net"
secret_client = SecretClient(vault_url=vault_url, credential=credential)
endpoint = secret_client.get_secret("mistral-endpoint").value
api_key = secret_client.get_secret("mistral-api-key").value
client = MistralAzure(server_url=endpoint, api_key=api_key)
Hyöty ulottuu pelkän luottamuksellisuuden yli. Kun kierrätät avaimen, sovelluksen uudelleenkäyttöönottoa ei tarvita, koska arvo luetaan holvista eikä se ole kovakoodattu määrityksiin.
Valvonta Application Insightsilla
Ilman instrumentointia ainoa asia, jonka tiedät tapahtumasta, on se, että käyttäjä pitää sovellusta “hitaana”. Jokaisen kutsun jäljittäminen kestonsa, token-määränsä ja mallinsa kanssa antaa sinulle tarvittavat tiedot reagointiin minuuteissa.
import time
import logging
from opencensus.ext.azure.log_exporter import AzureLogHandler
logger = logging.getLogger(__name__)
logger.addHandler(AzureLogHandler(
connection_string="InstrumentationKey=your-key"
))
def monitored_call(client, messages, model="azureai"):
"""Mistral call with Azure Monitor metrics."""
start = time.time()
try:
response = client.chat.complete(model=model, messages=messages)
duration = time.time() - start
logger.info(
"MistralCall",
extra={
"custom_dimensions": {
"duration_ms": int(duration * 1000),
"prompt_tokens": response.usage.prompt_tokens,
"completion_tokens": response.usage.completion_tokens,
"model": model
}
}
)
return response
except Exception as e:
duration = time.time() - start
logger.error(
f"MistralError: {e}",
extra={
"custom_dimensions": {
"duration_ms": int(duration * 1000),
"error_type": type(e).__name__
}
}
)
raise
Nämä mittarit ovat arvokkaita vain, jos joku tarkkailee niitä. Määritä vastaavat hälytykset Azure Monitorissa:
- P95-viive > 5 s – suorituskyvyn heikkeneminen
- 5xx-virhesuhde > 1 % – palvelinpuolen ongelmat
- 429-virheet > 10/min – nopeusrajoitus saavutettu
- Token-kulutus > 80 % kiintiöstä – lähestytään rajaa
Skaalautuvuus
Kun volyymi kasvaa, ensimmäinen virhe on kutsua mallia synkronisesti saapuvasta HTTP-pyynnöstä: mikä tahansa hidastuminen leviää suoraan käyttäjälle. Kytkennän purkaminen Azure Service Busin avulla antaa sinun absorboida piikkejä – pyynnöt kasautuvat jonoon ja niitä kulutetaan kiintiösi sallimalla vauhdilla.
from azure.servicebus import ServiceBusClient, ServiceBusMessage
import json
# Producer: send requests to the queue
def enqueue_request(prompt: str, request_id: str):
with ServiceBusClient.from_connection_string(conn_str) as sb_client:
sender = sb_client.get_queue_sender(queue_name="mistral-requests")
message = ServiceBusMessage(
json.dumps({"prompt": prompt, "request_id": request_id})
)
sender.send_messages(message)
# Consumer: process requests from the queue
def process_queue():
with ServiceBusClient.from_connection_string(conn_str) as sb_client:
receiver = sb_client.get_queue_receiver(queue_name="mistral-requests")
for msg in receiver:
data = json.loads(str(msg))
response = client.chat.complete(
model="azureai",
messages=[{"role": "user", "content": data["prompt"]}]
)
# Store the result...
receiver.complete_message(msg)
Jos pullonkaula johtuu itse läpimenosta eikä hetkellisestä kuormituksesta, ota käyttöön useita päätepisteitä samalle mallille ja jaa kutsut niiden kesken.
import random
endpoints = [
{"url": os.environ["AZUREAI_ENDPOINT_1"], "key": os.environ["AZUREAI_KEY_1"]},
{"url": os.environ["AZUREAI_ENDPOINT_2"], "key": os.environ["AZUREAI_KEY_2"]},
]
def get_client():
"""Simple round-robin across endpoints."""
ep = random.choice(endpoints)
return MistralAzure(server_url=ep["url"], api_key=ep["key"])
Verkkoturvallisuus
Arkaluonteisten tietojen osalta Azure Private Link varmistaa, että liikenne sovelluksesi ja Mistral-päätepisteen välillä ei koskaan kulje julkisen internetin kautta. Määritys tapahtuu neljässä vaiheessa:
- Luo yksityinen päätepiste VNetiisi
- Yhdistä se Azure AI -resurssiisi
- Poista julkinen käyttö päätepisteestä käytöstä
- Määritä yksityinen DNS-nimenratkaisu
Kolmas vaihe on se, jonka ihmiset unohtavat, ja ilman sitä julkinen reitti pysyy auki rinnakkain: Private Link on olemassa, mutta mikään ei estä sen ohittamista.
Samaan henkeen hallittu identiteetti poistaa API-avaimen yhtälöstä: sovellus hankii tokeninsa Microsoft Entra ID:ltä, joten salaisia tietoja ei tarvitse säilyttää eikä kierrättää. Kaksi ehtoa kuitenkin pätee. Mistralin dokumentoima MistralAzure-asiakasohjelma todentaa avaimella; Microsoftin kuvaama avaimeton todennus kulkee Microsoft Foundry -resurssiin sijoitetun mallin kautta, jota kysytään sen OpenAI-yhteensopivalta reitiltä /openai/v1/, ja tokenit myönnetään scopea https://ai.azure.com/.default varten. Identiteetille on myös myönnettävä ennakkoon päättelyrooli resurssille. Tokenin tarjoaja uudistaa pääsyn ennen vanhenemista sen sijaan, että token luettaisiin vain kerran käynnistyksen yhteydessä:
from azure.identity import ManagedIdentityCredential, get_bearer_token_provider
from openai import OpenAI
token_provider = get_bearer_token_provider(
ManagedIdentityCredential(),
"https://ai.azure.com/.default",
)
client = OpenAI(
base_url="https://<resource>.openai.azure.com/openai/v1/",
api_key=token_provider,
)
response = client.chat.completions.create(
model="my-mistral-deployment", # name of your deployment
messages=[{"role": "user", "content": "Summarize the data retention policy."}],
)
print(response.choices[0].message.content)
Lähde: Endpoints for Microsoft Foundry Models — keyless authentication.
Tuotantovalmiuden tarkistuslista
Ennen kuin julistat käyttöönoton valmiiksi, käy ketju läpi siinä järjestyksessä, jossa se rakennettiin. Ympäristömuuttujien ja salaisten tietojen on siirryttävä Key Vaultiin, ja kutsukoodisi on suojattava eksponentiaalisella uudelleenyrityksellä, joka kattaa sekä 429- että 5xx-virheet. Application Insights -valvonnan on raportoitava viiveet, virheet ja tokenit, ja kriittisille mittareille on todella määritettävä vastaavat hälytykset – ei vain suunniteltava niitä. Lopuksi tartu siihen, mitä ihmiset usein lykkäävät: kuormitustestit on suoritettava, yksityinen verkkoyhteys on otettava käyttöön, jos data on arkaluonteista, ja API-avaimen kierrätys on ajoitettava tiettyyn päivämäärään eikä jätettävä yleisen harkinnan varaan.
Keskeiset asiat
- Käytä Azure Key Vaultia API-avainten säilyttämiseen äläkä pelkkiä ympäristömuuttujia
- Valvo jokaista kutsua Application Insightsilla (viive, tokenit, virheet)
- Purka kytkentä Service Busin avulla suurten volyymien työkuormissa
- Käytä Private Linkiä ja hallittua identiteettiä turvallisissa ympäristöissä
- Suorita kuormitustestit ja määritä hälytykset ennen tuotantoon siirtymistä