Премини към основното съдържание
Български— Изберете език
Меню

Azure в продукционна среда

Урок 6 от 14 Обновен 2 ноември 2026 г. Напреднало
На тази страница
  1. Подготовка за стабилно разполагане в Azure
  2. Продукционна архитектура
  3. Мониторинг с Application Insights
  4. Мащабируемост
  5. Мрежова сигурност
  6. Контролен списък за продукционна готовност
  7. Ключови изводи

Подготовка за стабилно разполагане в Azure

Работещ прототип на лаптопа Ви и продукционна система не се различават по кода за извикване, който остава идентичен. Разликата е във всичко около този код: откъде идват секретите, как наблюдавате случващото се, какво става при удвояване на трафика и по кой мрежов път пътуват данните. Този урок обхваща тези четири измерения за разполагане на Mistral в Azure.

Продукционна архитектура

Типичното разполагане събира пет основни блока. Крайната точка на Azure AI хоства модела на Mistral като MaaS; Azure Key Vault съхранява API ключовете; Azure Monitor и Application Insights осигуряват наблюдаемост; Azure API Management действа като шлюз с ограничаване на честотата и автентикация пред Вашето приложение; накрая, Azure Virtual Network осигурява мрежова изолация, което е по избор, но често се изисква за чувствителни данни.

Първата Ви стъпка трябва да бъде изнасяне на секретите от кода и променливите на средата, като приложението ги чете при стартиране директно от Key Vault.

from azure.identity import DefaultAzureCredential
from azure.keyvault.secrets import SecretClient
from mistralai.azure.client import MistralAzure

# Retrieve the API key from Key Vault
credential = DefaultAzureCredential()
vault_url = "https://mon-keyvault.vault.azure.net"
secret_client = SecretClient(vault_url=vault_url, credential=credential)

endpoint = secret_client.get_secret("mistral-endpoint").value
api_key = secret_client.get_secret("mistral-api-key").value

client = MistralAzure(server_url=endpoint, api_key=api_key)

Ползата надхвърля простата поверителност. Когато ротирате ключ, не е необходимо повторно разполагане на приложението, тъй като стойността се чете от хранилището, а не е твърдо кодирана в конфигурацията.

Мониторинг с Application Insights

Без инструментация единственото, което ще знаете за инцидент, е, че потребителят намира приложението за „бавно“. Проследяването на всяко извикване с неговата продължителност, брой токени и модел Ви дава необходимото, за да реагирате в рамките на минути.

import time
import logging
from opencensus.ext.azure.log_exporter import AzureLogHandler

logger = logging.getLogger(__name__)
logger.addHandler(AzureLogHandler(
    connection_string="InstrumentationKey=your-key"
))

def monitored_call(client, messages, model="azureai"):
    """Mistral call with Azure Monitor metrics."""
    start = time.time()
    try:
        response = client.chat.complete(model=model, messages=messages)
        duration = time.time() - start
        logger.info(
            "MistralCall",
            extra={
                "custom_dimensions": {
                    "duration_ms": int(duration * 1000),
                    "prompt_tokens": response.usage.prompt_tokens,
                    "completion_tokens": response.usage.completion_tokens,
                    "model": model
                }
            }
        )
        return response
    except Exception as e:
        duration = time.time() - start
        logger.error(
            f"MistralError: {e}",
            extra={
                "custom_dimensions": {
                    "duration_ms": int(duration * 1000),
                    "error_type": type(e).__name__
                }
            }
        )
        raise

Тези метрики са ценни само ако някой ги наблюдава. Конфигурирайте съответните предупреждения в Azure Monitor:

  • P95 латентност > 5s — влошаване на производителността
  • Честота на грешки 5xx > 1% — проблеми от страна на сървъра
  • Грешки 429 > 10/мин — достигнат лимит на честотата
  • Консумация на токени > 80% от квотата — приближаване до лимита

Мащабируемост

Когато обемът нараства, първата грешка е синхронното извикване на модела от входящата HTTP заявка: всяко забавяне се предава директно на потребителя. Разделянето чрез Azure Service Bus Ви позволява да поемате пикове – заявките се натрупват в опашка и се обработват с темпото, което квотата Ви позволява.

from azure.servicebus import ServiceBusClient, ServiceBusMessage
import json

# Producer: send requests to the queue
def enqueue_request(prompt: str, request_id: str):
    with ServiceBusClient.from_connection_string(conn_str) as sb_client:
        sender = sb_client.get_queue_sender(queue_name="mistral-requests")
        message = ServiceBusMessage(
            json.dumps({"prompt": prompt, "request_id": request_id})
        )
        sender.send_messages(message)

# Consumer: process requests from the queue
def process_queue():
    with ServiceBusClient.from_connection_string(conn_str) as sb_client:
        receiver = sb_client.get_queue_receiver(queue_name="mistral-requests")
        for msg in receiver:
            data = json.loads(str(msg))
            response = client.chat.complete(
                model="azureai",
                messages=[{"role": "user", "content": data["prompt"]}]
            )
            # Store the result...
            receiver.complete_message(msg)

Ако тясното място идва от самата пропускателна способност, а не от моменталното натоварване, разполагайте множество крайни точки за един и същи модел и разпределяйте извикванията между тях.

import random

endpoints = [
    {"url": os.environ["AZUREAI_ENDPOINT_1"], "key": os.environ["AZUREAI_KEY_1"]},
    {"url": os.environ["AZUREAI_ENDPOINT_2"], "key": os.environ["AZUREAI_KEY_2"]},
]

def get_client():
    """Simple round-robin across endpoints."""
    ep = random.choice(endpoints)
    return MistralAzure(server_url=ep["url"], api_key=ep["key"])

Мрежова сигурност

За чувствителни данни Azure Private Link гарантира, че трафикът между Вашето приложение и крайната точка на Mistral никога не преминава през публичния интернет. Конфигурацията се извършва в четири стъпки:

  1. Създаване на частна крайна точка (Private Endpoint) във Вашата VNet
  2. Свързването ѝ с Вашия ресурс на Azure AI
  3. Деактивиране на публичния достъп до крайната точка
  4. Конфигуриране на частен DNS за резолюция

Стъпка три е тази, която хората забравят, и без нея публичният път остава отворен успоредно: Private Link съществува, но нищо не пречи да бъде заобиколен.

В същия дух, Управлявана самоличност (Managed Identity) премахва API ключа от уравнението: приложението получава своите токени от Microsoft Entra ID, така че няма секрет за съхранение или ротация. Има обаче две условия. Клиентът MistralAzure, документиран от Mistral, се автентикира чрез ключ; автентикацията без ключ, описана от Microsoft, минава през модел, разположен в ресурс на Microsoft Foundry, заявен чрез съвместимия с OpenAI маршрут /openai/v1/, с токени, издадени за обхвата https://ai.azure.com/.default. Освен това, на самоличността предварително трябва да бъде предоставена ролята за извод (inference) върху ресурса. Доставчик на токени, вместо токен, прочетен веднъж при стартиране, подновява достъпа преди изтичане:

from azure.identity import ManagedIdentityCredential, get_bearer_token_provider
from openai import OpenAI

token_provider = get_bearer_token_provider(
    ManagedIdentityCredential(),
    "https://ai.azure.com/.default",
)

client = OpenAI(
    base_url="https://<resource>.openai.azure.com/openai/v1/",
    api_key=token_provider,
)

response = client.chat.completions.create(
    model="my-mistral-deployment",  # name of your deployment
    messages=[{"role": "user", "content": "Summarize the data retention policy."}],
)
print(response.choices[0].message.content)

Източник: Endpoints for Microsoft Foundry Models — keyless authentication.

Контролен списък за продукционна готовност

Преди да обявите разполагането си за готово, преминете през веригата в реда, в който е изградена. Променливите на средата и секретите трябва да са мигрирали в Key Vault, а кодът за извикване трябва да е защитен от експоненциални повторни опити, покриващи както грешки 429, така и 5xx. Мониторингът на Application Insights трябва да докладва латентност, грешки и токени, като съответните предупреждения са действително конфигурирани за критичните метрики – не просто планирани. Накрая, заемете се с онова, което хората имат навика да отлагат: действително проведени тестове за натоварване, достъп през частна мрежа, ако данните са чувствителни, и планирана ротация на API ключовете с конкретна дата, а не оставена на общо усмотрение.

Ключови изводи

  • Използвайте Azure Key Vault за съхранение на API ключове, а не обикновени текстови променливи на средата
  • Мониторинг на всяко извикване с Application Insights (латентност, токени, грешки)
  • Разделяне чрез Service Bus за работни натоварвания с голям обем
  • Използване на Private Link и Managed Identity за сигурни среди
  • Провеждане на тестове за натоварване и конфигуриране на предупреждения преди преминаване към продукционна среда