Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Azure fil-Produzzjoni

Lezzjoni 6 / 14 Aġġornat 2 ta’ Novembru 2026 Avvanzat
F'din il-paġna
  1. Ipprepara Dispjegament Robust fuq Azure
  2. Arkitettura tal-Produzzjoni
  3. Monitoraġġ b’Application Insights
  4. Skalabbiltà
  5. Sigurtà tan-Network
  6. Lista ta’ Verifika għat-Tħejjija għall-Produzzjoni
  7. Punti Ewlenin

Ipprepara Dispjegament Robust fuq Azure

Prototip li jaħdem fuq il-laptop tiegħek u sistema fil-produzzjoni ma jvarjawx fil-kodiċi tas-sejħa tagħhom, li jibqa’ identiku. Huma jvarjaw f’kull ma jdur madwar dak il-kodiċi: minn fejn jiġu s-sigrieti, kif tosserva x’inhu jiġri, x’jiġri meta t-traffiku jirdoppja, u lija tan-network li fiha tivvjaġġa d-data. Din il-lezzjoni tkopri dawn l-erba’ dimensjonijiet għal dispjegament ta’ Mistral fuq Azure.

Arkitettura tal-Produzzjoni

Dispjegament tipiku jiġbor flimkien ħames blokok tal-bini. L-endpoint ta’ Azure AI jospita l-mudell ta’ Mistral bħala MaaS; Azure Key Vault jaħżen iċ-ċwievet tal-API; Azure Monitor u Application Insights jipprovdu l-osservabbiltà; Azure API Management jaġixxi bħala gateway b’trottling u awtentikazzjoni quddiem l-applikazzjoni tiegħek; fl-aħħar nett, Azure Virtual Network jipprovdi iżolament tan-network, li huwa fakultattiv iżda spiss meħtieġ għal data sensittiva.

L-ewwel mossa tiegħek għandha tkun li toħroġ is-sigrieti mill-kodiċi u l-varjabbli tal-ambjent tiegħek, u tagħmel l-applikazzjoni taqrahom waqt l-istartup minn Key Vault minflok.

from azure.identity import DefaultAzureCredential
from azure.keyvault.secrets import SecretClient
from mistralai.azure.client import MistralAzure

# Retrieve the API key from Key Vault
credential = DefaultAzureCredential()
vault_url = "https://mon-keyvault.vault.azure.net"
secret_client = SecretClient(vault_url=vault_url, credential=credential)

endpoint = secret_client.get_secret("mistral-endpoint").value
api_key = secret_client.get_secret("mistral-api-key").value

client = MistralAzure(server_url=endpoint, api_key=api_key)

Il-benefiċċju jmur lil hinn mill-kunfidenzjalità sempliċi. Meta ddur ċavetta (key rotation), m’hemmx bżonn ta’ dispjegament mill-ġdid tal-applikazzjoni għax il-valur jinqara mill-vault minflok ma jkun imwaħħal fil-konfigurazzjoni.

Monitoraġġ b’Application Insights

Mingħajr strumentazzjoni, l-unika ħaġa li se tkun taf dwar inċident hija li utent isib l-applikazzjoni “bil-mod”. It-traċċar ta’ kull sejħa bid-durata tagħha, in-numru ta’ tokens, u l-mudell jagħtik dak li għandek bżonn biex tirrispondi fi żmien minuti.

import time
import logging
from opencensus.ext.azure.log_exporter import AzureLogHandler

logger = logging.getLogger(__name__)
logger.addHandler(AzureLogHandler(
    connection_string="InstrumentationKey=your-key"
))

def monitored_call(client, messages, model="azureai"):
    """Mistral call with Azure Monitor metrics."""
    start = time.time()
    try:
        response = client.chat.complete(model=model, messages=messages)
        duration = time.time() - start
        logger.info(
            "MistralCall",
            extra={
                "custom_dimensions": {
                    "duration_ms": int(duration * 1000),
                    "prompt_tokens": response.usage.prompt_tokens,
                    "completion_tokens": response.usage.completion_tokens,
                    "model": model
                }
            }
        )
        return response
    except Exception as e:
        duration = time.time() - start
        logger.error(
            f"MistralError: {e}",
            extra={
                "custom_dimensions": {
                    "duration_ms": int(duration * 1000),
                    "error_type": type(e).__name__
                }
            }
        )
        raise

Dawn il-metriki huma utli biss jekk xi ħadd ikun qed iħares lejhom. Ikkonfigura l-allerti korrispondenti f’Azure Monitor:

  • Latency P95 > 5s — degradazzjoni tal-prestazzjoni
  • Rata ta’ żbalji 5xx > 1% — problemi fuq in-naħa tas-server
  • Żbalji 429 > 10/min — milħuq il-limitu tar-rata
  • Konsum ta’ tokens > 80% tal-kwota — qrib il-limitu

Skalabbiltà

Meta l-volum jikber, l-ewwel żball huwa li ssejjaħ il-mudell b’mod sinkronu mis-sejħa HTTP li qed tidħol: kull tnaqqis fil-veloċità jinxtered direttament għall-utent. Id-diżakkoppjament b’Azure Service Bus jħallik tassorbi l-piki—it-talbiet jimbottaw f’queue u jiġu kkunsmati bir-ritmu li jippermetti l-kwota tiegħek.

from azure.servicebus import ServiceBusClient, ServiceBusMessage
import json

# Producer: send requests to the queue
def enqueue_request(prompt: str, request_id: str):
    with ServiceBusClient.from_connection_string(conn_str) as sb_client:
        sender = sb_client.get_queue_sender(queue_name="mistral-requests")
        message = ServiceBusMessage(
            json.dumps({"prompt": prompt, "request_id": request_id})
        )
        sender.send_messages(message)

# Consumer: process requests from the queue
def process_queue():
    with ServiceBusClient.from_connection_string(conn_str) as sb_client:
        receiver = sb_client.get_queue_receiver(queue_name="mistral-requests")
        for msg in receiver:
            data = json.loads(str(msg))
            response = client.chat.complete(
                model="azureai",
                messages=[{"role": "user", "content": data["prompt"]}]
            )
            # Store the result...
            receiver.complete_message(msg)

Jekk il-collofju (bottleneck) jiġi mit-throughput innifsu aktar milli mit-tagħbija istantanja, iddispjega endpoints multipli għall-istess mudell u qassam is-sejħiet bejniethom.

import random

endpoints = [
    {"url": os.environ["AZUREAI_ENDPOINT_1"], "key": os.environ["AZUREAI_KEY_1"]},
    {"url": os.environ["AZUREAI_ENDPOINT_2"], "key": os.environ["AZUREAI_KEY_2"]},
]

def get_client():
    """Simple round-robin across endpoints."""
    ep = random.choice(endpoints)
    return MistralAzure(server_url=ep["url"], api_key=ep["key"])

Sigurtà tan-Network

Għal data sensittiva, Azure Private Link jiżgura li t-traffiku bejn l-applikazzjoni tiegħek u l-endpoint ta’ Mistral qatt ma jaqsam l-internet pubbliku. Il-konfigurazzjoni sseħħ f’erba’ passi:

  1. Oħloq Private Endpoint fil-VNet tiegħek
  2. Orbtu mar-riżorsa ta’ Azure AI tiegħek
  3. Iddiżattiva l-aċċess pubbliku fuq l-endpoint
  4. Ikkonfigura DNS privat għar-riżoluzzjoni

It-tielet pass huwa dak li n-nies jinsu, u mingħajru t-triq pubblika tibqa’ miftuħa parallelment: Private Link jeżisti, iżda xejn ma jipprevjeni li tiġi evitata.

Bl-istess spirit, Managed Identity tneħħi ċ-ċavetta tal-API mill-ekwazzjoni: l-applikazzjoni tikseb it-tokens tagħha minn Microsoft Entra ID, allura m’hemm l-ebda sigriet x’taħżen jew iddur. Madankollu, japplikaw żewġ kundizzjonijiet. Il-klijent MistralAzure iddokumentat minn Mistral jawtentika biċ-ċavetta; l-awtentikazzjoni mingħajr ċavetta li tiddeskrivi Microsoft tgħaddi minn mudell dispjegat f’riżorsa ta’ Microsoft Foundry, mistoqsija fir-rotta kompatibbli ma’ OpenAI tagħha /openai/v1/, b’tokens maħruġa għall-ambitu https://ai.azure.com/.default. U l-identità trid tkun ingħatat ir-rwol ta’ inferenza fuq ir-riżorsa minn qabel. Fornitur ta’ tokens, aktar milli token moqri darba waħda fl-istartup, iġedded l-aċċess qabel l-iskadenza:

from azure.identity import ManagedIdentityCredential, get_bearer_token_provider
from openai import OpenAI

token_provider = get_bearer_token_provider(
    ManagedIdentityCredential(),
    "https://ai.azure.com/.default",
)

client = OpenAI(
    base_url="https://<resource>.openai.azure.com/openai/v1/",
    api_key=token_provider,
)

response = client.chat.completions.create(
    model="my-mistral-deployment",  # name of your deployment
    messages=[{"role": "user", "content": "Summarize the data retention policy."}],
)
print(response.choices[0].message.content)

Sors: Endpoints for Microsoft Foundry Models — keyless authentication.

Lista ta’ Verifika għat-Tħejjija għall-Produzzjoni

Qabel ma tiddikjara d-dispjegament tiegħek lest, għaddi mill-katina fl-ordni li fiha nbriet. Il-varjabbli tal-ambjent u s-sigrieti jkunu iridu emigraw lejn Key Vault, u l-kodiċi tas-sejħa tiegħek irid ikun protett b’tentattiv mill-ġdid esponenzjali li jkopri kemm żbalji 429 kif ukoll 5xx. Il-monitoraġġ ta’ Application Insights irid jirrapporta l-latency, l-iżbalji, u t-tokens, b’allerti korrispondenti kkunfigurati attwalment fuq metriki kritiċi—mhux biss ippjanati. Fl-aħħar nett, indirizza dak li n-nies għandhom it-tendenza li jposponu: testijiet tat-tagħbija mwettqa fil-fatt, aċċess għan-network privat jekk id-data hija sensittiva, u rotazzjoni taċ-ċavetta tal-API skedata b’data, mhux mitluqa għad-diskrezzjoni ġenerali.

Punti Ewlenin

  • Uża Azure Key Vault biex taħżen iċ-ċwievet tal-API, mhux varjabbli tal-ambjent f’test ċar
  • Immonitorja kull sejħa b’Application Insights (latency, tokens, żbalji)
  • Diżakkoppja b’Service Bus għal tagħbijiet ta’ volum għoli
  • Uża Private Link u Managed Identity għal ambjenti siguri
  • Mexxi testijiet tat-tagħbija u kkonfigura allerti qabel ma tmur fil-produzzjoni