Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Azure u proizvodnji

Lekcija 6 od 14 Ažurirano 2. studenoga 2026. Napredno
Na ovoj stranici
  1. Priprema robustnog Azure okruženja
  2. Arhitektura u proizvodnji
  3. Nadzor s Application Insights
  4. Skalabilnost
  5. Mrežna sigurnost
  6. Kontrolni popis spremnosti za proizvodnju
  7. Ključne točke

Priprema robustnog Azure okruženja

Radni prototip na tvojem prijenosnom računalu i sustav u proizvodnji ne razlikuju se u kodu za pozivanje, koji ostaje identičan. Razlikuju se u svemu što okružuje taj kod: odakle dolaze tajne, kako promatraš što se događa, što se događa kada se promet udvostruči i kojim mrežnim putem putuju podaci. Ova lekcija pokriva ove četiri dimenzije za Mistral implementaciju na Azureu.

Arhitektura u proizvodnji

Tipična implementacija objedinjuje pet gradivnih blokova. Azure AI krajnja točka hosta Mistral model kao MaaS; Azure Key Vault pohranjuje API ključeve; Azure Monitor i Application Insights osiguravaju opservabilnost; Azure API Management djeluje kao gateway s ograničavanjem propusnosti i autentifikacijom ispred tvoje aplikacije; konačno, Azure Virtual Network osigurava izolaciju mreže, što je opcionalno, ali često potrebno za osjetljive podatke.

Tvoj prvi korak trebao bi biti izvlačenje tajni iz koda i varijabli okruženja, tako da aplikacija umjesto toga čita njihove vrijednosti iz Key Vaulta pri pokretanju.

from azure.identity import DefaultAzureCredential
from azure.keyvault.secrets import SecretClient
from mistralai.azure.client import MistralAzure

# Retrieve the API key from Key Vault
credential = DefaultAzureCredential()
vault_url = "https://mon-keyvault.vault.azure.net"
secret_client = SecretClient(vault_url=vault_url, credential=credential)

endpoint = secret_client.get_secret("mistral-endpoint").value
api_key = secret_client.get_secret("mistral-api-key").value

client = MistralAzure(server_url=endpoint, api_key=api_key)

Prednost nadilazi jednostavnu povjerljivost. Kada rotiraš ključ, nije potrebno ponovno implementirati aplikaciju jer se vrijednost čita iz trezora, a nije hardkodirana u konfiguraciji.

Nadzor s Application Insights

Bez instrumentacije, jedino što ćeš znati o incidentu jest da korisnik smatra aplikaciju „sporom“. Praćenje svakog poziva s njegovim trajanjem, brojem tokena i modelom daje ti ono što ti je potrebno za reakciju unutar nekoliko minuta.

import time
import logging
from opencensus.ext.azure.log_exporter import AzureLogHandler

logger = logging.getLogger(__name__)
logger.addHandler(AzureLogHandler(
    connection_string="InstrumentationKey=your-key"
))

def monitored_call(client, messages, model="azureai"):
    """Mistral call with Azure Monitor metrics."""
    start = time.time()
    try:
        response = client.chat.complete(model=model, messages=messages)
        duration = time.time() - start
        logger.info(
            "MistralCall",
            extra={
                "custom_dimensions": {
                    "duration_ms": int(duration * 1000),
                    "prompt_tokens": response.usage.prompt_tokens,
                    "completion_tokens": response.usage.completion_tokens,
                    "model": model
                }
            }
        )
        return response
    except Exception as e:
        duration = time.time() - start
        logger.error(
            f"MistralError: {e}",
            extra={
                "custom_dimensions": {
                    "duration_ms": int(duration * 1000),
                    "error_type": type(e).__name__
                }
            }
        )
        raise

Ove metrike vrijede samo ako ih netko prati. Konfiguriraj odgovarajuća upozorenja u Azure Monitoru:

  • P95 latencija > 5s — degradacija performansi
  • Stopa pogrešaka 5xx > 1% — problemi na strani poslužitelja
  • Pogreške 429 > 10/min — dosegnuto ograničenje stope
  • Potrošnja tokena > 80% kvote — približavanje ograničenju

Skalabilnost

Kada volumen raste, prva je pogreška sinkrono pozivanje modela iz dolaznog HTTP zahtjeva: svako usporavanje prenosi se izravno na korisnika. Odvajanje pomoću Azure Service Busa omogućuje ti apsorpciju skokova u prometu — zahtjevi se gomilaju u redu čekanja i obrađuju tempom koji tvoja kvota dopušta.

from azure.servicebus import ServiceBusClient, ServiceBusMessage
import json

# Producer: send requests to the queue
def enqueue_request(prompt: str, request_id: str):
    with ServiceBusClient.from_connection_string(conn_str) as sb_client:
        sender = sb_client.get_queue_sender(queue_name="mistral-requests")
        message = ServiceBusMessage(
            json.dumps({"prompt": prompt, "request_id": request_id})
        )
        sender.send_messages(message)

# Consumer: process requests from the queue
def process_queue():
    with ServiceBusClient.from_connection_string(conn_str) as sb_client:
        receiver = sb_client.get_queue_receiver(queue_name="mistral-requests")
        for msg in receiver:
            data = json.loads(str(msg))
            response = client.chat.complete(
                model="azureai",
                messages=[{"role": "user", "content": data["prompt"]}]
            )
            # Store the result...
            receiver.complete_message(msg)

Ako usko grlo proizlazi iz same propusnosti, a ne iz trenutnog opterećenja, implementiraj više krajnjih točaka za isti model i raspodijeli pozive između njih.

import random

endpoints = [
    {"url": os.environ["AZUREAI_ENDPOINT_1"], "key": os.environ["AZUREAI_KEY_1"]},
    {"url": os.environ["AZUREAI_ENDPOINT_2"], "key": os.environ["AZUREAI_KEY_2"]},
]

def get_client():
    """Simple round-robin across endpoints."""
    ep = random.choice(endpoints)
    return MistralAzure(server_url=ep["url"], api_key=ep["key"])

Mrežna sigurnost

Za osjetljive podatke, Azure Private Link osigurava da promet između tvoje aplikacije i Mistral krajnje točke nikada ne prelazi javni internet. Konfiguracija se odvija u četiri koraka:

  1. Stvori privatnu krajnju točku u svom VNetu
  2. Poveži je sa svojim Azure AI resursom
  3. Onemogući javni pristup na krajnjoj točki
  4. Konfiguriraj privatni DNS za razlučivanje

Treći korak je onaj koji ljudi zaborave, a bez njega javni put ostaje otvoren paralelno: Private Link postoji, ali ništa ne sprječava njegovo zaobilaženje.

U istom duhu, Managed Identity uklanja API ključ iz jednadžbe: aplikacija dobiva svoje tokena od Microsoft Entra ID-a, pa nema tajne koju treba pohraniti ili rotirati. Međutim, vrijede dva uvjeta. MistralAzure klijent koji dokumentira Mistral autentificira se ključem; autentifikacija bez ključa koju opisuje Microsoft odvija se putem modela implementiranog u Microsoft Foundry resursu, koji se upituje na svojoj ruti kompatibilnoj s OpenAI-jem /openai/v1/, s tokenima izdanim za opseg https://ai.azure.com/.default. Identitetu se unaprijed mora dodijeliti uloga za zaključivanje na tom resursu. Davatelj tokena, umjesto tokena pročitanog jednom pri pokretanju, obnavlja pristup prije isteka:

from azure.identity import ManagedIdentityCredential, get_bearer_token_provider
from openai import OpenAI

token_provider = get_bearer_token_provider(
    ManagedIdentityCredential(),
    "https://ai.azure.com/.default",
)

client = OpenAI(
    base_url="https://<resource>.openai.azure.com/openai/v1/",
    api_key=token_provider,
)

response = client.chat.completions.create(
    model="my-mistral-deployment",  # name of your deployment
    messages=[{"role": "user", "content": "Summarize the data retention policy."}],
)
print(response.choices[0].message.content)

Izvor: Endpoints for Microsoft Foundry Models — keyless authentication.

Kontrolni popis spremnosti za proizvodnju

Prije nego proglasiš svoju implementaciju spremnom, prođi kroz lanac redoslijedom kojim je izgrađen. Varijable okruženja i tajne moraju biti migrirane u Key Vault, a tvoj kod za pozivanje mora biti zaštićen eksponencijalnim ponovnim pokušajima koji pokrivaju i pogreške 429 i 5xx. Nadzor putem Application Insightsa mora izvještavati o latenciji, pogreškama i tokenima, s odgovarajućim upozorenjima koja su zapravo konfigurirana na kritičnim metrikama — a ne samo planirana. Konačno, riješi ono što ljudi imaju običaj odgađati: testovi opterećenja su stvarno provedeni, pristup privatnoj mreži ako su podaci osjetljivi, te je rotacija API ključa zakazana s određenim datumom, a ne prepuštena općoj procjeni.

Ključne točke

  • Koristi Azure Key Vault za pohranu API ključeva, a ne obične varijable okruženja
  • Prati svaki poziv s Application Insightsom (latencija, tokeni, pogreške)
  • Odvoji procese pomoću Service Busa za radna opterećenja velikog volumena
  • Koristi Private Link i Managed Identity za sigurna okruženja
  • Pokreni testove opterećenja i konfiguriraj upozorenja prije prelaska u proizvodnju