Azure AI: Model kot storitev
Na tej strani
Mistral na Azure AI
Microsoft Azure je glavni oblakni partner podjetja Mistral AI. Integracija z Azure AI ponuja modele kot Model kot storitev (MaaS), kar pomeni, da jih porabljate prek API-ja, ne da bi upravljali katerikoli GPU. Za številna podjetja odločilni dejavnik ni tehničen, temveč organizacijski: proračun za oblak že obstaja, dostop ureja Azure AD, dodajanje Mistrala v katalog pa pomeni omogočitev še ene storitve namesto pogajanj o novi pogodbi. Ta lekcija pokriva dva razpoložljiva pristopa za uvajanje in dostopne modele.
Dva pristopa za uvajanje
Pristop plačilo po porabi je najpogostejši. Razporedite strežniško končno točko in ste obremenjeni le za uporabo, na podlagi porabljenih žetonov, brez potrebe po kvoti za GPU. Zagon je takojšen, saj ni treba ničesar pripraviti, ni fiksnih stroškov, skaliranje samodejno sledi povpraševanju in celotna namestitev se izvorno integrira z ekosistemom Azure. To je privzeta možnost, dokler je vaš promet nepravilen.
Pristop končnih točk v realnem času obravnava nasprotni primer. Tu izberete infrastrukturo GPU, na kateri teče model, in ste obremenjeni za ure infrastrukture, ne glede na količino zahtevkov. Uspešnost postane predvidljiva in zakasnitev zagotovljena, kar upraviči fiksne stroške, ko je pretok neprekinjen in stalen. Platforma, ki vsako noč obdela več sto tisoč dokumentov, ima od tega koristi; notranji pomočnik, ki ga uporabijo tridesetkrat na dan, pa ne.
Modeli, na voljo na Azure
Azure ponuja širok nabor modelov Mistral, tako splošnih kot specializiranih.
| Model | Profil |
|---|---|
| Mistral Large 3 | Vodilni model, napredno sklepanje |
| Mistral Large 24.07 / 24.11 | Prejšnje različice, še vedno na voljo |
| Mistral Medium 25.05 | Dobro razmerje med zmogljivostjo in stroški |
| Mistral Small 25.03 | Lahek in hiter |
| Mistral Document AI | Obdelava dokumentov |
| Mistral OCR | Optično prepoznavanje znakov |
| Ministral 3B | Izjemno lahek za robne primere |
| Mistral Nemo | Vsestranski model z odprtimi utežmi |
| Codestral | Specializiran za kodo in tehnično generiranje |
Uvajanje modela na Azure
Tri predpogoja določajo nadaljnji potek: aktivna naročnina Azure, dostop do Azure AI Studio prek portal.azure.com in skupina virov, konfigurirana za gostovanje vira. Ko so ti elementi na voljo, se uvajanje izvede v celoti iz portala:
- Pojdite v Azure AI Studio v portalu Azure
- Krmarite do Katalog modelov > Mistral AI
- Izberite želeni model
- Izberite Plačilo po porabi ali Končna točka v realnem času
- Konfigurirajte ime končne točke in regijo
- Razporedite in pridobite URL + ključ API
Ob koncu tega zadnjega koraka razpolagate z dvema informacijama, ki poganjata vse ostalo: URL-jem končne točke in pripadajočim tajnim ključem.
# Your Azure endpoint URL
export AZUREAI_ENDPOINT="https://your-endpoint.inference.ai.azure.com/v1/chat/completions"
# Secret API key
export AZUREAI_API_KEY="your-secret-key"
Ti ukazi export delujejo za lokalno testiranje. V proizvodnem okolju ti dve vrednosti spadata v upravitelja skrivnosti – v tem primeru Azure Key Vault – in v 6. lekciji bomo videli, kako ju od tam pridobiti, ne da bi ju kjer koli drugje zapisali.
Prvi klic API-ja
Tako preverite, ali vaša končna točka dejansko odgovarja.
import os
from mistralai.azure.client import MistralAzure
client = MistralAzure(
server_url=os.environ["AZUREAI_ENDPOINT"],
api_key=os.environ["AZUREAI_API_KEY"]
)
response = client.chat.complete(
model="azureai",
messages=[
{"role": "user", "content": "Explain Bayes' theorem in 3 sentences."}
]
)
print(response.choices[0].message.content)
Ena podrobnost si zasluži vašo pozornost, saj zavede skoraj vsakega razvijalca, ki prihaja neposredno iz API-ja: parameter model je vedno "azureai". Dejanski model, ki se poizveduje, določa končna točka, ki ste jo razporedili, ne ta niz. Če želite zamenjati modele, razporedite drugo končno točko – zapis model="mistral-large-latest" tukaj ne bi proizvedel ničesar uporabnega.
Razlike glede na neposredni API Mistral
| Vidik | Neposredni API Mistral | Azure MaaS |
|---|---|---|
| Odjemalec Python | Mistral() | MistralAzure() |
| Parameter modela | Ime modela | "azureai" |
| Avtentikacija | Ključ API Mistral | Ključ API Azure |
| Obračunavanje | Mistral | Azure |
| Omrežje | Internet | Lahko zasebno (VNet) |
Kdaj izbrati Azure
Azure postane naravna izbira, ko vaše podjetje že živi v ekosistemu Microsoft in izkorišča Azure AD, Key Vault ali Monitor: integracija takrat stane skoraj nič. Potreba po povezavi zasebnega omrežja prek VNet ali Private Link potiska v isto smer, prav tako politike skladnosti, ki zahtevajo, da podatki ostanejo pri certificiranem ponudniku oblaka. Temu dodajte še prozaičen, a pogosto odločilen argument v investicijskih odborih: konsolidacijo obračunavanja oblaka v eno samo postavko.
Ključne ugotovitve
- Azure ponuja Mistral kot MaaS (plačilo po porabi) ali končne točke v realnem času (namenski GPU)
- Odjemalec Python
MistralAzurenadomešča standardnega odjemalcaMistral - Parameter
modelje vedno"azureai"– model je odvisen od končne točke - Izvorna integracija z ekosistemom Azure (Key Vault, VNet, Monitor) je velika prednost