Azure AI: Mudel teenusena
Sellel lehel
Mistral Azure AI-s
Microsoft Azure on Mistral AI peamine pilvepartner. Azure AI integratsioon pakub mudeleid mudel teenusena (MaaS), mis tähendab, et tarbid neid API kaudu, haldamata ühtegi GPU-d. Paljude ettevõtete jaoks pole otsustavaks teguriks tehniline, vaid organisatsiooniline aspekt: pilve-eelarve on juba olemas, juurdepääsu reguleerib Azure AD ja Mistrali kataloogi lisamine tähendab ühe teenuse lubamist, mitte uue lepingu läbirääkimist. See tund käsitleb kahte saadaolevat kasutuselevõtu lähenemist ja kättesaadavaid mudeleid.
Kaks kasutuselevõtu lähenemist
Maksa kasutuse järgi (pay-as-you-go) on kõige levinum lähenemine. Sa võtad kasutusele serverita lõpp-punkti ja arveid koostatakse ainult kasutuse eest, tarbitud tokeni kohta, ilma GPU kvooti vajamata. Käivitamine on kohene, kuna midagi pole vaja ette valmistada, püsikulusid pole, skaleerumine järgib automaatselt nõudlust ja kogu seadistus integreerub loomupäraselt Azure ökosüsteemiga. See on vaikevalik seni, kuni sinu liiklus on ebaregulaarne.
Reaalaja lõpp-punktide lähenemine lahendab vastupidise olukorra. Siin valid GPU taristu, millel mudel töötab, ja arveid koostatakse taristu tundide eest, sõltumata päringute mahust. Jõudlus muutub ennustatavaks ja latentsus garanteerituks, mis õigustab püsikulusid siis, kui läbilaskevõime on pidev ja kestev. Seda lähenemist eelistab platvorm, mis töötleb igal ööl sadu tuhandeid dokumente; sisene assistent, mida konsulteeritakse kolmkümmend korda päevas, seda ei vaja.
Azure’is saadaolevad mudelid
Azure pakub laia valikut Mistrali mudeleid, nii üldotstarbelisi kui ka spetsialiseerunud.
| Mudel | Profiil |
|---|---|
| Mistral Large 3 | Lipulaev-mudel, täiustatud arutlusvõime |
| Mistral Large 24.07 / 24.11 | Eelmised versioonid, endiselt saadaval |
| Mistral Medium 25.05 | Hea jõudluse ja kulude suhe |
| Mistral Small 25.03 | Kergekaaluline ja kiire |
| Mistral Document AI | Dokumentide töötlemine |
| Mistral OCR | Optiline märgituvastus |
| Ministral 3B | Ülikergekaaluline äärmuslikeks juhtudeks |
| Mistral Nemo | Mitmekülgne avatud kaaludega mudel |
| Codestral | Spetsialiseerunud koodile ja tehnilisele genereerimisele |
Mudeli kasutuselevõtt Azure’is
Kolm eeldust määravad edasise tegevuse: aktiivne Azure’i tellimus, juurdepääs Azure AI Studio-le aadressil portal.azure.com ja ressursirühm, mis on konfigureeritud ressursi majutamiseks. Kui need elemendid on paigas, toimub kasutuselevõtt täielikult portaali kaudu:
- Mine Azure’i portaalis jaotisse Azure AI Studio
- Liigu menüüsse Mudelite kataloog > Mistral AI
- Vali soovitud mudel
- Vali Maksa kasutuse järgi või Reaalaja lõpp-punkt
- Seadista lõpp-punkti nimi ja piirkond
- Võta kasutusele ning hangi URL ja API võti
Selle viimase sammu lõpus saad kätte kaks teavet, mis juhivad kõike muud: lõpp-punkti URL-i ja sellega seotud salajase võtme.
# Sinu Azure'i lõpp-punkti URL
export AZUREAI_ENDPOINT="https://your-endpoint.inference.ai.azure.com/v1/chat/completions"
# Salajane API võti
export AZUREAI_API_KEY="your-secret-key"
Need export käsud sobivad kohalikuks testimiseks. Tootmiskeskkonnas kuuluvad need kaks väärtust saladuste haldurisse – sel juhul Azure Key Vaulti – ja näeme 6. tunnis, kuidas neid sealt kätte saada, kirjutamata neid kunagi mujale.
Esimene API väljakutse
Siin on näide, kuidas kontrollida, kas sinu lõpp-punkt tegelikult vastab.
import os
from mistralai.azure.client import MistralAzure
client = MistralAzure(
server_url=os.environ["AZUREAI_ENDPOINT"],
api_key=os.environ["AZUREAI_API_KEY"]
)
response = client.chat.complete(
model="azureai",
messages=[
{"role": "user", "content": "Selgita Bayesi teoreemi kolmes lauses."}
]
)
print(response.choices[0].message.content)
Üks detail väärib tähelepanu, sest see paneb komistama peaaegu iga arendaja, kes tuleb otse API juurest: parameeter model on alati "azureai". Tegelik päritav mudel määratakse sinu kasutusele võetud lõpp-punkti järgi, mitte selle stringi põhjal. Kui soovid mudeleid vahetada, võta kasutusele teine lõpp-punkt – kirjutades siia model="mistral-large-latest", ei saa sa midagi kasulikku.
Erinevused otsese Mistrali API-ga võrreldes
| Aspekt | Otsene Mistrali API | Azure MaaS |
|---|---|---|
| Pythoni klient | Mistral() | MistralAzure() |
| Mudeli parameeter | Mudeli nimi | "azureai" |
| Autentimine | Mistrali API võti | Azure’i API võti |
| Arveldamine | Mistral | Azure |
| Võrk | Internet | Võib olla privaatne (VNet) |
Millal valida Azure
Azure muutub loomulikuks valikuks siis, kui sinu ettevõte elab juba Microsofti ökosüsteemis ja kasutab Azure AD-d, Key Vaulti või Monitorit: integratsioon maksab siis peaaegu nulli. Vajadus privaatse võrguühenduse järele läbi VNeti või Private Linki surub samas suunas, nagu ka vastavusnõuded, mis nõuavad andmete hoidmist sertifitseeritud pilveteenuse pakkuja juures. Lisage sellele proosaline, kuid investeerimiskomiteedes sageli otsustav argument: pilvearvelduste konsolideerimine ühele reale.
Peamised punktid
- Azure pakub Mistrali MaaS-ina (maksa kasutuse järgi) või reaalaja lõpp-punktidena (pühendatud GPU)
- Pythoni klient
MistralAzureasendab standardse kliendiMistral - Parameeter
modelon alati"azureai"– mudel sõltub lõpp-punktist - Loomulik integratsioon Azure ökosüsteemiga (Key Vault, VNet, Monitor) on suur eelis