Azure AI: Modelis kā pakalpojums
Šajā lapā
Mistral vidē Azure AI
Microsoft Azure ir Mistral AI galvenais mākoņa partneris. Integrācija ar Azure AI piedāvā modeļus kā Modelis kā pakalpojums (MaaS), kas nozīmē, ka tu tos lieto, izmantojot API, nepārvaldot nevienu GPU. Daudziem uzņēmumiem izšķirošais faktors nav tehnisks, bet gan organizatorisks: mākoņa budžets jau pastāv, piekļuve tiek regulēta caur Azure AD, un Mistral pievienošana katalogam nozīmē vienkārši iespējot vēl vienu pakalpojumu, nevis slēgt jaunu līgumu. Šajā nodarbībā aplūkotas divas pieejamās izvietošanas pieejas un pieejamie modeļi.
Divas izvietošanas pieejas
Pieeja maksā par lietoto ir visizplatītākā. Tu izvieto bezservera galapunktu un tiek apmaksāts tikai par faktiski izlietoto resursu apjomu (par katru patērēto tokeni), bez nepieciešamības pēc GPU kvotas. Uzsākšana ir tūlītēja, jo nekas nav jānodrošina, nav fiksētu izmaksu, mērogošanās automātiski pielāgojas pieprasījumam, un visa konfigurācija dabiski integrējas Azure ekosistēmā. Šī ir noklusējuma opcija, kamēr tava datplūsma ir neregulāra.
Pieeja ar reāllaika galapunktiem risina pretēju situāciju. Šeit tu izvēlies GPU infrastruktūru, uz kuras darbojas modelis, un tiek apmaksātas infrastruktūras darbības stundas neatkarīgi no pieprasījumu apjoma. Veiktspēja kļūst paredzama, un latentums ir garantēts, kas attaisno fiksētās izmaksas, tiklīdz caurlaidspēja ir nepārtraukta un ilgtspējīga. Platforma, kas katru nakti apstrādā vairākus simtus tūkstošu dokumentu, no tā gūst labumu; iekšējais asistents, ko konsultē trīsdesmit reizes dienā, – nē.
Modeļi, kas pieejami Azure vidē
Azure piedāvā plašu Mistral modeļu klāstu – gan vispārēja lietojuma, gan specializētus.
| Modelis | Profils |
|---|---|
| Mistral Large 3 | Flagmanis modelis, uzlabota spriešana |
| Mistral Large 24.07 / 24.11 | Iepriekšējās versijas, joprojām pieejamas |
| Mistral Medium 25.05 | Labs veiktspējas un izmaksu līdzsvars |
| Mistral Small 25.03 | Viegls un ātrs |
| Mistral Document AI | Dokumentu apstrāde |
| Mistral OCR | Optiskā rakstzīmju atpazīšana |
| Ministral 3B | Īpaši viegls īpašiem gadījumiem |
| Mistral Nemo | Daudzpusīgs atvērta svara modelis |
| Codestral | Specializēts kodam un tehniskai ģenerēšanai |
Modeļa izvietošana Azure vidē
Trīs priekšnosacījumi nosaka turpmāko gaitu: aktīvs Azure abonements, piekļuve Azure AI Studio caur portal.azure.com un resursu grupa, kas konfigurēta resursa mitināšanai. Kad šie elementi ir sagatavoti, izvietošana notiek pilnībā no portāla:
- Portālā Azure dodies uz Azure AI Studio
- Navigē uz Modeļu katalogs > Mistral AI
- Atlasī vēlamo modeli
- Izvēlies Maksā par lietoto vai Reāllaika galapunkts
- Konfigurē galapunkta nosaukumu un reģionu
- Izvieto un iegūst URL + API atslēgu
Šī pēdējā soļa beigās tu iegūsti divus informācijas gabalus, kas virza visu pārējo: galapunkta URL un tam piesaistīto slepeno atslēgu.
# Tavs Azure galapunkta URL
export AZUREAI_ENDPOINT="https://your-endpoint.inference.ai.azure.com/v1/chat/completions"
# Slepenā API atslēga
export AZUREAI_API_KEY="your-secret-key"
Šīs export komandas darbojas lokālai testēšanai. Produkcijas vidē šīs divas vērtības jāglabā noslēpumu pārvaldniekā – šajā gadījumā Azure Key Vault – un 6. nodarbībā mēs apskatīsim, kā tās no turienes izgūt, nekur citur tās nerakstot.
Pirmais API izsaukums
Lūk, kā pārbaudīt, vai tavs galapunkts patiešām atbild.
import os
from mistralai.azure.client import MistralAzure
client = MistralAzure(
server_url=os.environ["AZUREAI_ENDPOINT"],
api_key=os.environ["AZUREAI_API_KEY"]
)
response = client.chat.complete(
model="azureai",
messages=[
{"role": "user", "content": "Explain Bayes' theorem in 3 sentences."}
]
)
print(response.choices[0].message.content)
Viena detaļa ir pelnījusi tavu uzmanību, jo tā mulsina gandrīz katru izstrādātāju, kas pāriet no tiešās API: parametrs model vienmēr ir "azureai". Faktiski vaicātais modelis tiek noteikts pēc izvietotā galapunkta, nevis pēc šīs virknes. Ja vēlies mainīt modeli, tev jāizvieto cits galapunkts – rakstot šeit model="mistral-large-latest", tu neiegūsi nekādu noderīgu rezultātu.
Atšķirības no tiešās Mistral API
| Aspekts | Tiešā Mistral API | Azure MaaS |
|---|---|---|
| Python klients | Mistral() | MistralAzure() |
| Modeļa parametrs | Modeļa nosaukums | "azureai" |
| Autentifikācija | Mistral API atslēga | Azure API atslēga |
| Rēķinu izrakstīšana | Mistral | Azure |
| Tīkls | Internets | Var būt privāts (VNet) |
Kad izvēlēties Azure
Azure kļūst par dabisko izvēli, kad tavs uzņēmums jau dzīvo Microsoft ekosistēmā un izmanto Azure AD, Key Vault vai Monitor: integrācija tad izmaksā gandrīz neko. Nepieciešamība pēc privāta tīkla savienojuma, izmantojot VNet vai Private Link, virza tajā pašā virzienā, tāpat kā atbilstības politika, kas prasa datu uzturēšanos pie sertificēta mākoņa pakalpojumu sniedzēja. Tam pieskaiti vēl prozaisku, bet bieži vien izšķirošu argumentu investīciju komitejās: mākoņa rēķinu konsolidēšanu vienā rindiņā.
Galvenās atziņas
- Azure piedāvā Mistral kā MaaS (maksā par lietoto) vai reāllaika galapunktus (veltīts GPU)
- Python klients
MistralAzureaizstāj standarta klientuMistral - Parametrs
modelvienmēr ir"azureai"– modelis ir atkarīgs no galapunkta - Dabiskā integrācija ar Azure ekosistēmu (Key Vault, VNet, Monitor) ir liela priekšrocība