Azure AI: Model kao usluga
Na ovoj stranici
Mistral na Azure AI-u
Microsoft Azure glavni je oblak partner tvrtke Mistral AI. Integracija s Azure AI-jem nudi modele kao Model kao usluga (MaaS), što znači da ih trošiš putem API-ja bez upravljanja ijednim GPU-om. Za mnoga poduzeća odlučujući faktor nije tehničke, već organizacijske prirode: proračun za oblak već postoji, pristupom upravlja Azure AD, a dodavanje Mistrala u katalog znači omogućiti još jednu uslugu umjesto pregovaranja o novom ugovoru. Ova lekcija pokriva dva dostupna pristupa implementaciji i modele kojima možeš pristupiti.
Dva pristupa implementaciji
Pristup plaćanja po korištenju (pay-as-you-go) najčešći je. Implementiraš serverless krajnju točku i naplaćuje ti se samo korištenje, po utrošenom tokenu, bez potrebe za kvotom GPU-a. Pokretanje je trenutno jer nema ničega za pripremu, nema fiksnih troškova, skaliranje automatski prati potražnju, a cijela se postavka izvorno integrira s ekosustavom Azurea. Ovo je zadana opcija sve dok je tvoj promet nepravilan.
Pristup krajnjih točaka u stvarnom vremenu rješava suprotan slučaj. Ovdje biraš GPU infrastrukturu na kojoj se model pokreće, a naplaćuju ti se sati infrastrukture, bez obzira na volumen zahtjeva. Performanse postaju predvidljive, a latencija zajamčena, što opravdava fiksni trošak jednom kada je propusnost kontinuirana i održiva. Platforma koja svake noći obrađuje nekoliko stotina tisuća dokumenata ima koristi od ovoga; interni asistent kojemu se pristupa trideset puta dnevno nema.
Modeli dostupni na Azureu
Azure nudi širok raspon Mistralovih modela, kako opće namjene tako i specijaliziranih.
| Model | Profil |
|---|---|
| Mistral Large 3 | Vodeći model, napredno rezoniranje |
| Mistral Large 24.07 / 24.11 | Prethodne verzije, još uvijek dostupne |
| Mistral Medium 25.05 | Dobar omjer performansi i cijene |
| Mistral Small 25.03 | Lagan i brz |
| Mistral Document AI | Obrada dokumenata |
| Mistral OCR | Optičko prepoznavanje znakova |
| Ministral 3B | Izuzetno lagan za rubne slučajeve |
| Mistral Nemo | Svestran model otvorenih težina |
| Codestral | Specijaliziran za kod i tehničko generiranje |
Implementacija modela na Azureu
Tri preduvjeta uvjetuju ostalo: aktivna Azure pretplata, pristup Azure AI Studiju putem portal.azure.com i grupa resursa konfigurirana za hostanje resursa. Jednom kada su ti elementi na mjestu, implementacija se odvija u potpunosti iz portala:
- Idi na Azure AI Studio u Azure portalu
- Navigiraj na Katalog modela > Mistral AI
- Odaberi željeni model
- Odaberi Plaćanje po korištenju ili Krajnja točka u stvarnom vremenu
- Konfiguriraj naziv krajnje točke i regiju
- Implementiraj i preuzmi URL + API ključ
Na kraju ovog posljednjeg koraka dobivaš dva podatka koja pokreću sve ostalo: URL krajnje točke i pridruženi tajni ključ.
# Your Azure endpoint URL
export AZUREAI_ENDPOINT="https://your-endpoint.inference.ai.azure.com/v1/chat/completions"
# Secret API key
export AZUREAI_API_KEY="your-secret-key"
Ove naredbe export funkcioniraju za lokalno testiranje. U proizvodnji ove dvije vrijednosti pripadaju upravitelju tajni – u ovom slučaju Azure Key Vaultu – a u Lekciji 6 vidjet ćemo kako ih odande dohvatiti, a da ih pritom nikamo drugamo ne zapisujemo.
Prvi poziv API-ju
Evo kako provjeriti odgovara li tvoja krajnja točka.
import os
from mistralai.azure.client import MistralAzure
client = MistralAzure(
server_url=os.environ["AZUREAI_ENDPOINT"],
api_key=os.environ["AZUREAI_API_KEY"]
)
response = client.chat.complete(
model="azureai",
messages=[
{"role": "user", "content": "Explain Bayes' theorem in 3 sentences."}
]
)
print(response.choices[0].message.content)
Jedan detalj zaslužuje tvoju pozornost jer zbunjuje gotovo svakog developera koji dolazi s izravnog API-ja: parametar model uvijek je "azureai". Stvarni model koji se upituje određen je krajnjom točkom koju si implementirao, a ne ovim nizom znakova. Ako želiš promijeniti modele, implementiraš drugu krajnju točku – pisanje model="mistral-large-latest" ovdje ne bi proizvelo ništa korisno.
Razlike u odnosu na izravni Mistral API
| Aspekt | Izravni Mistral API | Azure MaaS |
|---|---|---|
| Python klijent | Mistral() | MistralAzure() |
| Parametar modela | Naziv modela | "azureai" |
| Autentifikacija | Mistral API ključ | Azure API ključ |
| Naplata | Mistral | Azure |
| Mreža | Internet | Može biti privatna (VNet) |
Kada odabrati Azure
Azure postaje prirodan izbor kada tvoja tvrtka već živi u Microsoftovom ekosustavu i koristi Azure AD, Key Vault ili Monitor: integracija tada košta gotovo ništa. Potreba za povezivanjem putem privatne mreže, putem VNet-a ili Private Linka, gura u istom smjeru, kao i politike usklađenosti koje zahtijevaju da podaci ostanu kod certificiranog pružatelja oblaka. Tome dodaj prozaičan, ali često odlučujući argument u investicijskim odborima: konsolidaciju računa za oblak na jednu stavku.
Ključne točke
- Azure nudi Mistral kao MaaS (plaćanje po korištenju) ili krajnje točke u stvarnom vremenu (namjenski GPU)
- Python klijent
MistralAzurezamjenjuje standardni klijentMistral - Parametar
modeluvijek je"azureai"– model ovisi o krajnjoj točki - Izvorna integracija s Azure ekosustavom (Key Vault, VNet, Monitor) velika je prednost