Azure AI: Model ako služba
Na tejto strane
Mistral na Azure AI
Microsoft Azure je hlavným cloudovým partnerom spoločnosti Mistral AI. Integrácia Azure AI ponúka modely ako Model ako služba (MaaS), čo znamená, že ich využívaš prostredníctvom API bez potreby spravovať jediný GPU. Pre mnohé podniky nie je rozhodujúcim faktorom technická stránka, ale organizačná: rozpočet na cloud už existuje, prístup je riadený cez Azure AD a pridanie Mistralu do katalógu znamená len povolenie ďalšej služby, namiesto vyjednávania novej zmluvy. Táto lekcia pokrýva dva dostupné prístupy k nasadeniu a dostupné modely.
Dva prístupy k nasadeniu
Prístup platba podľa využitia (pay-as-you-go) je najbežnejší. Nasadíš serverless endpoint a fakturované je ti len využitie, podľa spotrebovaných tokenov, bez potreby kvóty na GPU. Spustenie je okamžité, keďže nie je čo pripravovať, neexistujú žiadne fixné náklady, škálovanie automaticky nasleduje dopyt a celé nastavenie sa natívne integruje do ekosystému Azure. Toto je predvolená možnosť, pokiaľ je tvoja premávka nepravidelná.
Prístup endpointov v reálnom čase rieši opačný prípad. Tu si vyberieš GPU infraštruktúru, na ktorej model beží, a fakturované sú ti hodiny infraštruktúry bez ohľadu na objem požiadaviek. Výkon sa stáva predvídateľným a latencia garantovanou, čo ospravedlňuje fixné náklady, ak je priepustnosť kontinuálna a udržateľná. Platforma spracovávajúca každú noc státisíce dokumentov z toho ťaží; interný asistent konzultovaný tridsaťkrát denne nie.
Modely dostupné na Azure
Azure ponúka širokú škálu modelov Mistral, všeobecných aj špecializovaných.
| Model | Profil |
|---|---|
| Mistral Large 3 | Vlajková loď, pokročilé usudzovanie |
| Mistral Large 24.07 / 24.11 | Predchádzajúce verzie, stále dostupné |
| Mistral Medium 25.05 | Dobrý pomer výkon/cena |
| Mistral Small 25.03 | Ľahký a rýchly |
| Mistral Document AI | Spracovanie dokumentov |
| Mistral OCR | Optické rozpoznávanie znakov |
| Ministral 3B | Ultraľahký pre špecifické prípady |
| Mistral Nemo | Všestranný model s otvorenými váhami |
| Codestral | Špecializovaný na kód a technickú generáciu |
Nasadenie modelu na Azure
Tri predpoklady podmieňujú ďalší postup: aktívne predplatné Azure, prístup k Azure AI Studio cez portal.azure.com a skupina zdrojov nakonfigurovaná na hostenie zdroja. Akonáhle sú tieto prvky pripravené, nasadenie prebieha úplne z portálu:
- Prejdi na Azure AI Studio v portáli Azure
- Naviguj na Katalóg modelov > Mistral AI
- Vyber požadovaný model
- Zvoľ Platba podľa využitia alebo Endpoint v reálnom čase
- Nakonfiguruj názov endpointu a región
- Nasadź a získaj URL + API kľúč
Na konci tohto posledného kroku odídeš s dvoma informáciami, ktoré poháňajú všetko ostatné: URL endpointu a priradeným tajným kľúčom.
# Your Azure endpoint URL
export AZUREAI_ENDPOINT="https://your-endpoint.inference.ai.azure.com/v1/chat/completions"
# Secret API key
export AZUREAI_API_KEY="your-secret-key"
Tieto príkazy export fungujú pre lokálne testovanie. V produkcii patria tieto dve hodnoty do správcu tajomstiev – v tomto prípade Azure Key Vault – a v lekcii 6 uvidíme, ako ich odtiaľ získať bez toho, aby sme ich niekde inde zapisovali.
Prvý volanie API
Tu je návod, ako overiť, že tvoj endpoint skutočne odpovedá.
import os
from mistralai.azure.client import MistralAzure
client = MistralAzure(
server_url=os.environ["AZUREAI_ENDPOINT"],
api_key=os.environ["AZUREAI_API_KEY"]
)
response = client.chat.complete(
model="azureai",
messages=[
{"role": "user", "content": "Explain Bayes' theorem in 3 sentences."}
]
)
print(response.choices[0].message.content)
Jeden detail si zaslúži tvoju pozornosť, pretože zmätkuje takmer každého vývojára prichádzajúceho z priameho API: parameter model je vždy "azureai". Skutočný model, na ktorý sa dopytuješ, je určený endpointom, ktorý si nasadil, nie týmto reťazcom. Ak chceš zmeniť modely, nasadíš iný endpoint – zápis model="mistral-large-latest" by tu nepriniesol nič užitočné.
Rozdiely oproti priamemu API Mistral
| Aspekt | Priame API Mistral | Azure MaaS |
|---|---|---|
| Python klient | Mistral() | MistralAzure() |
| Parameter modelu | Názov modelu | "azureai" |
| Overenie | API kľúč Mistral | API kľúč Azure |
| Fakturácia | Mistral | Azure |
| Sieť | Internet | Môže byť súkromná (VNet) |
Kedy zvoliť Azure
Azure sa stáva prirodzenou voľbou, keď tvoja firma už žije v ekosystéme Microsoftu a využíva Azure AD, Key Vault alebo Monitor: integrácia potom stojí takmer nič. Potreba pripojenia cez súkromnú sieť, či už cez VNet alebo Private Link, tlačí tým istým smerom, rovnako ako politiky zhody vyžadujúce, aby dáta zostali u certifikovaného cloudového poskytovateľa. Pridaj k tomu prozaický, no často rozhodujúci argument pre investičné výbory: konsolidáciu cloudovej fakturácie do jednej položky.
Kľúčové poznatky
- Azure ponúka Mistral ako MaaS (platba podľa využitia) alebo endpointy v reálnom čase (vyhradený GPU)
- Python klient
MistralAzurenahrádza štandardného klientaMistral - Parameter
modelje vždy"azureai"– model závisí od endpointu - Natívna integrácia s ekosystémom Azure (Key Vault, VNet, Monitor) je veľkou výhodou