Azure AI: Model mint szolgáltatás
Ezen az oldalon
Mistral az Azure AI-n
A Microsoft Azure a Mistral AI elsődleges felhőpartnere. Az Azure AI integráció Model as a Service (MaaS) megoldást kínál, ami azt jelenti, hogy API-n keresztül éred el a modelleket anélkül, hogy egyetlen GPU-t is üzemeltetned kellene. Sok vállalatnál a döntő tényező nem technikai, hanem szervezeti: a felhőköltségvetés már rendelkezésre áll, a hozzáférést az Azure AD szabályozza, és a Mistral hozzáadása a katalógushoz csupán egy újabb szolgáltatás engedélyezését jelenti, nem pedig egy új szerződés tárgyalását. Ez a lecke a két elérhető telepítési megközelítést és a hozzáférhető modelleket mutatja be.
Két telepítési megközelítés
A fizess-használat-alapú (pay-as-you-go) megközelítés a leggyakoribb. Egy kiszolgáló nélküli végpontot (serverless endpoint) telepítesz, és csak a felhasznált tokenek után számláznak, GPU-kvóta nélkül. A indulás azonnali, mivel nincs szükség erőforrás-lefoglalásra, nincsenek fix költségek, a méretezés automatikusan követi a keresletet, és a teljes beállítás natívan integrálódik az Azure ökoszisztémába. Ez az alapértelmezett opció, amíg a forgalmad ingadozó.
A valós idejű végpontok (real-time endpoints) megközelítés az ellenkező esetet kezeli. Itt te választod ki azt a GPU-infrastruktúrát, amelyen a modell fut, és az infrastruktúra órái után számláznak, függetlenül a kérelmek számától. A teljesítmény kiszámíthatóvá válik, a késleltetés pedig garantált, ami indokolja a fix költséget, ha az átviteli sebesség folyamatos és tartós. Egy olyan platform, amely minden éjszaka több százezer dokumentumot dolgoz fel, profitál ebből; egy belső asszisztens, amelyet naponta harmincszor kérdeznek meg, nem.
Az Azure-on elérhető modellek
Az Azure széles körű Mistral-modellkínálatot biztosít, általános és specializált célokra egyaránt.
| Modell | Profil |
|---|---|
| Mistral Large 3 | Zászlóshajó modell, fejlett következtetés |
| Mistral Large 24.07 / 24.11 | Korábbi verziók, még elérhetők |
| Mistral Medium 25.05 | Jó teljesítmény/költség arány |
| Mistral Small 25.03 | Könnyű és gyors |
| Mistral Document AI | Dokumentumfeldolgozás |
| Mistral OCR | Optikai karakterfelismerés |
| Ministral 3B | Rendkívül könnyű, speciális esetekre |
| Mistral Nemo | Sokoldalú, nyílt súlyú modell |
| Codestral | Kódra és technikai generálásra specializálva |
Modell telepítése Azure-ra
Három előfeltétel szabja meg a továbbiakat: egy aktív Azure-előfizetés, hozzáférés az Azure AI Studio-hoz a portal.azure.com címen, valamint egy erőforráscsoport, amelyet az erőforrás fogadására konfiguráltak. Ha ezek megvannak, a telepítés teljes egészében a portálon történik:
- Nyisd meg az Azure AI Studio-t az Azure portálon
- Navigálj a Modellek katalógusa > Mistral AI menüponthoz
- Válaszd ki a kívánt modellt
- Válaszd a Fizess-használat-alapú vagy a Valós idejű végpont lehetőséget
- Konfiguráld a végpont nevét és régióját
- Telepítsd, majd szerezd be az URL-t és az API-kulcsot
Ennek az utolsó lépésnek a végén két információ birtokába jutsz, amelyek mindent vezérelnek: a végpont URL-címe és a hozzá tartozó titkos kulcs.
# Your Azure endpoint URL
export AZUREAI_ENDPOINT="https://your-endpoint.inference.ai.azure.com/v1/chat/completions"
# Secret API key
export AZUREAI_API_KEY="your-secret-key"
Ezek az export parancsok helyi tesztelésre szolgálnak. Éles környezetben ez a két érték egy titokkezelőben (jelen esetben Azure Key Vault) tárolandó, és a 6. leckében megnézzük, hogyan lehet onnan lekérni őket anélkül, hogy máshol írnánk őket.
Első API-hívás
Így ellenőrizheted, hogy a végpontod valóban válaszol-e.
import os
from mistralai.azure.client import MistralAzure
client = MistralAzure(
server_url=os.environ["AZUREAI_ENDPOINT"],
api_key=os.environ["AZUREAI_API_KEY"]
)
response = client.chat.complete(
model="azureai",
messages=[
{"role": "user", "content": "Explain Bayes' theorem in 3 sentences."}
]
)
print(response.choices[0].message.content)
Egy részlet külön figyelmet érdemel, mert szinte minden fejlesztőt megzavar, aki közvetlen API-ról érkezik: a model paraméter mindig "azureai". A ténylegesen lekérdezett modellt a telepített végpont határozza meg, nem ez a karakterlánc. Ha modellt szeretnél váltani, egy másik végpontot kell telepítened – ha ide model="mistral-large-latest"-et írsz, az semmi hasznosat nem eredményez.
Különbségek a közvetlen Mistral API-hoz képest
| Szempont | Közvetlen Mistral API | Azure MaaS |
|---|---|---|
| Python kliens | Mistral() | MistralAzure() |
| Modell paraméter | Modell neve | "azureai" |
| Hitelesítés | Mistral API kulcs | Azure API kulcs |
| Számlázás | Mistral | Azure |
| Hálózat | Internet | Lehet privát (VNet) |
Mikor válasszd az Azure-t?
Az Azure akkor válik természetes választássá, ha céged már a Microsoft ökoszisztémában él, és kihasználja az Azure AD-t, a Key Vaultot vagy a Monitort: az integráció ekkor szinte semmibe sem kerül. A privát hálózati kapcsolatra való igény (VNet vagy Private Link útján) szintén ebbe az irányba tol, akárcsak azok a megfelelőségi szabályzatok, amelyek megkövetelik, hogy az adatok tanúsított felhőszolgáltatónál maradjanak. Ehhez járul még egy prózai, de a befektetői bizottságokban gyakran döntő érv: a felhőköltségek konszolidálása egyetlen sorra a számlán.
Főbb megállapítások
- Az Azure Mistralt MaaS-ként (fizess-használat-alapú) vagy valós idejű végpontként (dedikált GPU) kínálja
- A
MistralAzurePython kliens váltja fel a szabványosMistralklienst - A
modelparaméter mindig"azureai"– a modell a végponttól függ - Az Azure ökoszisztémával (Key Vault, VNet, Monitor) való natív integráció jelentős előny