Azure AI: Modelis kaip paslauga
Šiame puslapyje
„Mistral“ sistemoje „Azure AI“
„Microsoft Azure“ yra pagrindinis „Mistral AI“ debesijos partneris. Integracija su „Azure AI“ siūlo modelius kaip Modelis kaip paslauga (MaaS), tai reiškia, kad juos naudoji per API, nevaldydamas nė vieno GPU. Daugeliui įmonių lemiamas veiksnys yra ne techninis, o organizacinis: debesijos biudžetas jau egzistuoja, prieiga valdoma per „Azure AD“, o „Mistral“ įtraukimas į katalogą reiškia tiesiog vienos papildomos paslaugos įjungimą, o ne naujos sutarties derinimą. Šioje pamokoje aptarsime du galimus diegimo būdus ir pasiekiamus modelius.
Du diegimo būdai
Mokėk pagal naudojimą (pay-as-you-go) yra pats dažniausias būdas. Diegi be serverio valdymo (serverless) galinį tašką ir mokai tik už faktinį naudojimą – už sunaudotus tokenus, be poreikio GPU kvotai. Pradžia momentinė, nes nieko nereikia paruošti iš anksto, nėra fiksuotų išlaidų, mastelis keičiasi automatiškai pagal paklausą, o visa sąranka natūraliai integruojasi į „Azure“ ekosistemą. Tai numatytasis variantas, kol tavo srautas yra nereguliarus.
Realaus laiko galiniai taškai (real-time endpoints) skirti priešingam atvejui. Čia tu pasirenki GPU infrastruktūrą, kurioje veikia modelis, ir mokai už infrastruktūros valandas, nepaisant užklausų kiekio. Našumas tampa nuspėjamas, o delsos garantuotos, kas pateisina fiksuotas išlaidas, kai duomenų srautas yra nuolatinis ir didelis. Platforma, kasnakt apdorojanti šimtus tūkstančių dokumentų, iš to laimi; vidinis asistentas, kuriuo naudojamasi trisdešimt kartų per dieną – ne.
„Azure“ siūlomi modeliai
„Azure“ siūlo platų „Mistral“ modelių asortimentą: tiek bendrosios paskirties, tiek specializuotų.
| Modelis | Profilis |
|---|---|
| Mistral Large 3 | Pagrindinis modelis, pažangus samprotavimas |
| Mistral Large 24.07 / 24.11 | Ankstesnės versijos, vis dar prieinamos |
| Mistral Medium 25.05 | Geras našumo ir kainos santykis |
| Mistral Small 25.03 | Lengvas ir greitas |
| Mistral Document AI | Dokumentų apdorojimas |
| Mistral OCR | Optinis simbolių atpažinimas |
| Ministral 3B | Ypač lengvas kraštutiniams atvejams |
| Mistral Nemo | Universalus atviro svorio modelis |
| Codestral | Specializuotas kodui ir techninei generacijai |
Modelio diegimas „Azure“ sistemoje
Toliau vykstantiems veiksmams būtinos trys sąlygos: aktyvi „Azure“ prenumerata, prieiga prie „Azure AI Studio“ per portal.azure.com ir išteklių grupė, sukonfigūruota ištekliams talpinti. Kai šie elementai paruošti, diegimas atliekamas visiškai per portalą:
- „Azure“ portale eik į Azure AI Studio
- Naršyk į Model catalog > Mistral AI
- Pasirink norimą modelį
- Pasirink Pay-as-you-go arba Real-time endpoint
- Suconfigūruok galinio taško pavadinimą ir regioną
- Įdieg ir gauk URL bei API raktą
Paskutinio žingsnio pabaigoje gauni du duomenis, nuo kurių viskas priklauso: galinio taško URL ir susietą slaptąjį raktą.
# Your Azure endpoint URL
export AZUREAI_ENDPOINT="https://your-endpoint.inference.ai.azure.com/v1/chat/completions"
# Secret API key
export AZUREAI_API_KEY="your-secret-key"
Šios export komandos tinka vietiniam testavimui. Gamybinėje aplinkoje šios dvi reikšmės turi būti saugomos slapčių valdyklėje – šiuo atveju „Azure Key Vault“ – ir 6 pamokoje pamatysi, kaip jas iš ten gauti niekur kitur nerašant.
Pirmasis API kvietimas
Štai kaip patikrinti, ar tavo galinis taškas iš tikrųjų atsako.
import os
from mistralai.azure.client import MistralAzure
client = MistralAzure(
server_url=os.environ["AZUREAI_ENDPOINT"],
api_key=os.environ["AZUREAI_API_KEY"]
)
response = client.chat.complete(
model="azureai",
messages=[
{"role": "user", "content": "Explain Bayes' theorem in 3 sentences."}
]
)
print(response.choices[0].message.content)
Viena detalė nusipelno tavo dėmesio, nes ji suklaidina beveik kiekvieną kūrėją, perėjusį nuo tiesioginio API: parametras model visada yra "azureai". Tikrasis užklausiamas modelis nustatomas pagal tavo įdiegtą galinį tašką, o ne pagal šią eilutę. Jei nori pakeisti modelius, turi įdiegti kitą galinį tašką – čia parašius model="mistral-large-latest", nieko naudingo negausi.
Skirtumai nuo tiesioginio „Mistral“ API
| Aspektas | Tiesioginis „Mistral“ API | „Azure MaaS“ |
|---|---|---|
| Python klientas | Mistral() | MistralAzure() |
| Modelio parametras | Modelio pavadinimas | "azureai" |
| Autentifikavimas | „Mistral“ API raktas | „Azure“ API raktas |
| Apmokestinimas | „Mistral“ | „Azure“ |
| Tinklas | Internetas | Gali būti privatus (VNet) |
Kada rinktis „Azure“
„Azure“ tampa natūraliu pasirinkimu, kai tavo įmonė jau gyvena „Microsoft“ ekosistemoje ir naudoja „Azure AD“, „Key Vault“ arba „Monitor“: tuomet integracija kainuoja beveik nieko. Poreikis turėti privačią tinklo jungtį per VNet arba „Private Link“ taip pat stumia šia kryptimi, kaip ir reikalavimai atitikti standartus, nurodančius, kad duomenys turi likti pas sertifikuotą debesijos tiekėją. Pridėkime dar vieną prozišką, bet investicijų komitetuose dažnai lemiamą argumentą: debesijos sąskaitų konsolidavimą į vieną eilutę.
Svarbiausi punktai
- „Azure“ siūlo „Mistral“ kaip MaaS (mokėk pagal naudojimą) arba realaus laiko galinius taškus (skirtas GPU)
- Python klientas
MistralAzurepakeičia standartinį klientąMistral - Parametras
modelvisada yra"azureai"– modelis priklauso nuo galinio taško - Natūrali integracija į „Azure“ ekosistemą („Key Vault“, „VNet“, „Monitor“) yra didelis privalumas