Azure AI: Model as a Service
На тази страница
Mistral в Azure AI
Microsoft Azure е основният облачен партньор на Mistral AI. Интеграцията с Azure AI предлага модели като Model as a Service (MaaS), което означава, че ги използвате чрез API, без да управлявате нито един GPU. За много предприятия решаващият фактор не е технически, а организационен: облачният бюджет вече съществува, достъпът се регулира от Azure AD, а добавянето на Mistral към каталога означава активиране на още една услуга, вместо преговори за нов договор. Този урок обхваща двата налични подхода за внедряване и достъпните модели.
Два подхода за внедряване
Подходът pay-as-you-go (плащане според използването) е най-разпространеният. Вие внедрявате сървърлес крайна точка и се таксувате само за използването, на база консумирани токени, без нужда от квота за GPU. Стартирането е мигновено, тъй като няма нищо за предоставяне, няма фиксирани разходи, мащабирането следва автоматично търсенето, а цялата настройка се интегрира нативно в екосистемата на Azure. Това е опцията по подразбиране, стига трафикът Ви да е неравномерен.
Подходът с крайни точки в реално време (real-time endpoints) адресира обратния случай. Тук Вие избирате GPU инфраструктурата, върху която работи моделът, и се таксувате за часове инфраструктура, независимо от обема на заявките. Производителността става предвидима, а латентността – гарантирана, което оправдава фиксираната цена, щом пропускателната способност е непрекъсната и устойчива. Платформа, обработваща няколкостотин хиляди документа всяка нощ, има полза от това; вътрешен асистент, консултиран тридесет пъти на ден – не.
Модели, налични в Azure
Azure предлага широка гама от модели на Mistral, както с общо предназначение, така и специализирани.
| Модел | Профил |
|---|---|
| Mistral Large 3 | Флагмански модел, разширено разсъждение |
| Mistral Large 24.07 / 24.11 | Предишни версии, все още налични |
| Mistral Medium 25.05 | Добър баланс между производителност и цена |
| Mistral Small 25.03 | Лековесен и бърз |
| Mistral Document AI | Обработка на документи |
| Mistral OCR | Оптично разпознаване на символи |
| Ministral 3B | Ултра-лековесен за специфични случаи |
| Mistral Nemo | Универсален модел с отворени тегла |
| Codestral | Специализиран за код и техническо генериране |
Внедряване на модел в Azure
Три предпоставки обуславят следващите стъпки: активен абонамент за Azure, достъп до Azure AI Studio чрез portal.azure.com и група ресурси, конфигурирана за хостиране на ресурса. След като тези елементи са налице, внедряването става изцяло от портала:
- Отидете в Azure AI Studio в портала на Azure
- Навигирайте до Model catalog > Mistral AI
- Изберете желания модел
- Изберете Pay-as-you-go или Real-time endpoint
- Конфигурирайте името на крайната точка и региона
- Внедрете и извлечете URL адреса + API ключа
В края на тази последна стъпка разполагате с две части информация, които движат всичко останало: URL адресът на крайната точка и свързаният секретен ключ.
# Your Azure endpoint URL
export AZUREAI_ENDPOINT="https://your-endpoint.inference.ai.azure.com/v1/chat/completions"
# Secret API key
export AZUREAI_API_KEY="your-secret-key"
Тези команди export работят за локално тестване. В производствена среда тези две стойности принадлежат в мениджър на секрети – в случая Azure Key Vault – и ще видим в Урок 6 как да ги извлечете оттам, без никога да ги записвате на друго място.
Първо API обаждане
Ето как да проверите дали крайната Ви точка действително отговаря.
import os
from mistralai.azure.client import MistralAzure
client = MistralAzure(
server_url=os.environ["AZUREAI_ENDPOINT"],
api_key=os.environ["AZUREAI_API_KEY"]
)
response = client.chat.complete(
model="azureai",
messages=[
{"role": "user", "content": "Explain Bayes' theorem in 3 sentences."}
]
)
print(response.choices[0].message.content)
Един детайл заслужава вниманието Ви, защото обърква почти всеки разработчик, идващ от директния API: параметърът model винаги е "azureai". Реалният модел, към който се прави заявка, се определя от внедрената от Вас крайна точка, а не от този низ. Ако искате да смените моделите, трябва да внедрите друга крайна точка – написването на model="mistral-large-latest" тук няма да произведе нищо полезно.
Разлики с директния API на Mistral
| Аспект | Директен API на Mistral | Azure MaaS |
|---|---|---|
| Python клиент | Mistral() | MistralAzure() |
| Параметър за модел | Име на модела | "azureai" |
| Удостоверяване | API ключ на Mistral | API ключ на Azure |
| Таксуване | Mistral | Azure |
| Мрежа | Интернет | Може да бъде частна (VNet) |
Кога да изберете Azure
Azure се превръща в естествения избор, когато компанията Ви вече живее в екосистемата на Microsoft и използва Azure AD, Key Vault или Monitor: тогава интеграцията струва почти нищо. Необходимостта от свързаност към частна мрежа, чрез VNet или Private Link, тласка в същата посока, както и политиките за съответствие, изискващи данните да останат при сертифициран облачен доставчик. Към това добавете прозаичен, но често решаващ аргумент в инвестиционните комитети: консолидиране на облачните фактури в един единствен ред.
Ключови изводи
- Azure предлага Mistral като MaaS (pay-as-you-go) или крайни точки в реално време (специализиран GPU)
- Python клиентът
MistralAzureзамества стандартния клиентMistral - Параметърът
modelвинаги е"azureai"– моделът зависи от крайната точка - Нативната интеграция с екосистемата на Azure (Key Vault, VNet, Monitor) е основно предимство