Клиентът MistralAzure в Python
На тази страница
Програмиране с MistralAzure
Вашият крайна точка в Azure е разположена и отговаря; сега трябва да напишете кода, който ще я използва надеждно. Този урок описва подробно Python клиента MistralAzure: инициализация, шаблоните, които ще използвате ежедневно – обикновени извиквания, поточно предаване, асинхронно изпълнение и извикване на функции – както и малкото специфики, които отличават Azure от директния API.
Инсталация и конфигурация
Обновено на 2 ноември 2026 г. — Mistral SDK 2 и по-нови версии. От версия 2.0 на Python SDK (март 2026 г.), Azure клиентът се импортира от
mistralai.azure.client, а неговите параметри от версия 1azure_endpointиazure_api_keyстанахаserver_urlиapi_key. Кодът в този урок следва текущата версия (3.7.0, 1 ноември 2026 г.). Източници: Бележки към версия v2.0.0 · Mistral в Azure.
Azure клиентът е включен в пакета mistralai; не са необходими допълнителни зависимости.
pip install mistralai
Инициализацията изисква два параметъра:
import os
from mistralai.azure.client import MistralAzure
client = MistralAzure(
server_url=os.environ["AZUREAI_ENDPOINT"],
api_key=os.environ["AZUREAI_API_KEY"]
)
server_url— URL адресът на Вашата крайна точка в Azureapi_key— Ключът за удостоверяване на крайната точка
Трети, незадължителен параметър, api_version, по подразбиране е 2024-05-01-preview. SDK автоматично добавя това към всяка заявка като URL параметър.
Завършване на чатове
От тук нататък преживяването огледално отразява стандартния клиент. Използвайте системно съобщение, за да определите ролята на модела, потребителско съобщение за въпроса и прочетете отговора от choices[0].message.content.
response = client.chat.complete(
model="azureai",
messages=[
{"role": "system", "content": "You are a technical assistant specializing in Python."},
{"role": "user", "content": "How do I implement a cache decorator?"}
]
)
print(response.choices[0].message.content)
Параметрите за генериране се държат точно както при директния Mistral API. Ако отговорът е твърде непредсказуем или многословен, коригирайте го тук, а не в подкана (prompt).
response = client.chat.complete(
model="azureai",
messages=[
{"role": "user", "content": "Generate a haiku about cloud computing."}
],
temperature=0.7,
max_tokens=150,
top_p=0.95
)
temperature— Контролира креативността (0.0 = детерминирано, 1.0 = креативно)max_tokens— Ограничава дължината на отговораtop_p— Семплиране на ядрото (nucleus sampling)
Поточно предаване (Streaming)
За отговори, обхващащи няколкостотин думи, стандартното извикване кара потребителя да гледа замръзнал екран в продължение на няколко секунди. Поточното предаване елиминира това възприемано чакане, като показва текста, докато се генерира. Това е режимът по подразбиране, когато има човешки интерфейс.
stream = client.chat.stream(
model="azureai",
messages=[
{"role": "user", "content": "Explain how a load balancer works."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
print() # Нов ред в края
Обърнете внимание на проверката if content: някои части пристигат празни и без тази предпазна мярка биха отпечатали None на екрана.
Асинхронни извиквания
В уеб сървър – FastAPI, Django async – блокиращо извикване ангажира работен процес за цялата продължителност на генерирането, често по няколко секунди на заявка. Асинхронният клиент отстъпва контрола по време на чакането, позволявайки на един процес да обработва десетки едновременни заявки.
import asyncio
from mistralai.azure.client import MistralAzure
client = MistralAzure(
server_url=os.environ["AZUREAI_ENDPOINT"],
api_key=os.environ["AZUREAI_API_KEY"]
)
async def generate_response(prompt: str) -> str:
response = await client.chat.complete_async(
model="azureai",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
# Изпълнение
result = asyncio.run(generate_response("What is Kubernetes?"))
print(result)
Извикване на функции
Извикването на функции се държи идентично с директния API. Вие описвате наличните инструменти, моделът решава дали да извика някой от тях, а Вашият код действително изпълнява функцията – моделът само формулира намерението и аргументите.
import json
tools = [
{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the weather for a city",
"parameters": {
"type": "object",
"properties": {
"city": {"type": "string", "description": "Name of the city"}
},
"required": ["city"]
}
}
}
]
response = client.chat.complete(
model="azureai",
messages=[{"role": "user", "content": "What is the weather in Paris?"}],
tools=tools,
tool_choice="auto"
)
# Проверка дали моделът иска да извика функция
if response.choices[0].message.tool_calls:
tool_call = response.choices[0].message.tool_calls[0]
args = json.loads(tool_call.function.arguments)
print(f"Function called: {tool_call.function.name}")
print(f"Arguments: {args}")
Обработка на грешки
В производствена среда се повтарят три семейства грешки и те изискват различни реакции. Код 429 сигнализира за ограничение на честотата и изисква повторен опит с експоненциално забавяне. Код 401 показва невалиден или изтекъл ключ: повторният опит е безполезен, затова прекратете веднага с ясно съобщение. Код 404 почти винаги сочи към неправилно конфигурирана променлива AZUREAI_ENDPOINT. Разграничаването на тези случаи Ви спестява часове дебъгване на правописна грешка в URL адрес.
import time
from mistralai.azure.client import MistralAzure
def robust_call(client, messages, max_retries=3):
"""Извикване с експоненциален повторен опит и обработка на грешки."""
for attempt in range(max_retries):
try:
return client.chat.complete(
model="azureai",
messages=messages
)
except Exception as e:
error_str = str(e)
if "429" in error_str:
wait = 2 ** attempt
print(f"Rate limit — retrying in {wait}s")
time.sleep(wait)
elif "401" in error_str:
raise ValueError("Invalid or expired API key") from e
elif "404" in error_str:
raise ValueError("Endpoint not found — check AZUREAI_ENDPOINT") from e
else:
if attempt == max_retries - 1:
raise
time.sleep(1)
raise RuntimeError("Failed after all retries")
Измерване на потреблението
Всеки отговор включва обект usage, описващ консумираните токени. Четете го систематично: това е единствената надеждна мярка за оценяване на разходите и откриване на системна подкана (system prompt), която е станала твърде обемна от многократни редакции.
response = client.chat.complete(
model="azureai",
messages=[{"role": "user", "content": "Hello"}]
)
usage = response.usage
print(f"Prompt tokens : {usage.prompt_tokens}")
print(f"Response tokens: {usage.completion_tokens}")
print(f"Total tokens : {usage.total_tokens}")
Ключови изводи
- Клиентът
MistralAzureработи като стандартния клиент, използвайкиmodel="azureai" - Поточното предаване (
chat.stream) се препоръчва за потребителски интерфейси - Асинхронните извиквания (
complete_async) са съществени за уеб сървъри - Извикването на функции и JSON режимът работят идентично с директния API
- Винаги внедрявайте експоненциален повторен опит за обработка на грешки
429