Klientas „MistralAzure“ Python kalba
Šiame puslapyje
Kodavimas naudojant „MistralAzure“
Tavo Azure galinis taškas (endpoint) jau diegtas ir atsako; dabar reikia parašyti kodą, kuris jį naudotų patikimai. Šioje pamokoje detaliai nagrinėjamas Python MistralAzure klientas: inicijavimas, kasdien naudojami šablonai – paprasti kvietimai, srautinis perdavimas, asinchroninis vykdymas ir funkcijų kvietimas – bei keletas specifinių dalykų, išskiriančių Azure nuo tiesioginio API.
Diegimas ir konfigūravimas
Atnaujinta 2026 m. lapkričio 2 d. – „Mistral SDK“ 2 ir naujesnės versijos. Nuo Python SDK 2.0 versijos (2026 m. kovas) Azure klientas importuojamas iš
mistralai.azure.client, o jo 1 versijos parametraiazure_endpointirazure_api_keypakeisti įserver_urlirapi_key. Šios pamokos kodas atitinka dabartinę versiją (3.7.0, 2026 m. lapkričio 1 d.). Šaltiniai: v2.0.0 išleidimo pastabos · „Mistral“ Azure aplinkoje.
Azure klientas įtrauktas į mistralai paketą; jokių papildomų dependencijų nereikia.
pip install mistralai
Inicijavimui reikia dviejų parametrų:
import os
from mistralai.azure.client import MistralAzure
client = MistralAzure(
server_url=os.environ["AZUREAI_ENDPOINT"],
api_key=os.environ["AZUREAI_API_KEY"]
)
server_url– Tavo Azure galinio taško URLapi_key– Galinio taško autentifikavimo raktas
Trečiasis, neprivalomas parametras api_version, pagal nutylėjimą yra 2024-05-01-preview. SDK šią reikšmę automatiškai prideda prie kiekvieno užklausos kaip URL parametrą.
Pokalbių užbaigimai (Chat Completions)
Nuo šio momento patirtis identiška standartiniam klientui. Naudok sistemos žinutę modelio vaidmeniui apibrėžti, vartotojo žinutę klausimui suformuluoti ir nuskaityk atsakymą iš choices[0].message.content.
response = client.chat.complete(
model="azureai",
messages=[
{"role": "system", "content": "You are a technical assistant specializing in Python."},
{"role": "user", "content": "How do I implement a cache decorator?"}
]
)
print(response.choices[0].message.content)
Generavimo parametrai veikia lygiai taip pat, kaip ir naudojant tiesioginį „Mistral“ API. Jei atsakymas per daug nenuspėjamas arba išsamus, tai taisyk čia, o ne raginime (prompt).
response = client.chat.complete(
model="azureai",
messages=[
{"role": "user", "content": "Generate a haiku about cloud computing."}
],
temperature=0.7,
max_tokens=150,
top_p=0.95
)
temperature– Valdo kūrybiškumą (0,0 = deterministinis, 1,0 = kūrybiškas)max_tokens– Riboja atsakymo ilgįtop_p– Branduolio atranka (nucleus sampling)
Srautinis perdavimas (Streaming)
Kai atsakymai siekia kelis šimtus žodžių, standartinis kvietimas priverčia vartotoją kelias sekundes žiūrėti į įšalusį ekraną. Srautinis perdavimas pašalina šį laukimo pojūtį, rodydamas tekstą jam generuojantis. Tai yra numatytasis režimas visada, kai dalyvauja žmogaus sąsaja.
stream = client.chat.stream(
model="azureai",
messages=[
{"role": "user", "content": "Explain how a load balancer works."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
print() # Nauja eilutė pabaigoje
Atkreipk dėmesį į if content tikrinimą: kai kurios dalys (chunk) atkeliauja tuščios ir be šios atsargumo priemonės į ekraną būtų išvesta None.
Asinchroniniai kvietimai
Žiniatinklio serveryje (pvz., „FastAPI“, „Django async“) blokuojantis kvietimas užima darbuotoją visam generavimo laikui, kuris dažnai trunka kelias sekundes vienam užklausimui. Asinchroninis klientas laukimo metu perleidžia valdymą, leisdamas vienam procesui apdoroti dešimtis kartu vykdomų užklausų.
import asyncio
from mistralai.azure.client import MistralAzure
client = MistralAzure(
server_url=os.environ["AZUREAI_ENDPOINT"],
api_key=os.environ["AZUREAI_API_KEY"]
)
async def generate_response(prompt: str) -> str:
response = await client.chat.complete_async(
model="azureai",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
# Vykdymas
result = asyncio.run(generate_response("What is Kubernetes?"))
print(result)
Funkcijų kvietimas
Funkcijų kvietimas veikia identiškai tiesioginiam API. Tu aprašai turimus įrankius, modelis nusprendžia, ar vieną iš jų iškviesti, o tavo kodas tą funkciją faktiškai įvykdo – modelis tik suformuluoja ketinimą ir argumentus.
import json
tools = [
{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the weather for a city",
"parameters": {
"type": "object",
"properties": {
"city": {"type": "string", "description": "Name of the city"}
},
"required": ["city"]
}
}
}
]
response = client.chat.complete(
model="azureai",
messages=[{"role": "user", "content": "What is the weather in Paris?"}],
tools=tools,
tool_choice="auto"
)
# Patikrink, ar modelis nori iškviesti funkciją
if response.choices[0].message.tool_calls:
tool_call = response.choices[0].message.tool_calls[0]
args = json.loads(tool_call.function.arguments)
print(f"Function called: {tool_call.function.name}")
print(f"Arguments: {args}")
Klaidų apdorojimas
Gamybinėje aplinkoje pasikartoja trys klaidų šeimos, ir joms reikia skirtingo reagavimo. 429 signalizuoja apie dažnio ribojimą (rate limit) ir reikia kartoti užklausą taikant eksponentinį delsą. 401 rodo neteisingą arba galiojimo laiką pasibaigusį raktą: kartoti beprasmiška, todėl reikia nedelsiant nutraukti veiksmą su aiškiu pranešimu. 404 beveik visada rodo neteisingai sukonfigūruotą AZUREAI_ENDPOINT kintamąjį. Šių atvejų atskyrimas sutaupys valandų, kurių kitaip gaištum derindamas klaidą URL adrese.
import time
from mistralai.azure.client import MistralAzure
def robust_call(client, messages, max_retries=3):
"""Kvietimas su eksponentiniu kartojimu ir klaidų apdorojimu."""
for attempt in range(max_retries):
try:
return client.chat.complete(
model="azureai",
messages=messages
)
except Exception as e:
error_str = str(e)
if "429" in error_str:
wait = 2 ** attempt
print(f"Rate limit — retrying in {wait}s")
time.sleep(wait)
elif "401" in error_str:
raise ValueError("Invalid or expired API key") from e
elif "404" in error_str:
raise ValueError("Endpoint not found — check AZUREAI_ENDPOINT") from e
else:
if attempt == max_retries - 1:
raise
time.sleep(1)
raise RuntimeError("Failed after all retries")
Vartojimo matavimas
Kiekviename atsakyme yra usage objektas, kuriame pateikiama informacija apie sunaudotus tokenus. Tai skaityk sistemingai: tai vienintelis patikimas būdas įvertinti išlaidas ir pastebėti sistemos raginimą (system prompt), kuris tapo per didelis dėl pakartotinių redagavimų.
response = client.chat.complete(
model="azureai",
messages=[{"role": "user", "content": "Hello"}]
)
usage = response.usage
print(f"Prompt tokens : {usage.prompt_tokens}")
print(f"Response tokens: {usage.completion_tokens}")
print(f"Total tokens : {usage.total_tokens}")
Svarbiausi punktai
- Klientas
MistralAzureveikia kaip standartinis klientas, naudojantmodel="azureai" - Srautinis perdavimas (
chat.stream) rekomenduojamas vartotojo sąsajoms - Asinchroniniai kvietimai (
complete_async) yra būtini žiniatinklio serveriams - Funkcijų kvietimas ir JSON režimas veikia identiškai tiesioginiam API
- Visada įgyvendink eksponentinį kartojimą, kad apdorotum
429klaidas