Klient MistralAzure v Pythonu
Na tej strani
Programiranje s klientom MistralAzure
Tvoja končna točka Azure je nameščena in odgovarja; zdaj moraš napisati kodo, ki jo bo zanesljivo uporabljala. Ta lekcija podrobno opisuje Pythonovega klienta MistralAzure: inicializacijo, vzorce, ki jih boš uporabljal vsak dan (preprosti klici, pretakanje, asinhrono izvajanje in klicanje funkcij), ter nekaj posebnosti, ki ločujejo Azure od neposrednega API-ja.
Namestitev in konfiguracija
Posodobljeno 2. novembra 2026 — Mistral SDK 2 in novejši. Od različice 2.0 Pythonovega SDK (marec 2026) se Azure klient uvozi iz
mistralai.azure.client, njegova parametra različice 1azure_endpointinazure_api_keypa sta postalaserver_urlinapi_key. Koda v tej lekciji sledi trenutni različici (3.7.0, 1. november 2026). Viri: opombe ob izdaji v2.0.0 · Mistral na Azure.
Azure klient je vključen v paket mistralai; dodatne odvisnosti niso potrebne.
pip install mistralai
Za inicializacijo sta potrebna dva parametra:
import os
from mistralai.azure.client import MistralAzure
client = MistralAzure(
server_url=os.environ["AZUREAI_ENDPOINT"],
api_key=os.environ["AZUREAI_API_KEY"]
)
server_url— URL tvoje končne točke Azureapi_key— Ključ za avtentikacijo končne točke
Tretji, izbirni parameter api_version privzeto nastavi na 2024-05-01-preview. SDK ta parameter samodejno doda vsaki zahtevi kot URL parameter.
Zaključki klepeta (Chat Completions)
Od tu naprej je izkušnja enaka kot pri standardnem klientu. Uporabi sistemsko sporočilo za določitev vloge modela, uporabniško sporočilo za vprašanje in odgovor preberi iz choices[0].message.content.
response = client.chat.complete(
model="azureai",
messages=[
{"role": "system", "content": "You are a technical assistant specializing in Python."},
{"role": "user", "content": "How do I implement a cache decorator?"}
]
)
print(response.choices[0].message.content)
Parametri generiranja delujejo popolnoma enako kot pri neposrednem API-ju Mistral. Če je odgovor preveč nepredvidljiv ali obsežen, ga popravi tukaj, ne v pozivu.
response = client.chat.complete(
model="azureai",
messages=[
{"role": "user", "content": "Generate a haiku about cloud computing."}
],
temperature=0.7,
max_tokens=150,
top_p=0.95
)
temperature— Nadzira ustvarjalnost (0,0 = deterministično, 1,0 = ustvarjalno)max_tokens— Omeji dolžino odgovoratop_p– Jedrsko vzorčenje (nucleus sampling)
Pretakanje (Streaming)
Pri odgovorih, ki obsegajo več sto besed, standardni klic uporabnika prisili, da nekaj sekund strmi v zamrznjen zaslon. Pretakanje to navidezno čakanje odpravi z izpisovanjem besedila med njegovim generiranjem. To je privzeti način, kadar je vključen človeški vmesnik.
stream = client.chat.stream(
model="azureai",
messages=[
{"role": "user", "content": "Explain how a load balancer works."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
print() # Nova vrstica na koncu
Upoštevaj preverjanje if content: nekateri delčki prispejo prazni in bi brez tega previdnostnega ukrepa na zaslon izpisali None.
Asinhroni klici
V spletnem strežniku (FastAPI, Django async) blokirajoči klic zasede delavca za celoten čas generiranja, kar pogosto znaša več sekund na zahtevo. Asinhroni klient med čakanjem prepusti nadzor, kar omogoča, da en sam proces obravnava desetine sočasnih zahtev.
import asyncio
from mistralai.azure.client import MistralAzure
client = MistralAzure(
server_url=os.environ["AZUREAI_ENDPOINT"],
api_key=os.environ["AZUREAI_API_KEY"]
)
async def generate_response(prompt: str) -> str:
response = await client.chat.complete_async(
model="azureai",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
# Izvajanje
result = asyncio.run(generate_response("What is Kubernetes?"))
print(result)
Klicanje funkcij
Klicanje funkcij deluje identično kot pri neposrednem API-ju. Opišeš razpoložljiva orodja, model se odloči, ali bo enega poklical, tvoja koda pa funkcijo dejansko izvede – model le oblikuje namen in argumente.
import json
tools = [
{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the weather for a city",
"parameters": {
"type": "object",
"properties": {
"city": {"type": "string", "description": "Name of the city"}
},
"required": ["city"]
}
}
}
]
response = client.chat.complete(
model="azureai",
messages=[{"role": "user", "content": "What is the weather in Paris?"}],
tools=tools,
tool_choice="auto"
)
# Preveri, ali model želi poklicati funkcijo
if response.choices[0].message.tool_calls:
tool_call = response.choices[0].message.tool_calls[0]
args = json.loads(tool_call.function.arguments)
print(f"Function called: {tool_call.function.name}")
print(f"Arguments: {args}")
Obravnava napak
V produkcijskem okolju se ponavljajo tri družine napak, ki zahtevajo različne odzive. Koda 429 signalizira omejitev hitrosti in zahteva ponovni poskus z eksponentnim zamikom. Koda 401 kaže na neveljaven ali potekel ključ: ponovni poskus je neuporaben, zato takoj odpovej z jasnim sporočilom. Koda 404 skoraj vedno kaže na napačno konfigurirano spremenljivko AZUREAI_ENDPOINT. Razlikovanje med temi primeri ti prihrani uro iskanja napake zaradi tipkarske napake v URL-ju.
import time
from mistralai.azure.client import MistralAzure
def robust_call(client, messages, max_retries=3):
"""Klic z eksponentnim ponavljanjem in obravnavo napak."""
for attempt in range(max_retries):
try:
return client.chat.complete(
model="azureai",
messages=messages
)
except Exception as e:
error_str = str(e)
if "429" in error_str:
wait = 2 ** attempt
print(f"Rate limit — retrying in {wait}s")
time.sleep(wait)
elif "401" in error_str:
raise ValueError("Invalid or expired API key") from e
elif "404" in error_str:
raise ValueError("Endpoint not found — check AZUREAI_ENDPOINT") from e
else:
if attempt == max_retries - 1:
raise
time.sleep(1)
raise RuntimeError("Failed after all retries")
Merjenje porabe
Vsak odgovor vključuje predmet usage, ki podrobno opisuje porabljene žetone. To redno spremljaj: je edino zanesljivo merilo za oceno stroškov in odkrivanje sistemskega poziva, ki je postal preobremenjen zaradi ponavljajočih se urejanj.
response = client.chat.complete(
model="azureai",
messages=[{"role": "user", "content": "Hello"}]
)
usage = response.usage
print(f"Prompt tokens : {usage.prompt_tokens}")
print(f"Response tokens: {usage.completion_tokens}")
print(f"Total tokens : {usage.total_tokens}")
Ključne ugotovitve
- Klient
MistralAzuredeluje kot standardni klient, z uporabomodel="azureai" - Pretakanje (
chat.stream) je priporočljivo za uporabniške vmesnike - Asinhroni klici (
complete_async) so bistveni za spletne strežnike - Klicanje funkcij in način JSON delujeta identično kot pri neposrednem API-ju
- Vedno implementiraj eksponentno ponavljanje za obravnavo napak
429