Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Klient MistralAzure v Pythonu

Lekcija 5 od 14 Posodobljeno 2. november 2026 Napredni
Na tej strani
  1. Programiranje s klientom MistralAzure
  2. Namestitev in konfiguracija
  3. Zaključki klepeta (Chat Completions)
  4. Pretakanje (Streaming)
  5. Asinhroni klici
  6. Klicanje funkcij
  7. Obravnava napak
  8. Merjenje porabe
  9. Ključne ugotovitve

Programiranje s klientom MistralAzure

Tvoja končna točka Azure je nameščena in odgovarja; zdaj moraš napisati kodo, ki jo bo zanesljivo uporabljala. Ta lekcija podrobno opisuje Pythonovega klienta MistralAzure: inicializacijo, vzorce, ki jih boš uporabljal vsak dan (preprosti klici, pretakanje, asinhrono izvajanje in klicanje funkcij), ter nekaj posebnosti, ki ločujejo Azure od neposrednega API-ja.

Namestitev in konfiguracija

Posodobljeno 2. novembra 2026 — Mistral SDK 2 in novejši. Od različice 2.0 Pythonovega SDK (marec 2026) se Azure klient uvozi iz mistralai.azure.client, njegova parametra različice 1 azure_endpoint in azure_api_key pa sta postala server_url in api_key. Koda v tej lekciji sledi trenutni različici (3.7.0, 1. november 2026). Viri: opombe ob izdaji v2.0.0 · Mistral na Azure.

Azure klient je vključen v paket mistralai; dodatne odvisnosti niso potrebne.

pip install mistralai

Za inicializacijo sta potrebna dva parametra:

import os
from mistralai.azure.client import MistralAzure

client = MistralAzure(
    server_url=os.environ["AZUREAI_ENDPOINT"],
    api_key=os.environ["AZUREAI_API_KEY"]
)
  • server_url — URL tvoje končne točke Azure
  • api_key — Ključ za avtentikacijo končne točke

Tretji, izbirni parameter api_version privzeto nastavi na 2024-05-01-preview. SDK ta parameter samodejno doda vsaki zahtevi kot URL parameter.

Zaključki klepeta (Chat Completions)

Od tu naprej je izkušnja enaka kot pri standardnem klientu. Uporabi sistemsko sporočilo za določitev vloge modela, uporabniško sporočilo za vprašanje in odgovor preberi iz choices[0].message.content.

response = client.chat.complete(
    model="azureai",
    messages=[
        {"role": "system", "content": "You are a technical assistant specializing in Python."},
        {"role": "user", "content": "How do I implement a cache decorator?"}
    ]
)

print(response.choices[0].message.content)

Parametri generiranja delujejo popolnoma enako kot pri neposrednem API-ju Mistral. Če je odgovor preveč nepredvidljiv ali obsežen, ga popravi tukaj, ne v pozivu.

response = client.chat.complete(
    model="azureai",
    messages=[
        {"role": "user", "content": "Generate a haiku about cloud computing."}
    ],
    temperature=0.7,
    max_tokens=150,
    top_p=0.95
)
  • temperature — Nadzira ustvarjalnost (0,0 = deterministično, 1,0 = ustvarjalno)
  • max_tokens — Omeji dolžino odgovora
  • top_p – Jedrsko vzorčenje (nucleus sampling)

Pretakanje (Streaming)

Pri odgovorih, ki obsegajo več sto besed, standardni klic uporabnika prisili, da nekaj sekund strmi v zamrznjen zaslon. Pretakanje to navidezno čakanje odpravi z izpisovanjem besedila med njegovim generiranjem. To je privzeti način, kadar je vključen človeški vmesnik.

stream = client.chat.stream(
    model="azureai",
    messages=[
        {"role": "user", "content": "Explain how a load balancer works."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)
print()  # Nova vrstica na koncu

Upoštevaj preverjanje if content: nekateri delčki prispejo prazni in bi brez tega previdnostnega ukrepa na zaslon izpisali None.

Asinhroni klici

V spletnem strežniku (FastAPI, Django async) blokirajoči klic zasede delavca za celoten čas generiranja, kar pogosto znaša več sekund na zahtevo. Asinhroni klient med čakanjem prepusti nadzor, kar omogoča, da en sam proces obravnava desetine sočasnih zahtev.

import asyncio
from mistralai.azure.client import MistralAzure

client = MistralAzure(
    server_url=os.environ["AZUREAI_ENDPOINT"],
    api_key=os.environ["AZUREAI_API_KEY"]
)

async def generate_response(prompt: str) -> str:
    response = await client.chat.complete_async(
        model="azureai",
        messages=[{"role": "user", "content": prompt}]
    )
    return response.choices[0].message.content

# Izvajanje
result = asyncio.run(generate_response("What is Kubernetes?"))
print(result)

Klicanje funkcij

Klicanje funkcij deluje identično kot pri neposrednem API-ju. Opišeš razpoložljiva orodja, model se odloči, ali bo enega poklical, tvoja koda pa funkcijo dejansko izvede – model le oblikuje namen in argumente.

import json

tools = [
    {
        "type": "function",
        "function": {
            "name": "get_weather",
            "description": "Get the weather for a city",
            "parameters": {
                "type": "object",
                "properties": {
                    "city": {"type": "string", "description": "Name of the city"}
                },
                "required": ["city"]
            }
        }
    }
]

response = client.chat.complete(
    model="azureai",
    messages=[{"role": "user", "content": "What is the weather in Paris?"}],
    tools=tools,
    tool_choice="auto"
)

# Preveri, ali model želi poklicati funkcijo
if response.choices[0].message.tool_calls:
    tool_call = response.choices[0].message.tool_calls[0]
    args = json.loads(tool_call.function.arguments)
    print(f"Function called: {tool_call.function.name}")
    print(f"Arguments: {args}")

Obravnava napak

V produkcijskem okolju se ponavljajo tri družine napak, ki zahtevajo različne odzive. Koda 429 signalizira omejitev hitrosti in zahteva ponovni poskus z eksponentnim zamikom. Koda 401 kaže na neveljaven ali potekel ključ: ponovni poskus je neuporaben, zato takoj odpovej z jasnim sporočilom. Koda 404 skoraj vedno kaže na napačno konfigurirano spremenljivko AZUREAI_ENDPOINT. Razlikovanje med temi primeri ti prihrani uro iskanja napake zaradi tipkarske napake v URL-ju.

import time
from mistralai.azure.client import MistralAzure

def robust_call(client, messages, max_retries=3):
    """Klic z eksponentnim ponavljanjem in obravnavo napak."""
    for attempt in range(max_retries):
        try:
            return client.chat.complete(
                model="azureai",
                messages=messages
            )
        except Exception as e:
            error_str = str(e)
            if "429" in error_str:
                wait = 2 ** attempt
                print(f"Rate limit — retrying in {wait}s")
                time.sleep(wait)
            elif "401" in error_str:
                raise ValueError("Invalid or expired API key") from e
            elif "404" in error_str:
                raise ValueError("Endpoint not found — check AZUREAI_ENDPOINT") from e
            else:
                if attempt == max_retries - 1:
                    raise
                time.sleep(1)
    raise RuntimeError("Failed after all retries")

Merjenje porabe

Vsak odgovor vključuje predmet usage, ki podrobno opisuje porabljene žetone. To redno spremljaj: je edino zanesljivo merilo za oceno stroškov in odkrivanje sistemskega poziva, ki je postal preobremenjen zaradi ponavljajočih se urejanj.

response = client.chat.complete(
    model="azureai",
    messages=[{"role": "user", "content": "Hello"}]
)

usage = response.usage
print(f"Prompt tokens  : {usage.prompt_tokens}")
print(f"Response tokens: {usage.completion_tokens}")
print(f"Total tokens   : {usage.total_tokens}")

Ključne ugotovitve

  • Klient MistralAzure deluje kot standardni klient, z uporabo model="azureai"
  • Pretakanje (chat.stream) je priporočljivo za uporabniške vmesnike
  • Asinhroni klici (complete_async) so bistveni za spletne strežnike
  • Klicanje funkcij in način JSON delujeta identično kot pri neposrednem API-ju
  • Vedno implementiraj eksponentno ponavljanje za obravnavo napak 429