Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Klientas „MistralAzure“ Python kalba

Paskaita 5 iš 14 Atnaujinta 2026 m. lapkričio 2 d. Pažengusiems
Šiame puslapyje
  1. Kodavimas naudojant „MistralAzure“
  2. Diegimas ir konfigūravimas
  3. Pokalbių užbaigimai (Chat Completions)
  4. Srautinis perdavimas (Streaming)
  5. Asinchroniniai kvietimai
  6. Funkcijų kvietimas
  7. Klaidų apdorojimas
  8. Vartojimo matavimas
  9. Svarbiausi punktai

Kodavimas naudojant „MistralAzure“

Tavo Azure galinis taškas (endpoint) jau diegtas ir atsako; dabar reikia parašyti kodą, kuris jį naudotų patikimai. Šioje pamokoje detaliai nagrinėjamas Python MistralAzure klientas: inicijavimas, kasdien naudojami šablonai – paprasti kvietimai, srautinis perdavimas, asinchroninis vykdymas ir funkcijų kvietimas – bei keletas specifinių dalykų, išskiriančių Azure nuo tiesioginio API.

Diegimas ir konfigūravimas

Atnaujinta 2026 m. lapkričio 2 d. – „Mistral SDK“ 2 ir naujesnės versijos. Nuo Python SDK 2.0 versijos (2026 m. kovas) Azure klientas importuojamas iš mistralai.azure.client, o jo 1 versijos parametrai azure_endpoint ir azure_api_key pakeisti į server_url ir api_key. Šios pamokos kodas atitinka dabartinę versiją (3.7.0, 2026 m. lapkričio 1 d.). Šaltiniai: v2.0.0 išleidimo pastabos · „Mistral“ Azure aplinkoje.

Azure klientas įtrauktas į mistralai paketą; jokių papildomų dependencijų nereikia.

pip install mistralai

Inicijavimui reikia dviejų parametrų:

import os
from mistralai.azure.client import MistralAzure

client = MistralAzure(
    server_url=os.environ["AZUREAI_ENDPOINT"],
    api_key=os.environ["AZUREAI_API_KEY"]
)
  • server_url – Tavo Azure galinio taško URL
  • api_key – Galinio taško autentifikavimo raktas

Trečiasis, neprivalomas parametras api_version, pagal nutylėjimą yra 2024-05-01-preview. SDK šią reikšmę automatiškai prideda prie kiekvieno užklausos kaip URL parametrą.

Pokalbių užbaigimai (Chat Completions)

Nuo šio momento patirtis identiška standartiniam klientui. Naudok sistemos žinutę modelio vaidmeniui apibrėžti, vartotojo žinutę klausimui suformuluoti ir nuskaityk atsakymą iš choices[0].message.content.

response = client.chat.complete(
    model="azureai",
    messages=[
        {"role": "system", "content": "You are a technical assistant specializing in Python."},
        {"role": "user", "content": "How do I implement a cache decorator?"}
    ]
)

print(response.choices[0].message.content)

Generavimo parametrai veikia lygiai taip pat, kaip ir naudojant tiesioginį „Mistral“ API. Jei atsakymas per daug nenuspėjamas arba išsamus, tai taisyk čia, o ne raginime (prompt).

response = client.chat.complete(
    model="azureai",
    messages=[
        {"role": "user", "content": "Generate a haiku about cloud computing."}
    ],
    temperature=0.7,
    max_tokens=150,
    top_p=0.95
)
  • temperature – Valdo kūrybiškumą (0,0 = deterministinis, 1,0 = kūrybiškas)
  • max_tokens – Riboja atsakymo ilgį
  • top_p – Branduolio atranka (nucleus sampling)

Srautinis perdavimas (Streaming)

Kai atsakymai siekia kelis šimtus žodžių, standartinis kvietimas priverčia vartotoją kelias sekundes žiūrėti į įšalusį ekraną. Srautinis perdavimas pašalina šį laukimo pojūtį, rodydamas tekstą jam generuojantis. Tai yra numatytasis režimas visada, kai dalyvauja žmogaus sąsaja.

stream = client.chat.stream(
    model="azureai",
    messages=[
        {"role": "user", "content": "Explain how a load balancer works."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)
print()  # Nauja eilutė pabaigoje

Atkreipk dėmesį į if content tikrinimą: kai kurios dalys (chunk) atkeliauja tuščios ir be šios atsargumo priemonės į ekraną būtų išvesta None.

Asinchroniniai kvietimai

Žiniatinklio serveryje (pvz., „FastAPI“, „Django async“) blokuojantis kvietimas užima darbuotoją visam generavimo laikui, kuris dažnai trunka kelias sekundes vienam užklausimui. Asinchroninis klientas laukimo metu perleidžia valdymą, leisdamas vienam procesui apdoroti dešimtis kartu vykdomų užklausų.

import asyncio
from mistralai.azure.client import MistralAzure

client = MistralAzure(
    server_url=os.environ["AZUREAI_ENDPOINT"],
    api_key=os.environ["AZUREAI_API_KEY"]
)

async def generate_response(prompt: str) -> str:
    response = await client.chat.complete_async(
        model="azureai",
        messages=[{"role": "user", "content": prompt}]
    )
    return response.choices[0].message.content

# Vykdymas
result = asyncio.run(generate_response("What is Kubernetes?"))
print(result)

Funkcijų kvietimas

Funkcijų kvietimas veikia identiškai tiesioginiam API. Tu aprašai turimus įrankius, modelis nusprendžia, ar vieną iš jų iškviesti, o tavo kodas tą funkciją faktiškai įvykdo – modelis tik suformuluoja ketinimą ir argumentus.

import json

tools = [
    {
        "type": "function",
        "function": {
            "name": "get_weather",
            "description": "Get the weather for a city",
            "parameters": {
                "type": "object",
                "properties": {
                    "city": {"type": "string", "description": "Name of the city"}
                },
                "required": ["city"]
            }
        }
    }
]

response = client.chat.complete(
    model="azureai",
    messages=[{"role": "user", "content": "What is the weather in Paris?"}],
    tools=tools,
    tool_choice="auto"
)

# Patikrink, ar modelis nori iškviesti funkciją
if response.choices[0].message.tool_calls:
    tool_call = response.choices[0].message.tool_calls[0]
    args = json.loads(tool_call.function.arguments)
    print(f"Function called: {tool_call.function.name}")
    print(f"Arguments: {args}")

Klaidų apdorojimas

Gamybinėje aplinkoje pasikartoja trys klaidų šeimos, ir joms reikia skirtingo reagavimo. 429 signalizuoja apie dažnio ribojimą (rate limit) ir reikia kartoti užklausą taikant eksponentinį delsą. 401 rodo neteisingą arba galiojimo laiką pasibaigusį raktą: kartoti beprasmiška, todėl reikia nedelsiant nutraukti veiksmą su aiškiu pranešimu. 404 beveik visada rodo neteisingai sukonfigūruotą AZUREAI_ENDPOINT kintamąjį. Šių atvejų atskyrimas sutaupys valandų, kurių kitaip gaištum derindamas klaidą URL adrese.

import time
from mistralai.azure.client import MistralAzure

def robust_call(client, messages, max_retries=3):
    """Kvietimas su eksponentiniu kartojimu ir klaidų apdorojimu."""
    for attempt in range(max_retries):
        try:
            return client.chat.complete(
                model="azureai",
                messages=messages
            )
        except Exception as e:
            error_str = str(e)
            if "429" in error_str:
                wait = 2 ** attempt
                print(f"Rate limit — retrying in {wait}s")
                time.sleep(wait)
            elif "401" in error_str:
                raise ValueError("Invalid or expired API key") from e
            elif "404" in error_str:
                raise ValueError("Endpoint not found — check AZUREAI_ENDPOINT") from e
            else:
                if attempt == max_retries - 1:
                    raise
                time.sleep(1)
    raise RuntimeError("Failed after all retries")

Vartojimo matavimas

Kiekviename atsakyme yra usage objektas, kuriame pateikiama informacija apie sunaudotus tokenus. Tai skaityk sistemingai: tai vienintelis patikimas būdas įvertinti išlaidas ir pastebėti sistemos raginimą (system prompt), kuris tapo per didelis dėl pakartotinių redagavimų.

response = client.chat.complete(
    model="azureai",
    messages=[{"role": "user", "content": "Hello"}]
)

usage = response.usage
print(f"Prompt tokens  : {usage.prompt_tokens}")
print(f"Response tokens: {usage.completion_tokens}")
print(f"Total tokens   : {usage.total_tokens}")

Svarbiausi punktai

  • Klientas MistralAzure veikia kaip standartinis klientas, naudojant model="azureai"
  • Srautinis perdavimas (chat.stream) rekomenduojamas vartotojo sąsajoms
  • Asinchroniniai kvietimai (complete_async) yra būtini žiniatinklio serveriams
  • Funkcijų kvietimas ir JSON režimas veikia identiškai tiesioginiam API
  • Visada įgyvendink eksponentinį kartojimą, kad apdorotum 429 klaidas