Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Atbilde un lietojums

Nodarbība 4 no 16 Atjaunota 2026. gada 2. novembris Programmētājs
Šajā lapā
  1. Saproti, ko API atgriež
  2. Pilna atbildes uzbūve
  3. Masīvs choices
  4. Vērtības finish_reason
  5. Objekts usage — izseko savas izmaksas
  6. Atbildes saturs
  7. Ievies praksē
  8. Galvenās atziņas

Saproti, ko API atgriež

Lielākā daļa izstrādātāju, kas tikko sāk strādāt ar API, izlasa tikai vienu atbildes rindiņu — ģenerēto tekstu — un ignorē visu pārējo. Tā ir kļūda. Katrs pieprasījums uz /v1/chat/completions atgriež bagātīgu JSON objektu. Tieši šeit tu atradīsi datus, kas nepieciešami, lai izsekotu izmaksas, noteiktu apgrieztu atbildi pirms tā sasniedz lietotāju, un precīzi identificētu konkrētu izsaukumu, atverot atbalsta pieprasījumu.

Pilna atbildes uzbūve

Sāksim ar metadatiem. Tie ir lauki, kurus tu reti pārbaudi, bet vēlēsies, lai būtu tos reģistrējis tajā dienā, kad notiek incidents:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "What is machine learning?"}],
    max_tokens=500
)

# Access metadata
print(f"Request ID : {response.id}")
print(f"Model used : {response.model}")
print(f"Created at : {response.created}")

Lauks id ir unikāls identifikators, kas piešķirts katram pieprasījumam. Šī ir atsauce, ko sniegsi tehniskajam atbalstam, un tā, kas ļauj saistīt lietotāja sūdzību ar konkrētu izsaukumu taviem žurnālos. Lauks model apstiprina, kurš modelis faktiski tika izmantots. Tas ir svarīgāk, nekā vari domāt, kad izsauc -latest aliasu un uzvedība mainās pa nakti bez jebkādām izmaiņām tavā kodā.

Masīvs choices

Atbildes kodols slēpjas choices. Pēc noklusējuma šis masīvs satur vienu elementu. No tā tu iegūsti gan tekstu, gan spriedumu par to, kā ģenerēšana beidzās:

choice = response.choices[0]

# The generated message
print(choice.message.role)      # "assistant"
print(choice.message.content)   # The response text

# The index of this response in the array
print(choice.index)             # 0

# The stop reason
print(choice.finish_reason)     # "stop", "length", or "tool_calls"

Ja pieprasīsi vairākas atbildes, izmantojot parametru n, ko aplūkosim 15. nodarbībā, choices saturēs vairākus elementus, un indekss atkal kļūs nozīmīgs.

Vērtības finish_reason

Šis lauks nosaka tavas lietotnes uzticamību. Ir trīs iespējamās vērtības. stop signalizē, ka modelis ir dabiski pabeidzis savu atbildi. Šis ir normālais gadījums, kad vari saturu attēlot bez ierunām. length nozīmē, ka ģenerēšana tika pārtraukta, sasniedzot max_tokens, tāpēc atbilde ir potenciāli nepilnīga — kopsavilkums bez secinājuma vai saraksts, kas apstājas pie septītā vienuma. Visbeidzot, tool_calls norāda, ka modelis pieprasa ārēja rīka izpildi funkciju izsaukšanas ietvaros, un bumba tagad ir tavā laukumā.

Katrs no šiem gadījumiem prasa atšķirīgu apstrādi, kas tev jāuzraksta vienreiz un uz visiem laikiem:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a detailed report."}],
    max_tokens=200
)

choice = response.choices[0]

if choice.finish_reason == "stop":
    # Complete response — normal processing
    result = choice.message.content

elif choice.finish_reason == "length":
    # Truncated response — retry with more tokens or warn the user
    print("Warning: The response was truncated.")
    # Option: Retry with a higher max_tokens limit
    # Option: Ask the model to continue

elif choice.finish_reason == "tool_calls":
    # The model requests a tool call
    for tool_call in choice.message.tool_calls:
        print(f"Requested tool: {tool_call.function.name}")

Ņem vērā, ka zars length vienkārši nelaiž tekstu cauri. Tu vai nu mēģini vēlreiz ar augstāku limitu, lūdz modelim turpināt, vai brīdini lietotāju. Ko tu nekādā gadījumā nedrīksti darīt, ir attēlot apgrieztu tekstu tā, it kā tas būtu pilnīgs.

Objekts usage — izseko savas izmaksas

Lauks usage saskaita pieprasījumam patērētos tokenus, atdalot ievadi no izvades:

usage = response.usage

print(f"Input tokens  : {usage.prompt_tokens}")
print(f"Output tokens : {usage.completion_tokens}")
print(f"Total         : {usage.total_tokens}")

Šī atšķirība nav tikai kosmētiska. Mistral modeļiem ir atšķirīgas likmes ievadei un izvadei. Funkcijai, kas nosūta garu kontekstu, lai saņemtu trīs vārdus atpakaļ, ir pavisam atšķirīgs izmaksu profils nekā garam melnrakstam, kas ģenerēts no īsa uzdevuma. Aprēķins aizņem tikai dažas koda rindiņas:

# Hypothetical rates per million tokens (check current pricing)
RATE_INPUT = 2.0    # $/M tokens input
RATE_OUTPUT = 6.0   # $/M tokens output

cost_input = (usage.prompt_tokens / 1_000_000) * RATE_INPUT
cost_output = (usage.completion_tokens / 1_000_000) * RATE_OUTPUT
cost_total = cost_input + cost_output

print(f"Cost of this call: ${cost_total:.6f}")

Viens izsaukums maksā daļu no centa, kas ir maldinoši nomierinoši. Reizini to ar reālu lietotnes satiksmi, un jautājums kļūst: kura funkcija patērē ko? Lai uz to atbildētu, apkopo lietojuma metrikas jau no pašas pirmās izvietošanas. Reģistrē katru izsaukumu kopā ar funkcijas nosaukumu, kas to izraisīja:

import json
from datetime import datetime

def log_usage(response, endpoint_name: str):
    """Logs usage metrics for each API call."""
    log_entry = {
        "timestamp": datetime.utcnow().isoformat(),
        "endpoint": endpoint_name,
        "model": response.model,
        "prompt_tokens": response.usage.prompt_tokens,
        "completion_tokens": response.usage.completion_tokens,
        "total_tokens": response.usage.total_tokens,
        "finish_reason": response.choices[0].finish_reason,
        "request_id": response.id
    }

    with open("api_usage.jsonl", "a") as f:
        f.write(json.dumps(log_entry) + "\n")

# Usage
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Hello"}]
)
log_usage(response, "main_chatbot")

Šāds JSONL fails, pārskatīts pēc divām nedēļām, bez neskaidrībām pastāstīs, kura ekrāna tavs produkts visvairāk noslogo rēķinu — un cik daudz izsaukumu beidzas ar length.

Atbildes saturs

Asistenta ziņojuma lauks content var iegūt divas formas, tieši tāpat kā pieprasījuma pusē:

# Simple form — string
content = response.choices[0].message.content
# "Machine learning is a branch of artificial intelligence..."

# Structured form — list of blocks (rare in standard chat)
# [{"type": "text", "text": "..."}]

Praksē standarta Chat Completions izsaukumiem content vienmēr ir virkne. Strukturētā forma ir paredzēta multimodālām atbildēm.

Ievies praksē

Apvienosim visu to utilītfunkcijā — tajā, ko kopēsi no projekta uz projektu. Tā apkopo ziņojumus, veic izsaukumu un atgriež vārdnīcu, kas eksponē gan metrikas, gan tekstu:

from mistralai.client import Mistral

def chat_complete(
    client: Mistral,
    prompt: str,
    system: str = "",
    model: str = "mistral-large-latest",
    max_tokens: int = 1000
) -> dict:
    """Chat Completions call with error handling and metrics."""
    messages = []
    if system:
        messages.append({"role": "system", "content": system})
    messages.append({"role": "user", "content": prompt})

    response = client.chat.complete(
        model=model,
        messages=messages,
        max_tokens=max_tokens
    )

    return {
        "content": response.choices[0].message.content,
        "finish_reason": response.choices[0].finish_reason,
        "tokens_in": response.usage.prompt_tokens,
        "tokens_out": response.usage.completion_tokens,
        "model": response.model,
        "id": response.id
    }

Galvenais punkts ir tas, ko funkcija atgriež: nekad tikai tekstu. Izvirzot finish_reason, tokenu skaitu un pieprasījuma ID uz augšu izsaucošajai funkcijai, tu padari neiespējamu visbiežāk sastopamo kļūdu — uzskatīt apgrieztu atbildi par derīgu.

Galvenās atziņas

  • Atbilde satur choices (saturs), usage (tokeni) un metadatus (id, model)
  • Vienmēr pārbaudi finish_reason — length nozīmē nepilnīgu atbildi
  • usage atsevišķi saskaita ievades un izvades tokenus precīzai izmaksu uzskaitei
  • Iestatī lietojuma metrikas reģistrēšanu jau no pirmās produkta izvietošanas
  • Lauks id ir būtisks atkļūdošanai un tehniskajam atbalstam