Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Sodniki: Avtomatizirano vrednotenje LLM

Lekcija 13 od 16 Posodobljeno 2. november 2026 Napredni
Na tej strani
  1. Avtomatizacija ocenjevanja kakovosti
  2. Dve vrsti sodnikov
  3. Pisanje učinkovitih navodil
  4. Ustvarjanje sodnika za klasifikacijo prek SDK
  5. Ustvarjanje sodnika za regresijo prek SDK
  6. Pred širitvijo opravi validacijo
  7. Ključne ugotovitve

Lekcija posodobljena 2. novembra 2026 na podlagi SDK mistralai različice 3.7.0 in strani Mistral Evaluators: judges.create zdaj zahteva description in tools (starejši primeri bi odpovedali), izhodi regresije zahtevajo min_description in max_description, sodnika pa lahko neposredno preizkusite na pogovoru z uporabo judge_conversation. Predloge spremenljivk in „kampanje” iz zgodnejših različic se v dokumentaciji ne pojavljajo več. Viri: Evaluators · client-python.

Avtomatizacija ocenjevanja kakovosti

Ročni pregled tisočev pogovorov je v produkcijskem obsegu nemogoč. Sodniki rešujejo ta problem: so vrednotitelji, ki temeljijo na LLM, in jih enkrat konfiguriraš – določiš navodila, model in obliko izhoda – nato pa jih uporabiš na pogovorih ali zapisih v naboru podatkov. Vsaka sodba prinese analizo in razsodbo: oznako ali oceno.

Dve vrsti sodnikov

Klasifikacija

Sodnik za klasifikacijo vsakemu odgovoru dodeli diskretne oznake. Primeri vključujejo:

  • Binarno: helpful / not_helpful
  • Večrazredno: excellent / acceptable / poor
  • Kategorizacija: code_question / general_knowledge / troubleshooting
  • Varnost: safe / needs_review / unsafe

Regresija

Sodnik za regresijo dodeli številsko oceno znotraj določenega razpona, kjer meje definiraš ti:

  • Ocena koristnosti od 1 do 5
  • Ocena ustreznosti od 0 do 100
  • Stopnja zaupanja od 0,0 do 1,0

Pisanje učinkovitih navodil

Navodila sodnika določajo celotno kakovost vrednotenja; nejasnost je glavni vzrok za napake. Stavek „oceni kakovost odgovora” modelu ne pomeni ničesar – vsak zagon bo „kakovost” razumel drugače. Delujoča različica poimenuje opazljiva merila: „Ocenite, ali odgovor neposredno odgovarja na zastavljeno vprašanje z dejansko pravilnimi informacijami.” Enako načelo velja za kontekst: tvoj sodnik ne ve, da vrednoti klepetalnega robota za podporo, kjer „dober” pomeni „reši težavo stranke, ne da bi jo poslal k dokumentaciji.” Če tega ne navedeš izrecno, bo uporabil splošno definicijo kakovosti, ki ni tvoja.

Robni primeri zaslužijo posebno pozornost, saj prav tu vrednotenja začnejo odstopati. Določitev, da „ocena 3 pomeni, da je odgovor delno pravilen, vendar manjka ključni element”, stabilizira sredino tvoje lestvice – brez te sidrne točke bi isti pogovor glede na zagon prejel oceno 2, 3 ali 4. Končni preizkus je preprost: če bi se dva človeška ocenjevalca, ki bi brala tvoja navodila, pri določenem primeru ne strinjala, je tvoje merilo preveč nejasno in sodnik bo to dvoumnost podedoval v velikem obsegu.

Ustvarjanje sodnika za klasifikacijo prek SDK

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Sodnik za klasifikacijo s tremi ravnmi
classifier = client.beta.observability.judges.create(
    name="Support Response Quality",
    description="Classifies each support chatbot response into three quality levels.",
    model_name="mistral-medium-latest",
    instructions="""
Evaluate the assistant's last response in the provided conversation.

Context: This is a technical support chatbot.

Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?

Classify the response according to the proposed categories.
""",
    output={
        "type": "CLASSIFICATION",
        "options": [
            {"value": "excellent", "description": "Correct, complete, and professional response"},
            {"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
            {"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
        ],
    },
    tools=[],  # No tools for this judge
)

print(f"Judge created: {classifier.id}")

Ustvarjanje sodnika za regresijo prek SDK

# Sodnik za regresijo: ocena koristnosti od 1 do 5
scorer = client.beta.observability.judges.create(
    name="Helpfulness Score",
    description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
    model_name="mistral-small-latest",
    instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.

1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
    output={
        "type": "REGRESSION",
        "min": 1,
        "max": 5,
        "min_description": "Useless response: off-topic, incorrect, or no answer provided",
        "max_description": "Very helpful response: correct, detailed, with clear steps",
    },
    tools=[],
)

print(f"Judge created: {scorer.id}")

Pred širitvijo opravi validacijo

Nevalidiran sodnik v velikem obsegu ustvari lažne anotacije. Preden se nanj zanašaš, ga preizkusi na pogovorih, kjer poznaš pravilen odgovor: judge_conversation ga uporabi na seznamu sporočil in vrne njegovo analizo ter razsodbo.

result = client.beta.observability.judges.judge_conversation(
    judge_id=classifier.id,
    messages=[
        {"role": "user", "content": "My printer shows error E04, what should I do?"},
        {"role": "assistant", "content": "Check the documentation."},
    ],
)

print(result.analysis)  # The judge's reasoning
print(result.answer)    # The label or score

Nato nadaljuj metodično:

  1. Preizkusi na 10 do 20 primerih, kjer si vnaprej določil pravilno razsodbo
  2. Preveri ujemanje: Ali sodnik proizvede enake rezultate kot ti?
  3. Preizkusi stabilnost: Ali so rezultati pri ponovnem zagonu na istih primerih identični?
  4. Identificiraj vzorce napak: Pri katerih vrstah pogovorov sodnik dela napake?

Če je ujemanje prenizko, pred kakršno koli obsežno uporabo izpopolni navodila. Ko je sodnik validiran, ga lahko uporabiš na zapisih v naboru podatkov (client.beta.observability.datasets.records.judge), ista logika sodnika LLM pa se pojavi tudi pri vrednotiteljih za offline vrednotenja (lekcija 14).

Ključne ugotovitve

  • Sodnik LLM razvršča (označuje) ali ocenjuje (vrednoti) pogovore, podprto z analizo
  • judges.create zahteva name, description, model_name, instructions, output in tools
  • Izhod regresije definira svoje meje (min_description, max_description)
  • Navodila morajo biti specifična, umeščena v kontekst in sidrana s primeri ocen
  • Pred zanašanjem na sodnika ga validiraj z judge_conversation na znanih primerih