Sodniki: Avtomatizirano vrednotenje LLM
Na tej strani
Lekcija posodobljena 2. novembra 2026 na podlagi SDK
mistralairazličice 3.7.0 in strani Mistral Evaluators:judges.createzdaj zahtevadescriptionintools(starejši primeri bi odpovedali), izhodi regresije zahtevajomin_descriptioninmax_description, sodnika pa lahko neposredno preizkusite na pogovoru z uporabojudge_conversation. Predloge spremenljivk in „kampanje” iz zgodnejših različic se v dokumentaciji ne pojavljajo več. Viri: Evaluators · client-python.
Avtomatizacija ocenjevanja kakovosti
Ročni pregled tisočev pogovorov je v produkcijskem obsegu nemogoč. Sodniki rešujejo ta problem: so vrednotitelji, ki temeljijo na LLM, in jih enkrat konfiguriraš – določiš navodila, model in obliko izhoda – nato pa jih uporabiš na pogovorih ali zapisih v naboru podatkov. Vsaka sodba prinese analizo in razsodbo: oznako ali oceno.
Dve vrsti sodnikov
Klasifikacija
Sodnik za klasifikacijo vsakemu odgovoru dodeli diskretne oznake. Primeri vključujejo:
- Binarno:
helpful/not_helpful - Večrazredno:
excellent/acceptable/poor - Kategorizacija:
code_question/general_knowledge/troubleshooting - Varnost:
safe/needs_review/unsafe
Regresija
Sodnik za regresijo dodeli številsko oceno znotraj določenega razpona, kjer meje definiraš ti:
- Ocena koristnosti od 1 do 5
- Ocena ustreznosti od 0 do 100
- Stopnja zaupanja od 0,0 do 1,0
Pisanje učinkovitih navodil
Navodila sodnika določajo celotno kakovost vrednotenja; nejasnost je glavni vzrok za napake. Stavek „oceni kakovost odgovora” modelu ne pomeni ničesar – vsak zagon bo „kakovost” razumel drugače. Delujoča različica poimenuje opazljiva merila: „Ocenite, ali odgovor neposredno odgovarja na zastavljeno vprašanje z dejansko pravilnimi informacijami.” Enako načelo velja za kontekst: tvoj sodnik ne ve, da vrednoti klepetalnega robota za podporo, kjer „dober” pomeni „reši težavo stranke, ne da bi jo poslal k dokumentaciji.” Če tega ne navedeš izrecno, bo uporabil splošno definicijo kakovosti, ki ni tvoja.
Robni primeri zaslužijo posebno pozornost, saj prav tu vrednotenja začnejo odstopati. Določitev, da „ocena 3 pomeni, da je odgovor delno pravilen, vendar manjka ključni element”, stabilizira sredino tvoje lestvice – brez te sidrne točke bi isti pogovor glede na zagon prejel oceno 2, 3 ali 4. Končni preizkus je preprost: če bi se dva človeška ocenjevalca, ki bi brala tvoja navodila, pri določenem primeru ne strinjala, je tvoje merilo preveč nejasno in sodnik bo to dvoumnost podedoval v velikem obsegu.
Ustvarjanje sodnika za klasifikacijo prek SDK
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Sodnik za klasifikacijo s tremi ravnmi
classifier = client.beta.observability.judges.create(
name="Support Response Quality",
description="Classifies each support chatbot response into three quality levels.",
model_name="mistral-medium-latest",
instructions="""
Evaluate the assistant's last response in the provided conversation.
Context: This is a technical support chatbot.
Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?
Classify the response according to the proposed categories.
""",
output={
"type": "CLASSIFICATION",
"options": [
{"value": "excellent", "description": "Correct, complete, and professional response"},
{"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
{"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
],
},
tools=[], # No tools for this judge
)
print(f"Judge created: {classifier.id}")
Ustvarjanje sodnika za regresijo prek SDK
# Sodnik za regresijo: ocena koristnosti od 1 do 5
scorer = client.beta.observability.judges.create(
name="Helpfulness Score",
description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
model_name="mistral-small-latest",
instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.
1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
output={
"type": "REGRESSION",
"min": 1,
"max": 5,
"min_description": "Useless response: off-topic, incorrect, or no answer provided",
"max_description": "Very helpful response: correct, detailed, with clear steps",
},
tools=[],
)
print(f"Judge created: {scorer.id}")
Pred širitvijo opravi validacijo
Nevalidiran sodnik v velikem obsegu ustvari lažne anotacije. Preden se nanj zanašaš, ga preizkusi na pogovorih, kjer poznaš pravilen odgovor: judge_conversation ga uporabi na seznamu sporočil in vrne njegovo analizo ter razsodbo.
result = client.beta.observability.judges.judge_conversation(
judge_id=classifier.id,
messages=[
{"role": "user", "content": "My printer shows error E04, what should I do?"},
{"role": "assistant", "content": "Check the documentation."},
],
)
print(result.analysis) # The judge's reasoning
print(result.answer) # The label or score
Nato nadaljuj metodično:
- Preizkusi na 10 do 20 primerih, kjer si vnaprej določil pravilno razsodbo
- Preveri ujemanje: Ali sodnik proizvede enake rezultate kot ti?
- Preizkusi stabilnost: Ali so rezultati pri ponovnem zagonu na istih primerih identični?
- Identificiraj vzorce napak: Pri katerih vrstah pogovorov sodnik dela napake?
Če je ujemanje prenizko, pred kakršno koli obsežno uporabo izpopolni navodila. Ko je sodnik validiran, ga lahko uporabiš na zapisih v naboru podatkov (client.beta.observability.datasets.records.judge), ista logika sodnika LLM pa se pojavi tudi pri vrednotiteljih za offline vrednotenja (lekcija 14).
Ključne ugotovitve
- Sodnik LLM razvršča (označuje) ali ocenjuje (vrednoti) pogovore, podprto z analizo
judges.createzahtevaname,description,model_name,instructions,outputintools- Izhod regresije definira svoje meje (
min_description,max_description) - Navodila morajo biti specifična, umeščena v kontekst in sidrana s primeri ocen
- Pred zanašanjem na sodnika ga validiraj z
judge_conversationna znanih primerih