Hindajad: LLM-i automaatne hindamine
Sellel lehel
Tund uuendatud 2. novembril 2026, tuginedes
mistralaiSDK versioonile 3.7.0 ja Mistrali Evaluators lehele:judges.createnõuab nüüd väljudescriptionjatools(vanemad näited ei tööta), regressioonväljundid nõuavadmin_descriptionjamax_descriptionning saad hindajat vestluse peal otse testida funktsioonigajudge_conversation. Mallimuutujad ja varasemate versioonide “Campaigns” dokumentatsioonist enam ei leia. Allikad: Evaluators · client-python.
Kvaliteedi hindamise automatiseerimine
Tuhandete vestluste käsitsi ülevaatamine on tootmismahus võimatu. Hindajad (Judges) lahendavad selle probleemi: need on LLM-põhised hindurid, mille konfigureerid üks kord – määratledes juhised, mudeli ja väljundformaadi – ning rakendad seejärel vestlustele või andmestiku kirjetele. Iga hindamine toodab analüüsi ja otsuse: sildi või skoori.
Hindajate kaks tüüpi
Klassifikatsioon
Klassifikatsioonihindaja omistab igale vastusele diskreetsed sildid. Näited:
- Binaarne:
helpful/not_helpful - Mitmeklassiline:
excellent/acceptable/poor - Kategoriseerimine:
code_question/general_knowledge/troubleshooting - Ohutus:
safe/needs_review/unsafe
Regressioon
Regressioonihindaja omistab numbrilise skoori vahemikus, mille piirid sa ise defineerid:
- Kasulikkuse hinnang skaalal 1 kuni 5
- Asjakohasuse skoor 0 kuni 100
- Usaldusnivoo 0,0 kuni 1,0
Tõhusate juhiste kirjutamine
Hindaja juhised määravad kogu hindamise kvaliteedi ja ebamäärasus on peamine läbikukkumise põhjus. Lause „Hinda vastuse kvaliteeti“ ei tähenda mudelile midagi – iga käivitamine tõlgendab „kvaliteeti“ erinevalt. Töötav versioon nimetab vaadeldavaid kriteeriume: „Hinda, kas vastus annab küsimusele otsese vastuse, kasutades faktiliselt korrektset teavet.“ Sama põhimõte kehtib konteksti kohta: sinu hindaja ei tea, et ta hindab tugiteenuse vestlusrobotit, kus „hea“ tähendab „lahendab kliendi probleemi, saatmata teda dokumentatsiooni lugema“. Kui sa seda sõnaselgelt ei sätesta, rakendab ta üldist kvaliteedimääratlust, mis ei ole sinu oma.
Piirjuhtumid väärivad erilist tähelepanu, sest just seal lähevad hindamised lahku. Täpsustamine, et „skoor 3 tähendab, et vastus on osaliselt õige, kuid puudub võtmeelement“, stabiliseerib sinu skaala keskosa – ilma selle ankruta võib sama vestlus saada sõltuvalt käivitusest hindeks 2, 3 või 4. Lõplik test on lihtne: kui kaks inimhindajat, kes loevad sinu juhiseid, võivad antud juhtumi osas eriarvamusele jääda, on sinu kriteerium liiga ebamäärane ja hindaja pärib selle mitmetimõistetavuse suurel skaalal.
Klassifikatsioonihindaja loomine SDK kaudu
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Kolmetasemeline klassifikatsioonihindaja
classifier = client.beta.observability.judges.create(
name="Support Response Quality",
description="Classifies each support chatbot response into three quality levels.",
model_name="mistral-medium-latest",
instructions="""
Evaluate the assistant's last response in the provided conversation.
Context: This is a technical support chatbot.
Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?
Classify the response according to the proposed categories.
""",
output={
"type": "CLASSIFICATION",
"options": [
{"value": "excellent", "description": "Correct, complete, and professional response"},
{"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
{"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
],
},
tools=[], # No tools for this judge
)
print(f"Judge created: {classifier.id}")
Regressioonihindaja loomine SDK kaudu
# Regressioonihindaja: Kasulikkuse skoor 1 kuni 5
scorer = client.beta.observability.judges.create(
name="Helpfulness Score",
description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
model_name="mistral-small-latest",
instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.
1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
output={
"type": "REGRESSION",
"min": 1,
"max": 5,
"min_description": "Useless response: off-topic, incorrect, or no answer provided",
"max_description": "Very helpful response: correct, detailed, with clear steps",
},
tools=[],
)
print(f"Judge created: {scorer.id}")
Valideeri enne skaleerimist
Valideerimata hindaja toodab suurel skaalal valesti märgistatud andmeid. Enne sellele tuginemist testi seda vestlustel, kus tead õiget vastust: judge_conversation rakendab hindajat sõnumite loendile ja tagastab selle analüüsi ning otsuse.
result = client.beta.observability.judges.judge_conversation(
judge_id=classifier.id,
messages=[
{"role": "user", "content": "My printer shows error E04, what should I do?"},
{"role": "assistant", "content": "Check the documentation."},
],
)
print(result.analysis) # Hindaja arutluskäik
print(result.answer) # Silt või skoor
Seejärel tegutse meetodiliselt:
- Testi 10–20 juhtumil, kus oled eelnevalt kindlaks määranud õige otsuse
- Kontrolli kooskõla: kas hindaja toodab samu tulemusi kui sina?
- Testi stabiilsust: kas samadel juhtumitel uuesti käivitamisel on tulemused identsed?
- Tuvasta tõrkemustrid: millist tüüpi vestlustel teeb hindaja vigu?
Kui kooskõla on liiga madal, täienda juhiseid enne laiaulatuslikku kasutuselevõttu. Kui hindaja on valideeritud, saad seda rakendada andmestiku kirjetel (client.beta.observability.datasets.records.judge) ja sama LLM-hindaja loogika ilmneb offline-hindamiste hindurites (14. tund).
Peamised punktid
- LLM-hindaja klassifitseerib (sildistab) või hindab (skoorib) vestlusi, mida toetab analüüs
judges.createnõuab väljuname,description,model_name,instructions,outputjatools- Regressiooniväljund määratleb oma piirid (
min_description,max_description) - Juhised peavad olema konkreetsed, kontekstistatud ja ankurdatud skoorinäidetega
- Valideeri hindajat funktsiooniga
judge_conversationteadaolevatel juhtumitel enne sellele tuginemist