Teisėjai: automatizuotas LLM vertinimas
Šiame puslapyje
Pamoka atnaujinta 2026 m. lapkričio 2 d. pagal
mistralaiSDK 3.7.0 versiją ir „Mistral“ Evaluators puslapį:judges.createdabar reikalaujadescriptionirtools(senesni pavyzdžiai neveiktų), regresijos išvestims būtinimin_descriptionirmax_description, o teisėją tiesiogiai pokalbiui galite išbandyti naudodamijudge_conversation. Ankstesnių versijų šablonų kintamieji ir „Campaigns“ dokumentacijoje nebeatsiranda. Šaltiniai: Evaluators · client-python.
Kokybės vertinimo automatizavimas
Rankiniu būdu peržiūrėti tūkstančius pokalbių gamybos mastu neįmanoma. Šią problemą sprendžia teisėjai (Judges): tai LLM pagrindu veikiantys vertintojai, kuriuos sukonfigūruoji vieną kartą – apibrėždamas instrukcijas, modelį ir išvesties formatą – ir taikai pokalbiams arba duomenų rinkinių įrašams. Kiekvienas vertinimas generuoja analizę ir verdiktą: etiketę arba balą.
Du teisėjų tipai
Klasifikacija
Klasifikacijos teisėjas kiekvienam atsakymui priskiria diskrečias etiketes. Pavyzdžiai:
- Dvinaris:
helpful/not_helpful - Daugiaklasinis:
excellent/acceptable/poor - Kategorizavimas:
code_question/general_knowledge/troubleshooting - Sauga:
safe/needs_review/unsafe
Regresija
Regresijos teisėjas priskiria skaitinį balą tam tikrame intervale, kurio ribas apibrėži pats:
- Naudingumo įvertinimas nuo 1 iki 5
- Aktualumo balas nuo 0 iki 100
- Pasitikėjimo lygis nuo 0,0 iki 1,0
Efektyvių instrukcijų rašymas
Teisėjo instrukcijos lemia visą vertinimo kokybę, o neaiškumas yra pagrindinė nesėkmių priežastis. Frazė „Įvertinkite atsakymo kokybę“ modeliui nieko nereiškia – kiekvieno vykdymo metu „kokybė“ bus interpretuojama skirtingai. Veikianti versija įvardija stebimus kriterijus: „Įvertinkite, ar atsakymas tiesiogiai atsako į užduotą klausimą, naudojant faktiškai teisingą informaciją.“ Tas pats principas taikomas ir kontekstui: tavo teisėjas nežino, kad vertina techninės pagalbos chatbotą, kur „geras“ reiškia „išsprendžia kliento problemą nenukreipdamas jo į dokumentaciją“. Jei to aiškiai nenurodysi, jis taikys bendrąjį kokybės apibrėžimą, kuris nėra tavo.
Ribiniai atvejai nusipelno ypatingo dėmesio, nes būtent čia vertinimai išsiskiria. Nurodžius, kad „3 balai reiškia, jog atsakymas iš dalies teisingas, bet trūksta pagrindinio elemento“, stabilizuojama skalės vidurio dalis – be šio inkaro, tas pats pokalbis priklausomai nuo vykdymo gali gauti 2, 3 arba 4 balus. Galutinis testas paprastas: jei du žmogaus vertintojai, skaitydami tavo instrukcijas, galėtų nesutarti dėl konkretaus atvejo, tavo kriterijus yra per daug miglotas, o teisėjas tą dviprasmybę paveldės ir masteliuodamas.
Klasifikacijos teisėjo kūrimas naudojant SDK
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Trijų lygių klasifikacijos teisėjas
classifier = client.beta.observability.judges.create(
name="Support Response Quality",
description="Classifies each support chatbot response into three quality levels.",
model_name="mistral-medium-latest",
instructions="""
Evaluate the assistant's last response in the provided conversation.
Context: This is a technical support chatbot.
Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?
Classify the response according to the proposed categories.
""",
output={
"type": "CLASSIFICATION",
"options": [
{"value": "excellent", "description": "Correct, complete, and professional response"},
{"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
{"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
],
},
tools=[], # No tools for this judge
)
print(f"Judge created: {classifier.id}")
Regresijos teisėjo kūrimas naudojant SDK
# Regresijos teisėjas: Naudingumo balas nuo 1 iki 5
scorer = client.beta.observability.judges.create(
name="Helpfulness Score",
description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
model_name="mistral-small-latest",
instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.
1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
output={
"type": "REGRESSION",
"min": 1,
"max": 5,
"min_description": "Useless response: off-topic, incorrect, or no answer provided",
"max_description": "Very helpful response: correct, detailed, with clear steps",
},
tools=[],
)
print(f"Judge created: {scorer.id}")
Patikrink prieš masteliuodamas
Nepatikrintas teisėjas masteliuodamas generuoja klaidingas anotacijas. Prieš pasikliaudamas juo, išbandyk pokalbiuose, kuriuose žinai teisingą atsakymą: judge_conversation pritaiko jį žinučių sąrašui ir grąžina jo analizę bei verdiktą.
result = client.beta.observability.judges.judge_conversation(
judge_id=classifier.id,
messages=[
{"role": "user", "content": "My printer shows error E04, what should I do?"},
{"role": "assistant", "content": "Check the documentation."},
],
)
print(result.analysis) # The judge's reasoning
print(result.answer) # The label or score
Tada veik metodologiškai:
- Išbandyk 10–20 atvejų, kuriems iš anksto nustatei teisingą verdiktą.
- Patikrink sutapimą: ar teisėjas pateikia tokius pačius rezultatus kaip ir tu?
- Išbandyk stabilumą: ar pakartotinai vykdant tuos pačius atvejus, rezultatai lieka identiški?
- Nustatyk nesėkmių dėsningumus: kokio tipo pokalbiuose teisėjas klysta?
Jei sutapimas per mažas, prieš naudojant dideliu mastu, patobulink instrukcijas. Kai teisėjas patikrintas, jį galima taikyti duomenų rinkinių įrašams (client.beta.observability.datasets.records.judge), o ta pati LLM teisėjo logika atsiras ir vertintojuose, skirtuose neaktyviems (offline) vertinimams (14 pamoka).
Svarbiausi punktai
- LLM teisėjas klasifikuoja (žymi) arba vertina (skiria balus) pokalbius, paremdamas tai analize.
judges.createreikalaujaname,description,model_name,instructions,outputirtools.- Regresijos išvestis apibrėžia savo ribas (
min_description,max_description). - Instrukcijos turi būti specifinės, kontekstualizuotos ir pagrįstos balų pavyzdžiais.
- Prieš pasikliaudami teisėju, patikrinkite jį naudodami
judge_conversationžinomais atvejais.