Posudzovatelia: Automatizované hodnotenie LLM
Na tejto strane
Lekcia aktualizovaná 2. novembra 2026 na základe SDK
mistralaiverzie 3.7.0 a stránky Mistral Evaluators:judges.createteraz vyžaduje parametredescriptionatools(staršie príklady by zlyhali), výstupy regresie vyžadujúmin_descriptionamax_descriptiona posudzovateľa môžeš priamo otestovať na konverzácii pomocoujudge_conversation. Premenné šablón a „Kampane“ z predchádzajúcich verzií sa už v dokumentácii nevyskytujú. Zdroje: Evaluators · client-python.
Automatizácia hodnotenia kvality
Ručné recenzovanie tisícok konverzácií je v produkčnom meradle nemožné. Posudzovatelia (Judges) tento problém riešia: sú to hodnotitelia založení na LLM, ktorých raz nakonfiguruješ – definuješ inštrukcie, model a formát výstupu – a následne ich aplikuješ na konverzácie alebo záznamy dátových súborov. Každé posúdenie prináša analýzu a verdikt: označenie (label) alebo skóre.
Dva typy posudzovateľov
Klasifikácia
Klasifikačný posudzovateľ priraďuje každému odpovedi diskrétne označenia. Príklady zahŕňajú:
- Binárne:
helpful/not_helpful - Viactriedne:
excellent/acceptable/poor - Kategorizácia:
code_question/general_knowledge/troubleshooting - Bezpečnosť:
safe/needs_review/unsafe
Regresia
Regresný posudzovateľ priraďuje číselné skóre v rámci rozsahu, kde ty definuješ hranice:
- Hodnotenie užitočnosti od 1 do 5
- Skóre relevance od 0 do 100
- Úroveň dôvery od 0,0 do 1,0
Písanie efektívnych inštrukcií
Inštrukcie posudzovateľa určujú celkovú kvalitu hodnotenia a nejasnosť je hlavnou príčinou zlyhaní. Fráza „Ohodnoť kvalitu odpovede“ pre model nič neznamená – každý beh interpretuje „kvalitu“ inak. Funkčná verzia menuje pozorovateľné kritériá: „Zhodnoť, či odpoveď priamo reaguje na položenú otázku a používa fakticky správne informácie.“ Rovnaký princíp platí pre kontext: tvoj posudzovateľ nevie, že hodnotí chatbota technickej podpory, kde „dobré“ znamená „vyrieši problém zákazníka bez odoslania do dokumentácie“. Ak to explicitne neuvedieš, aplikuje všeobecnú definíciu kvality, ktorá nie je tá tvoja.
Okrajové prípady si zaslúžia osobitnú pozornosť, práve tu sa hodnotenia rozchádzajú. Špecifikácia, že „skóre 3 znamená, že odpoveď je čiastočne správna, ale chýba jej kľúčový prvok“, stabilizuje stred tvojej škály – bez tohto kotvenia môže tá istá konverzácia dostať 2, 3 alebo 4 v závislosti od behu. Záverečný test je jednoduchý: ak by dvaja ľudskí hodnotitelia čítajúci tvoje inštrukcie mohli v danom prípade nesúhlasiť, tvoje kritérium je príliš vágne a posudzovateľ túto nejednoznačnosť zdedí vo veľkom meradle.
Vytvorenie klasifikačného posudzovateľa cez SDK
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Klasifikačný posudzovateľ s tromi úrovňami
classifier = client.beta.observability.judges.create(
name="Support Response Quality",
description="Classifies each support chatbot response into three quality levels.",
model_name="mistral-medium-latest",
instructions="""
Evaluate the assistant's last response in the provided conversation.
Context: This is a technical support chatbot.
Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?
Classify the response according to the proposed categories.
""",
output={
"type": "CLASSIFICATION",
"options": [
{"value": "excellent", "description": "Correct, complete, and professional response"},
{"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
{"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
],
},
tools=[], # No tools for this judge
)
print(f"Judge created: {classifier.id}")
Vytvorenie regresného posudzovateľa cez SDK
# Regresný posudzovateľ: Skóre užitočnosti od 1 do 5
scorer = client.beta.observability.judges.create(
name="Helpfulness Score",
description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
model_name="mistral-small-latest",
instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.
1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
output={
"type": "REGRESSION",
"min": 1,
"max": 5,
"min_description": "Useless response: off-topic, incorrect, or no answer provided",
"max_description": "Very helpful response: correct, detailed, with clear steps",
},
tools=[],
)
print(f"Judge created: {scorer.id}")
Overenie pred nasadením do produkcie
Neoverený posudzovateľ produkuje vo veľkom meradle falošné anotácie. Predtým, než sa naňho spoľahneš, otestuj ho na konverzáciách, kde poznáš správnu odpoveď: judge_conversation ho aplikuje na zoznam správ a vráti jeho analýzu a verdikt.
result = client.beta.observability.judges.judge_conversation(
judge_id=classifier.id,
messages=[
{"role": "user", "content": "My printer shows error E04, what should I do?"},
{"role": "assistant", "content": "Check the documentation."},
],
)
print(result.analysis) # The judge's reasoning
print(result.answer) # The label or score
Potom postupuj metodicky:
- Otestuj na 10 až 20 prípadoch, kde si vopred určil správny verdikt
- Skontroluj zhodu: Produkuje posudzovateľ rovnaké výsledky ako ty?
- Otestuj stabilitu: Sú výsledky pri opakovanom spustení na tých istých prípadoch identické?
- Identifikuj vzorce zlyhaní: Pri akých typoch konverzácií posudzovateľ robí chyby?
Ak je zhoda príliš nízka, pred akýmkoľvek rozsiahlym použitím uprav inštrukcie. Po overení sa posudzovateľ aplikuje na záznamy dátových súborov (client.beta.observability.datasets.records.judge) a rovnaká logika LLM posudzovateľa sa objavuje v hodnoteniach pre offline evaluácie (Lekcia 14).
Kľúčové poznatky
- Posudzovateľ LLM klasifikuje (označuje) alebo hodnotí (skóruje) konverzácie, pričom je podporený analýzou
judges.createvyžaduje parametrename,description,model_name,instructions,outputatools- Výstup regresie definuje svoje hranice (
min_description,max_description) - Inštrukcie musia byť špecifické, kontextualizované a ukotvené príkladmi skóre
- Pred spoľahnutím sa na posudzovateľa ho over pomocou
judge_conversationna známych prípadoch