Soudci: Automatizované hodnocení LLM
Na této stránce
Lekce aktualizována 2. listopadu 2026 na základě SDK
mistralaiverze 3.7.0 a stránky Mistral Evaluators:judges.createnyní vyžaduje parametrydescriptionatools(starší příklady by selhaly), výstupy regrese vyžadujímin_descriptionamax_descriptiona soudce můžeš přímo testovat na konverzaci pomocíjudge_conversation. Šablony proměnných a „Campaigns“ z předchozích verzí se již v dokumentaci nevyskytují. Zdroje: Evaluators · client-python.
Automatizace hodnocení kvality
Ruční kontrola tisíců konverzací je v produkčním měřítku nemožná. Soudci tento problém řeší: jsou to hodnotitelé založení na LLM, které jednou nakonfiguruješ – definuješ pokyny, model a formát výstupu – a následně je aplikuješ na konverzace nebo záznamy datových sad. Každé hodnocení přináší analýzu a verdikt: štítek nebo skóre.
Dva typy soudců
Klasifikace
Klasifikační soudce přiřazuje každé odpovědi diskrétní štítky. Příklady zahrnují:
- Binární:
helpful/not_helpful - Více tříd:
excellent/acceptable/poor - Kategorizace:
code_question/general_knowledge/troubleshooting - Bezpečnost:
safe/needs_review/unsafe
Regrese
Regresní soudce přiřazuje číselné skóre v rámci rozsahu, kde ty definuješ hranice:
- Hodnocení užitečnosti od 1 do 5
- Skóre relevance od 0 do 100
- Úroveň důvěry od 0,0 do 1,0
Psaní efektivních pokynů
Pokyny soudce určují celkovou kvalitu hodnocení a nejasnost je hlavní příčinou selhání. Fráze „Vyhodnoť kvalitu odpovědi“ pro model nic neznamená – každé spuštění interpretuje „kvalitu“ jinak. Funkční verze pojmenovává pozorovatelná kritéria: „Vyhodnoť, zda odpověď přímo odpovídá na položenou otázku pomocí fakticky správných informací.“ Stejný princip platí pro kontext: tvůj soudce neví, že hodnotí chatbota pro podporu, kde „dobrý“ znamená „vyřeší zákazníkův problém, aniž by ho posílal na dokumentaci“. Pokud to explicitně neuvedeš, použije obecnou definici kvality, která není ta tvoje.
Okrajové případy si zaslouží zvláštní pozornost, protože právě zde se hodnocení rozcházejí. Specifikace, že „skóre 3 znamená, že odpověď je částečně správná, ale chybí jí klíčový prvek“, stabilizuje střed tvé škály – bez tohoto ukotvení může stejná konverzace obdržet 2, 3 nebo 4 v závislosti na běhu. Konečný test je jednoduchý: pokud by se dva lidscí hodnotitelé čtoucí tvé pokyny neshodli na daném případě, je tvé kritérium příliš vágní a soudce tuto nejednoznačnost zdědí ve velkém měřítku.
Vytvoření klasifikačního soudce přes SDK
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Klasifikační soudce se třemi úrovněmi
classifier = client.beta.observability.judges.create(
name="Support Response Quality",
description="Classifies each support chatbot response into three quality levels.",
model_name="mistral-medium-latest",
instructions="""
Evaluate the assistant's last response in the provided conversation.
Context: This is a technical support chatbot.
Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?
Classify the response according to the proposed categories.
""",
output={
"type": "CLASSIFICATION",
"options": [
{"value": "excellent", "description": "Correct, complete, and professional response"},
{"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
{"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
],
},
tools=[], # No tools for this judge
)
print(f"Judge created: {classifier.id}")
Vytvoření regresního soudce přes SDK
# Regresní soudce: Skóre užitečnosti od 1 do 5
scorer = client.beta.observability.judges.create(
name="Helpfulness Score",
description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
model_name="mistral-small-latest",
instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.
1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
output={
"type": "REGRESSION",
"min": 1,
"max": 5,
"min_description": "Useless response: off-topic, incorrect, or no answer provided",
"max_description": "Very helpful response: correct, detailed, with clear steps",
},
tools=[],
)
print(f"Judge created: {scorer.id}")
Ověření před nasazením do produkce
Neověřený soudce produkuje ve velkém měřítku falešné anotace. Než se na něj spolehneš, otestuj ho na konverzacích, kde znáš správnou odpověď: judge_conversation jej aplikuje na seznam zpráv a vrátí jeho analýzu a verdikt.
result = client.beta.observability.judges.judge_conversation(
judge_id=classifier.id,
messages=[
{"role": "user", "content": "My printer shows error E04, what should I do?"},
{"role": "assistant", "content": "Check the documentation."},
],
)
print(result.analysis) # Odůvodnění soudce
print(result.answer) # Štítek nebo skóre
Poté postupuj metodicky:
- Otestuj na 10 až 20 případech, kde jsi předem určil správný verdikt
- Zkontroluj shodu: Produkuje soudce stejné výsledky jako ty?
- Otestuj stabilitu: Jsou výsledky při opakovaném spuštění na stejných případech totožné?
- Identifikuj vzorce selhání: U jakých typů konverzací soudce dělá chyby?
Pokud je shoda příliš nízká, před jakýmkoli rozsáhlým použitím uprav pokyny. Jakmile je soudce ověřen, aplikuje se na záznamy datových sad (client.beta.observability.datasets.records.judge) a stejná logika LLM soudce se objeví v evaluátorech pro offline hodnocení (Lekce 14).
Klíčové poznatky
- Soudce LLM klasifikuje (štítkuje) nebo hodnotí (skóruje) konverzace, podložené analýzou
judges.createvyžadujename,description,model_name,instructions,outputatools- Výstup regrese definuje své hranice (
min_description,max_description) - Pokyny musí být specifické, kontextualizované a ukotvené příklady skóre
- Před spoléháním se na soudce jej ověř pomocí
judge_conversationna známých případech