Съдии: Автоматизирана оценка на LLM
На тази страница
Урокът е актуализиран на 2 ноември 2026 г. въз основа на
mistralaiSDK 3.7.0 и страницата за Evaluators на Mistral:judges.createвече изискваdescriptionиtools(по-старите примери биха се провалили), изходите за регресия изискватmin_descriptionиmax_description, а можете да тествате съдия директно върху разговор, използвайкиjudge_conversation. Променливите на шаблони и „Кампании“ от по-ранни версии вече не фигурират в документацията. Източници: Evaluators · client-python.
Автоматизиране на оценката на качеството
Ръчният преглед на хиляди разговори е невъзможен в мащаба на продукционната среда. Съдиите решават този проблем: те са оценители, базирани на LLM, които конфигурирате веднъж – дефинирайки инструкции, модел и формат на изхода – и след това прилагате към разговори или записи от набори от данни. Всяка преценка генерира анализ и вердикт: етикет или оценка.
Два вида съдии
Класификация
Съдията за класификация присвоява дискретни етикети на всеки отговор. Примерите включват:
- Бинарна:
helpful/not_helpful - Многокласова:
excellent/acceptable/poor - Категоризация:
code_question/general_knowledge/troubleshooting - Безопасност:
safe/needs_review/unsafe
Регресия
Съдията за регресия присвоява числова оценка в рамките на диапазон, като Вие дефинирате границите:
- Оценка за полезност от 1 до 5
- Оценка за релевантност от 0 до 100
- Ниво на увереност от 0.0 до 1.0
Написване на ефективни инструкции
Инструкциите на съдията определят цялостното качество на оценката, а неяснотата е основната причина за провал. Фразата „Оценете качеството на отговора“ не означава нищо за модела – всяко изпълнение ще тълкува „качество“ по различен начин. Работещата версия назовава наблюдаеми критерии: „Оценете дали отговорът директно отговаря на зададения въпрос, използвайки фактологически правилна информация.“ Същият принцип важи и за контекста: Вашият съдия не знае, че оценява чатбот за поддръжка, където „добър“ означава „решава проблема на клиента, без да го препраща към документацията.“ Ако не го посочите изрично, той ще приложи общо определение за качество, което не е Вашето.
Граничните случаи заслужават специално внимание, тъй като точно там оценките се разминават. Посочването, че „оценка 3 означава, че отговорът е частично верен, но липсва ключов елемент“, стабилизира средата на Вашата скала – без тази котва един и същ разговор може да получи 2, 3 или 4 в зависимост от изпълнението. Крайният тест е прост: ако двама човешки оценители, четящи Вашите инструкции, могат да се разминат в мнението си за даден случай, Вашият критерий е твърде неясен и съдията ще наследи тази двусмислица в мащаб.
Създаване на съдия за класификация чрез SDK
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Съдия за класификация с три нива
classifier = client.beta.observability.judges.create(
name="Support Response Quality",
description="Classifies each support chatbot response into three quality levels.",
model_name="mistral-medium-latest",
instructions="""
Evaluate the assistant's last response in the provided conversation.
Context: This is a technical support chatbot.
Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?
Classify the response according to the proposed categories.
""",
output={
"type": "CLASSIFICATION",
"options": [
{"value": "excellent", "description": "Correct, complete, and professional response"},
{"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
{"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
],
},
tools=[], # No tools for this judge
)
print(f"Judge created: {classifier.id}")
Създаване на съдия за регресия чрез SDK
# Съдия за регресия: Оценка за полезност от 1 до 5
scorer = client.beta.observability.judges.create(
name="Helpfulness Score",
description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
model_name="mistral-small-latest",
instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.
1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
output={
"type": "REGRESSION",
"min": 1,
"max": 5,
"min_description": "Useless response: off-topic, incorrect, or no answer provided",
"max_description": "Very helpful response: correct, detailed, with clear steps",
},
tools=[],
)
print(f"Judge created: {scorer.id}")
Валидиране преди мащабиране
Невалидиран съдия генерира фалшиви анотации в мащаб. Преди да разчитате на такъв, тествайте го върху разговори, за които знаете правилния отговор: judge_conversation го прилага върху списък със съобщения и връща неговия анализ и вердикт.
result = client.beta.observability.judges.judge_conversation(
judge_id=classifier.id,
messages=[
{"role": "user", "content": "My printer shows error E04, what should I do?"},
{"role": "assistant", "content": "Check the documentation."},
],
)
print(result.analysis) # The judge's reasoning
print(result.answer) # The label or score
След това действайте методично:
- Тествайте върху 10 до 20 случая, за които предварително сте определили правилния вердикт.
- Проверете съгласуваността: Дава ли съдията същите резултати като Вас?
- Тествайте стабилността: При повторно изпълнение върху същите случаи, резултатите идентични ли са?
- Идентифицирайте модели на грешки: При какви типове разговори съдията допуска грешки?
Ако съгласуваността е твърде ниска, усъвършенствайте инструкциите преди всякаква употреба в голям мащаб. След валидиране, съдията се прилага към записи от набори от данни (client.beta.observability.datasets.records.judge), а същата логика на LLM съдията се появява в оценителите за офлайн оценки (Урок 14).
Ключови изводи
- LLM съдията класифицира (етикетира) или оценява (класира) разговори, подкрепена от анализ
judges.createизискваname,description,model_name,instructions,outputиtools- Изходът за регресия дефинира своите граници (
min_description,max_description) - Инструкциите трябва да бъдат конкретни, контекстуализирани и закрепени с примери за оценки
- Валидирайте съдията с
judge_conversationвърху известни случаи, преди да разчитате на него