Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Tiesneši: automatizēta LLM novērtēšana

Nodarbība 13 no 16 Atjaunota 2026. gada 2. novembris Augstākais
Šajā lapā
  1. Kvalitātes novērtēšanas automatizēšana
  2. Divi tiesnešu veidi
  3. Efektīvu instrukciju rakstīšana
  4. Klasifikācijas tiesneša izveide, izmantojot SDK
  5. Regresijas tiesneša izveide, izmantojot SDK
  6. Validē pirms mērogošanas
  7. Galvenās atziņas

Nodarbība atjaunināta 2026. gada 2. novembrī, pamatojoties uz mistralai SDK 3.7.0 un Mistral Evaluators lapu: judges.create tagad pieprasa description un tools (vecāki piemēri neizdosies), regresijas izvadei nepieciešami min_description un max_description, un tiesnesi var pārbaudīt tieši sarunā, izmantojot judge_conversation. Veidņu mainīgie un “Campaigns” no iepriekšējām versijām vairs neparādās dokumentācijā. Avoti: Evaluators · client-python.

Kvalitātes novērtēšanas automatizēšana

Ražošanas mērogā manuāli pārskatīt tūkstošiem sarunu ir neiespējami. Tiesneši atrisina šo problēmu: tie ir uz LLM balstīti vērtētāji, kurus konfigurē vienu reizi — definējot instrukcijas, modeli un izvades formātu — un pēc tam piemēro sarunām vai datu kopu ierakstiem. Katrs vērtējums ģenerē analīzi un spriedumu: etiķeti vai rezultātu.

Divi tiesnešu veidi

Klasifikācija

Klasifikācijas tiesnesis katrai atbildei piešķir diskrētus marķējumus. Piemēri:

  • Binārā: helpful / not_helpful
  • Daudzklasu: excellent / acceptable / poor
  • Kategorizēšana: code_question / general_knowledge / troubleshooting
  • Drošība: safe / needs_review / unsafe

Regresija

Regresijas tiesnesis piešķir skaitlisku rezultātu noteiktā diapazonā, kurā tu definē robežas:

  • Noderīguma vērtējums no 1 līdz 5
  • Atbilstības rezultāts no 0 līdz 100
  • Pārliecības līmenis no 0,0 līdz 1,0

Efektīvu instrukciju rakstīšana

Tiesneša instrukcijas nosaka visu novērtējuma kvalitāti, un neskaidrība ir galvenais neveiksmes cēlonis. Frāze „Novērtē atbildes kvalitāti” modelim nozīmē maz ko — katrs izpildījums interpretēs „kvalitāti” atšķirīgi. Strādājoša versija nosauc novērojamus kritērijus: „Novērtē, vai atbilde tieši atbild uz uzdoto jautājumu, izmantojot faktiski pareizu informāciju.” Tas pats princips attiecas uz kontekstu: tavs tiesnesis nezina, ka tas vērtē atbalsta čatbotu, kur „labs” nozīmē „atrisina klienta problēmu, nenosūtot to uz dokumentāciju”. Ja to nepaziņo tieši, tas piemēros vispārīgu kvalitātes definīciju, kas nav tava.

Robežgadījumiem jāpievērš īpaša uzmanība, jo tieši tur novērtējumi atšķiras. Norādot, ka „rezultāts 3 nozīmē, ka atbilde ir daļēji pareiza, bet tai trūkst kāda būtiska elementa”, tu stabilizē savas skalas vidusdaļu — bez šī enkura viena un tā pati saruna atkarībā no izpildījuma var saņemt 2, 3 vai 4. Galīgais tests ir vienkāršs: ja divi cilvēku vērtētāji, lasot tavas instrukcijas, varētu nesaskaņoties konkrētā gadījumā, tavs kritērijs ir pārāk neskaidrs, un tiesnesis šo neskaidrību mantos lielos apjomos.

Klasifikācijas tiesneša izveide, izmantojot SDK

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Trīs līmeņu klasifikācijas tiesnesis
classifier = client.beta.observability.judges.create(
    name="Support Response Quality",
    description="Classifies each support chatbot response into three quality levels.",
    model_name="mistral-medium-latest",
    instructions="""
Evaluate the assistant's last response in the provided conversation.

Context: This is a technical support chatbot.

Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?

Classify the response according to the proposed categories.
""",
    output={
        "type": "CLASSIFICATION",
        "options": [
            {"value": "excellent", "description": "Correct, complete, and professional response"},
            {"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
            {"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
        ],
    },
    tools=[],  # No tools for this judge
)

print(f"Judge created: {classifier.id}")

Regresijas tiesneša izveide, izmantojot SDK

# Regresijas tiesnesis: Noderīguma rezultāts no 1 līdz 5
scorer = client.beta.observability.judges.create(
    name="Helpfulness Score",
    description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
    model_name="mistral-small-latest",
    instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.

1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
    output={
        "type": "REGRESSION",
        "min": 1,
        "max": 5,
        "min_description": "Useless response: off-topic, incorrect, or no answer provided",
        "max_description": "Very helpful response: correct, detailed, with clear steps",
    },
    tools=[],
)

print(f"Judge created: {scorer.id}")

Validē pirms mērogošanas

Nevalidēts tiesnesis lielos apjomos ģenerē nepareizas anotācijas. Pirms paļaušanās uz to, pārbaudi to sarunās, kurās zini pareizo atbildi: judge_conversation to piemēro ziņojumu sarakstam un atgriež tā analīzi un spriedumu.

result = client.beta.observability.judges.judge_conversation(
    judge_id=classifier.id,
    messages=[
        {"role": "user", "content": "My printer shows error E04, what should I do?"},
        {"role": "assistant", "content": "Check the documentation."},
    ],
)

print(result.analysis)  # Tiesneša spriedums
print(result.answer)    # Etiķete vai rezultāts

Pēc tam rīkojies metodiski:

  1. Pārbaudi 10 līdz 20 gadījumus, kuros esi iepriekš noteicis pareizo spriedumu.
  2. Pārbaudi saskaņotību: vai tiesnesis iegūst tādus pašus rezultātus kā tu?
  3. Pārbaudi stabilitāti: vai, atkārtoti izpildot tos pašus gadījumus, rezultāti ir identiski?
  4. Identificē kļūdu modeļus: kāda veida sarunās tiesnesis pieļauj kļūdas?

Ja saskaņotība ir pārāk zema, pilnveido instrukcijas pirms jebkādas liela mēroga izmantošanas. Kad tiesnesis ir validēts, to var piemērot datu kopu ierakstiem (client.beta.observability.datasets.records.judge), un tā pati LLM tiesneša loģika parādās vērtētājos bezsaistes novērtējumiem (14. nodarbība).

Galvenās atziņas

  • LLM tiesnesis klasificē (marķē) vai vērtē (piešķir rezultātu) sarunām, ko papildina analīze.
  • judges.create pieprasa name, description, model_name, instructions, output un tools.
  • Regresijas izvade definē savas robežas (min_description, max_description).
  • Instrukcijām jābūt specifiskām, kontekstualizētām un sidrinātām ar rezultātu piemēriem.
  • Validē tiesnesi ar judge_conversation zināmos gadījumos, pirms uz to paļaujies.