Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Teisėjai: automatizuotas LLM vertinimas

Paskaita 13 iš 16 Atnaujinta 2026 m. lapkričio 2 d. Pažengusiems
Šiame puslapyje
  1. Kokybės vertinimo automatizavimas
  2. Du teisėjų tipai
  3. Efektyvių instrukcijų rašymas
  4. Klasifikacijos teisėjo kūrimas naudojant SDK
  5. Regresijos teisėjo kūrimas naudojant SDK
  6. Patikrink prieš masteliuodamas
  7. Svarbiausi punktai

Pamoka atnaujinta 2026 m. lapkričio 2 d. pagal mistralai SDK 3.7.0 versiją ir „Mistral“ Evaluators puslapį: judges.create dabar reikalauja description ir tools (senesni pavyzdžiai neveiktų), regresijos išvestims būtini min_description ir max_description, o teisėją tiesiogiai pokalbiui galite išbandyti naudodami judge_conversation. Ankstesnių versijų šablonų kintamieji ir „Campaigns“ dokumentacijoje nebeatsiranda. Šaltiniai: Evaluators · client-python.

Kokybės vertinimo automatizavimas

Rankiniu būdu peržiūrėti tūkstančius pokalbių gamybos mastu neįmanoma. Šią problemą sprendžia teisėjai (Judges): tai LLM pagrindu veikiantys vertintojai, kuriuos sukonfigūruoji vieną kartą – apibrėždamas instrukcijas, modelį ir išvesties formatą – ir taikai pokalbiams arba duomenų rinkinių įrašams. Kiekvienas vertinimas generuoja analizę ir verdiktą: etiketę arba balą.

Du teisėjų tipai

Klasifikacija

Klasifikacijos teisėjas kiekvienam atsakymui priskiria diskrečias etiketes. Pavyzdžiai:

  • Dvinaris: helpful / not_helpful
  • Daugiaklasinis: excellent / acceptable / poor
  • Kategorizavimas: code_question / general_knowledge / troubleshooting
  • Sauga: safe / needs_review / unsafe

Regresija

Regresijos teisėjas priskiria skaitinį balą tam tikrame intervale, kurio ribas apibrėži pats:

  • Naudingumo įvertinimas nuo 1 iki 5
  • Aktualumo balas nuo 0 iki 100
  • Pasitikėjimo lygis nuo 0,0 iki 1,0

Efektyvių instrukcijų rašymas

Teisėjo instrukcijos lemia visą vertinimo kokybę, o neaiškumas yra pagrindinė nesėkmių priežastis. Frazė „Įvertinkite atsakymo kokybę“ modeliui nieko nereiškia – kiekvieno vykdymo metu „kokybė“ bus interpretuojama skirtingai. Veikianti versija įvardija stebimus kriterijus: „Įvertinkite, ar atsakymas tiesiogiai atsako į užduotą klausimą, naudojant faktiškai teisingą informaciją.“ Tas pats principas taikomas ir kontekstui: tavo teisėjas nežino, kad vertina techninės pagalbos chatbotą, kur „geras“ reiškia „išsprendžia kliento problemą nenukreipdamas jo į dokumentaciją“. Jei to aiškiai nenurodysi, jis taikys bendrąjį kokybės apibrėžimą, kuris nėra tavo.

Ribiniai atvejai nusipelno ypatingo dėmesio, nes būtent čia vertinimai išsiskiria. Nurodžius, kad „3 balai reiškia, jog atsakymas iš dalies teisingas, bet trūksta pagrindinio elemento“, stabilizuojama skalės vidurio dalis – be šio inkaro, tas pats pokalbis priklausomai nuo vykdymo gali gauti 2, 3 arba 4 balus. Galutinis testas paprastas: jei du žmogaus vertintojai, skaitydami tavo instrukcijas, galėtų nesutarti dėl konkretaus atvejo, tavo kriterijus yra per daug miglotas, o teisėjas tą dviprasmybę paveldės ir masteliuodamas.

Klasifikacijos teisėjo kūrimas naudojant SDK

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Trijų lygių klasifikacijos teisėjas
classifier = client.beta.observability.judges.create(
    name="Support Response Quality",
    description="Classifies each support chatbot response into three quality levels.",
    model_name="mistral-medium-latest",
    instructions="""
Evaluate the assistant's last response in the provided conversation.

Context: This is a technical support chatbot.

Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?

Classify the response according to the proposed categories.
""",
    output={
        "type": "CLASSIFICATION",
        "options": [
            {"value": "excellent", "description": "Correct, complete, and professional response"},
            {"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
            {"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
        ],
    },
    tools=[],  # No tools for this judge
)

print(f"Judge created: {classifier.id}")

Regresijos teisėjo kūrimas naudojant SDK

# Regresijos teisėjas: Naudingumo balas nuo 1 iki 5
scorer = client.beta.observability.judges.create(
    name="Helpfulness Score",
    description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
    model_name="mistral-small-latest",
    instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.

1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
    output={
        "type": "REGRESSION",
        "min": 1,
        "max": 5,
        "min_description": "Useless response: off-topic, incorrect, or no answer provided",
        "max_description": "Very helpful response: correct, detailed, with clear steps",
    },
    tools=[],
)

print(f"Judge created: {scorer.id}")

Patikrink prieš masteliuodamas

Nepatikrintas teisėjas masteliuodamas generuoja klaidingas anotacijas. Prieš pasikliaudamas juo, išbandyk pokalbiuose, kuriuose žinai teisingą atsakymą: judge_conversation pritaiko jį žinučių sąrašui ir grąžina jo analizę bei verdiktą.

result = client.beta.observability.judges.judge_conversation(
    judge_id=classifier.id,
    messages=[
        {"role": "user", "content": "My printer shows error E04, what should I do?"},
        {"role": "assistant", "content": "Check the documentation."},
    ],
)

print(result.analysis)  # The judge's reasoning
print(result.answer)    # The label or score

Tada veik metodologiškai:

  1. Išbandyk 10–20 atvejų, kuriems iš anksto nustatei teisingą verdiktą.
  2. Patikrink sutapimą: ar teisėjas pateikia tokius pačius rezultatus kaip ir tu?
  3. Išbandyk stabilumą: ar pakartotinai vykdant tuos pačius atvejus, rezultatai lieka identiški?
  4. Nustatyk nesėkmių dėsningumus: kokio tipo pokalbiuose teisėjas klysta?

Jei sutapimas per mažas, prieš naudojant dideliu mastu, patobulink instrukcijas. Kai teisėjas patikrintas, jį galima taikyti duomenų rinkinių įrašams (client.beta.observability.datasets.records.judge), o ta pati LLM teisėjo logika atsiras ir vertintojuose, skirtuose neaktyviems (offline) vertinimams (14 pamoka).

Svarbiausi punktai

  • LLM teisėjas klasifikuoja (žymi) arba vertina (skiria balus) pokalbius, paremdamas tai analize.
  • judges.create reikalauja name, description, model_name, instructions, output ir tools.
  • Regresijos išvestis apibrėžia savo ribas (min_description, max_description).
  • Instrukcijos turi būti specifinės, kontekstualizuotos ir pagrįstos balų pavyzdžiais.
  • Prieš pasikliaudami teisėju, patikrinkite jį naudodami judge_conversation žinomais atvejais.