Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Hindajad: LLM-i automaatne hindamine

Õppetund 13 / 16 Värskendatud 2. november 2026 Edasijõudnutele
Sellel lehel
  1. Kvaliteedi hindamise automatiseerimine
  2. Hindajate kaks tüüpi
  3. Tõhusate juhiste kirjutamine
  4. Klassifikatsioonihindaja loomine SDK kaudu
  5. Regressioonihindaja loomine SDK kaudu
  6. Valideeri enne skaleerimist
  7. Peamised punktid

Tund uuendatud 2. novembril 2026, tuginedes mistralai SDK versioonile 3.7.0 ja Mistrali Evaluators lehele: judges.create nõuab nüüd välju description ja tools (vanemad näited ei tööta), regressioonväljundid nõuavad min_description ja max_description ning saad hindajat vestluse peal otse testida funktsiooniga judge_conversation. Mallimuutujad ja varasemate versioonide “Campaigns” dokumentatsioonist enam ei leia. Allikad: Evaluators · client-python.

Kvaliteedi hindamise automatiseerimine

Tuhandete vestluste käsitsi ülevaatamine on tootmismahus võimatu. Hindajad (Judges) lahendavad selle probleemi: need on LLM-põhised hindurid, mille konfigureerid üks kord – määratledes juhised, mudeli ja väljundformaadi – ning rakendad seejärel vestlustele või andmestiku kirjetele. Iga hindamine toodab analüüsi ja otsuse: sildi või skoori.

Hindajate kaks tüüpi

Klassifikatsioon

Klassifikatsioonihindaja omistab igale vastusele diskreetsed sildid. Näited:

  • Binaarne: helpful / not_helpful
  • Mitmeklassiline: excellent / acceptable / poor
  • Kategoriseerimine: code_question / general_knowledge / troubleshooting
  • Ohutus: safe / needs_review / unsafe

Regressioon

Regressioonihindaja omistab numbrilise skoori vahemikus, mille piirid sa ise defineerid:

  • Kasulikkuse hinnang skaalal 1 kuni 5
  • Asjakohasuse skoor 0 kuni 100
  • Usaldusnivoo 0,0 kuni 1,0

Tõhusate juhiste kirjutamine

Hindaja juhised määravad kogu hindamise kvaliteedi ja ebamäärasus on peamine läbikukkumise põhjus. Lause „Hinda vastuse kvaliteeti“ ei tähenda mudelile midagi – iga käivitamine tõlgendab „kvaliteeti“ erinevalt. Töötav versioon nimetab vaadeldavaid kriteeriume: „Hinda, kas vastus annab küsimusele otsese vastuse, kasutades faktiliselt korrektset teavet.“ Sama põhimõte kehtib konteksti kohta: sinu hindaja ei tea, et ta hindab tugiteenuse vestlusrobotit, kus „hea“ tähendab „lahendab kliendi probleemi, saatmata teda dokumentatsiooni lugema“. Kui sa seda sõnaselgelt ei sätesta, rakendab ta üldist kvaliteedimääratlust, mis ei ole sinu oma.

Piirjuhtumid väärivad erilist tähelepanu, sest just seal lähevad hindamised lahku. Täpsustamine, et „skoor 3 tähendab, et vastus on osaliselt õige, kuid puudub võtmeelement“, stabiliseerib sinu skaala keskosa – ilma selle ankruta võib sama vestlus saada sõltuvalt käivitusest hindeks 2, 3 või 4. Lõplik test on lihtne: kui kaks inimhindajat, kes loevad sinu juhiseid, võivad antud juhtumi osas eriarvamusele jääda, on sinu kriteerium liiga ebamäärane ja hindaja pärib selle mitmetimõistetavuse suurel skaalal.

Klassifikatsioonihindaja loomine SDK kaudu

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Kolmetasemeline klassifikatsioonihindaja
classifier = client.beta.observability.judges.create(
    name="Support Response Quality",
    description="Classifies each support chatbot response into three quality levels.",
    model_name="mistral-medium-latest",
    instructions="""
Evaluate the assistant's last response in the provided conversation.

Context: This is a technical support chatbot.

Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?

Classify the response according to the proposed categories.
""",
    output={
        "type": "CLASSIFICATION",
        "options": [
            {"value": "excellent", "description": "Correct, complete, and professional response"},
            {"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
            {"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
        ],
    },
    tools=[],  # No tools for this judge
)

print(f"Judge created: {classifier.id}")

Regressioonihindaja loomine SDK kaudu

# Regressioonihindaja: Kasulikkuse skoor 1 kuni 5
scorer = client.beta.observability.judges.create(
    name="Helpfulness Score",
    description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
    model_name="mistral-small-latest",
    instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.

1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
    output={
        "type": "REGRESSION",
        "min": 1,
        "max": 5,
        "min_description": "Useless response: off-topic, incorrect, or no answer provided",
        "max_description": "Very helpful response: correct, detailed, with clear steps",
    },
    tools=[],
)

print(f"Judge created: {scorer.id}")

Valideeri enne skaleerimist

Valideerimata hindaja toodab suurel skaalal valesti märgistatud andmeid. Enne sellele tuginemist testi seda vestlustel, kus tead õiget vastust: judge_conversation rakendab hindajat sõnumite loendile ja tagastab selle analüüsi ning otsuse.

result = client.beta.observability.judges.judge_conversation(
    judge_id=classifier.id,
    messages=[
        {"role": "user", "content": "My printer shows error E04, what should I do?"},
        {"role": "assistant", "content": "Check the documentation."},
    ],
)

print(result.analysis)  # Hindaja arutluskäik
print(result.answer)    # Silt või skoor

Seejärel tegutse meetodiliselt:

  1. Testi 10–20 juhtumil, kus oled eelnevalt kindlaks määranud õige otsuse
  2. Kontrolli kooskõla: kas hindaja toodab samu tulemusi kui sina?
  3. Testi stabiilsust: kas samadel juhtumitel uuesti käivitamisel on tulemused identsed?
  4. Tuvasta tõrkemustrid: millist tüüpi vestlustel teeb hindaja vigu?

Kui kooskõla on liiga madal, täienda juhiseid enne laiaulatuslikku kasutuselevõttu. Kui hindaja on valideeritud, saad seda rakendada andmestiku kirjetel (client.beta.observability.datasets.records.judge) ja sama LLM-hindaja loogika ilmneb offline-hindamiste hindurites (14. tund).

Peamised punktid

  • LLM-hindaja klassifitseerib (sildistab) või hindab (skoorib) vestlusi, mida toetab analüüs
  • judges.create nõuab välju name, description, model_name, instructions, output ja tools
  • Regressiooniväljund määratleb oma piirid (min_description, max_description)
  • Juhised peavad olema konkreetsed, kontekstistatud ja ankurdatud skoorinäidetega
  • Valideeri hindajat funktsiooniga judge_conversation teadaolevatel juhtumitel enne sellele tuginemist