Tuomarit: LLM-arvioinnin automatisointi
Tällä sivulla
Oppitunti päivitetty 2. marraskuuta 2026 perustuen
mistralaiSDK:n versioon 3.7.0 ja Mistralin Evaluators-sivuun:judges.createvaatii nyt parametritdescriptionjatools(vanhemmat esimerkit epäonnistuisivat), regressiotulosteet vaativatmin_descriptionjamax_description, ja voit testata tuomaria suoraan keskustelussa käyttämälläjudge_conversation. Mallimuuttujat ja aiempien versioiden “Campaigns” eivät enää esiinny dokumentaatiossa. Lähteet: Evaluators · client-python.
Laadunarvioinnin automatisointi
Tuhansien keskustelujen manuaalinen tarkastelu on mahdotonta tuotantomittakaavassa. Tuomarit (Judges) ratkaisevat tämän ongelman: ne ovat LLM-pohjaisia arvioijia, jotka määrität kerran – määrittelemällä ohjeet, mallin ja tulostemuodon – ja jota sovellat sitten keskusteluihin tai tietoaineiston tietueisiin. Jokainen arviointi tuottaa analyysin ja tuomion: joko luokituksen tai pisteytyksen.
Kahdenlaiset tuomarit
Luokittelu
Luokittelutuomari määrittää jokaiselle vastaukselle diskreetit tunnisteet. Esimerkkejä:
- Binäärinen:
helpful/not_helpful - Moniluokkainen:
excellent/acceptable/poor - Kategorisointi:
code_question/general_knowledge/troubleshooting - Turvallisuus:
safe/needs_review/unsafe
Regressio
Regressiotuomari määrittää numeerisen pisteytyksen tietyllä välillä, jossa määrittelet rajat:
- Hyödyllisyysarvio asteikolla 1–5
- Relevanssipisteet 0–100
- Luottamustaso 0,0–1,0
Tehokkaiden ohjeiden kirjoittaminen
Tuomarin ohjeet määräävät koko arvioinnin laadun, ja epämääräisyys on ensisijainen epäonnistumisen syy. Lause “Arvioi vastauksen laatua” ei tarkoita mallille mitään – jokainen suoritus tulkitsee “laadun” eri tavalla. Toimiva versio nimeää havainnoitavat kriteerit: “Arvioi, vastaako vastaus suoraan esitettyyn kysymykseen käyttäen faktuaalisesti oikeaa tietoa.” Sama periaate pätee kontekstiin: tuomarisi ei tiedä arvioivansa tukichattibottia, jossa “hyvä” tarkoittaa “ratkaisee asiakkaan ongelman lähettämättä häntä dokumentaatioon”. Jos et määritä tätä eksplisiittisesti, se soveltaa yleistä laatumääritelmää, joka ei ole sinun omasi.
Reunatapaukset ansaitsevat erityistä huomiota, sillä niissä arvioinnit hajaantuvat. Määrittämällä, että “piste 3 tarkoittaa vastausta, joka on osittain oikein mutta josta puuttuu keskeinen elementti”, vakautat asteikkosi keskivaiheen – ilman tätä ankkuria sama keskustelu saisi arvoksi 2, 3 tai 4 riippuen suorituskerrasta. Lopullinen testi on yksinkertainen: jos kaksi ihmisarvioijaa, jotka lukevat ohjeesi, voivat olla eri mieltä tietystä tapauksesta, kriteerisi on liian epämääräinen, ja tuomari perii tämän epäselvyyden mittakaavassa.
Luokittelutuomarin luominen SDK:n avulla
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Kolmitasoinen luokittelutuomari
classifier = client.beta.observability.judges.create(
name="Support Response Quality",
description="Classifies each support chatbot response into three quality levels.",
model_name="mistral-medium-latest",
instructions="""
Evaluate the assistant's last response in the provided conversation.
Context: This is a technical support chatbot.
Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?
Classify the response according to the proposed categories.
""",
output={
"type": "CLASSIFICATION",
"options": [
{"value": "excellent", "description": "Correct, complete, and professional response"},
{"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
{"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
],
},
tools=[], # No tools for this judge
)
print(f"Judge created: {classifier.id}")
Regressiotuomarin luominen SDK:n avulla
# Regressiotuomari: Hyödyllisyyspisteet 1–5
scorer = client.beta.observability.judges.create(
name="Helpfulness Score",
description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
model_name="mistral-small-latest",
instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.
1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
output={
"type": "REGRESSION",
"min": 1,
"max": 5,
"min_description": "Useless response: off-topic, incorrect, or no answer provided",
"max_description": "Very helpful response: correct, detailed, with clear steps",
},
tools=[],
)
print(f"Judge created: {scorer.id}")
Validoi ennen skaalausta
Validoimaton tuomari tuottaa vääriä merkintöjä mittakaavassa. Ennen kuin luotat siihen, testaa sitä keskusteluissa, joissa tiedät oikean vastauksen: judge_conversation soveltaa sitä viestilistaan ja palauttaa sen analyysin ja tuomion.
result = client.beta.observability.judges.judge_conversation(
judge_id=classifier.id,
messages=[
{"role": "user", "content": "My printer shows error E04, what should I do?"},
{"role": "assistant", "content": "Check the documentation."},
],
)
print(result.analysis) # Tuomarin päättely
print(result.answer) # Tunniste tai pisteet
Jatka sitten menetelmällisesti:
- Testaa 10–20 tapauksella, joissa olet etukäteen määrittänyt oikean tuomion
- Tarkista yhteensopivuus: Tuottaako tuomari samat tulokset kuin sinä?
- Testaa stabiiliutta: Ovatko tulokset identtisiä, kun ajat testit uudelleen samoilla tapauksilla?
- Tunnista epäonnistumismallit: Minkä tyyppisissä keskusteluissa tuomari tekee virheitä?
Jos yhteensopivuus on liian alhainen, hienosäädä ohjeita ennen laajamittaista käyttöä. Kun tuomari on validoitu, sitä voidaan soveltaa tietoaineiston tietueisiin (client.beta.observability.datasets.records.judge), ja sama LLM-tuomarilogiikka esiintyy offline-arviointien arvioijissa (oppitunti 14).
Keskeiset asiat
- LLM-tuomari luokittelee (tunnistaa) tai pisteyttää (arvioi) keskusteluja, ja sitä tukee analyysi
judges.createvaatii parametritname,description,model_name,instructions,outputjatools- Regressiotuloste määrittelee rajansa (
min_description,max_description) - Ohjeiden on oltava spesifejä, kontekstualisoituja ja ankkuroituja piste-esimerkeillä
- Validoi tuomari komennolla
judge_conversationtunnetuilla tapauksilla ennen sen käyttöönottoa