Bírák: Automatizált LLM-értékelés
Ezen az oldalon
Lecke frissítve: 2026. november 2. a
mistralaiSDK 3.7.0 verziója és a Mistral Evaluators oldala alapján: ajudges.createmostantól megköveteli adescriptionés atoolsparamétereket (a régebbi példák hibát okoznának), a regressziós kimenetekhezmin_descriptionésmax_descriptionszükséges, és közvetlenül tesztelhetsz egy bírót egy beszélgetésen ajudge_conversationsegítségével. A korábbi verziók sablonváltozói és „Campaigns“ funkciói már nem szerepelnek a dokumentációban. Források: Evaluators · client-python.
A minőségértékelés automatizálása
Gyártási méretarányban lehetetlen kézzel átnézni több ezer beszélgetést. A bírák (Judges) oldják meg ezt a problémát: ezek LLM-alapú értékelők, amelyeket egyszer konfigurálsz – meghatározva az utasításokat, a modellt és a kimeneti formátumot –, majd alkalmazod őket beszélgetésekre vagy adathalmaz-rekordokra. Minden ítélet egy elemzést és egy döntést hoz: egy címkét vagy egy pontszámot.
A bírák két típusa
Osztályozás (Classification)
Egy osztályozó bíró diszkrét címkéket rendel minden válaszhoz. Példák:
- Bináris:
helpful/not_helpful - Többosztályos:
excellent/acceptable/poor - Kategorizálás:
code_question/general_knowledge/troubleshooting - Biztonság:
safe/needs_review/unsafe
Regresszió
Egy regressziós bíró egy tartományon belüli numerikus pontszámot rendel hozzá, ahol te határozod meg a határokat:
- Hasznosság értékelése 1-től 5-ig
- Relevancia pontszám 0-tól 100-ig
- Bizalmi szint 0,0-tól 1,0-ig
Hatékony utasítások írása
A bíró utasításai határozzák meg az értékelés teljes minőségét, és a bizonytalanság a kudarc elsődleges oka. Az „Értékeld a válasz minőségét“ kijelentés semmit sem jelent egy modell számára – minden futtatás másképp értelmezi a „minőség“ fogalmát. Egy működő változat megnevezi a megfigyelhető kritériumokat: „Értékeld, hogy a válasz közvetlenül megválaszolja-e a feltett kérdést tényhelyes információk felhasználásával.“ Ugyanez az elv vonatkozik a kontextusra is: a bíród nem tudja, hogy egy ügyfélszolgálati chatbotot értékel, ahol a „jó“ azt jelenti, hogy „megoldja az ügyfél problémáját anélkül, hogy a dokumentációhoz küldené“. Ha ezt nem stated ki explicit módon, akkor egy általános minőségdefiníciót alkalmaz, ami nem a tiéd.
A szélső esetek különös figyelmet igényelnek, mivel itt térnek el az értékelések. Annak meghatározása, hogy „a 3-as pontszám azt jelenti, hogy a válasz részben helyes, de hiányzik egy kulcselem“, stabilizálja a skála közepét – ezen horgony nélkül ugyanaz a beszélgetés a futástól függően 2-es, 3-as vagy 4-es értékelést is kaphat. A végső teszt egyszerű: ha két emberi értékelő, aki elolvasta az utasításaidat, eltérő véleményen lenne egy adott esetben, akkor a kritériumod túl bizonytalan, és a bíró ezt a bizonytalanságot örökli nagy méretarányban.
Osztályozó bíró létrehozása az SDK-val
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Háromszintű osztályozó bíró
classifier = client.beta.observability.judges.create(
name="Support Response Quality",
description="Classifies each support chatbot response into three quality levels.",
model_name="mistral-medium-latest",
instructions="""
Evaluate the assistant's last response in the provided conversation.
Context: This is a technical support chatbot.
Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?
Classify the response according to the proposed categories.
""",
output={
"type": "CLASSIFICATION",
"options": [
{"value": "excellent", "description": "Correct, complete, and professional response"},
{"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
{"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
],
},
tools=[], # No tools for this judge
)
print(f"Judge created: {classifier.id}")
Regressziós bíró létrehozása az SDK-val
# Regressziós bíró: Hasznossági pontszám 1-től 5-ig
scorer = client.beta.observability.judges.create(
name="Helpfulness Score",
description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
model_name="mistral-small-latest",
instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.
1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
output={
"type": "REGRESSION",
"min": 1,
"max": 5,
"min_description": "Useless response: off-topic, incorrect, or no answer provided",
"max_description": "Very helpful response: correct, detailed, with clear steps",
},
tools=[],
)
print(f"Judge created: {scorer.id}")
Érvényesítés skálázás előtt
Egy nem érvényesített bíró hamis annotációkat gyárt nagy méretarányban. Mielőtt támaszkodnál egyre, teszteld olyan beszélgetéseken, ahol ismered a helyes választ: a judge_conversation alkalmazza azt egy üzenetlistára, és visszaadja az elemzést valamint a döntést.
result = client.beta.observability.judges.judge_conversation(
judge_id=classifier.id,
messages=[
{"role": "user", "content": "My printer shows error E04, what should I do?"},
{"role": "assistant", "content": "Check the documentation."},
],
)
print(result.analysis) # A bíró érvelése
print(result.answer) # A címke vagy pontszám
Ezután haladj módszeresen:
- Tesztelj 10–20 esetet, ahol előre meghatároztad a helyes döntést
- Ellenőrizd az egyezést: Ugyanazt az eredményt hozza-e a bíró, mint te?
- Teszteld a stabilitást: Ugyanazon esetek újrafuttatásakor az eredmények azonosak?
- Azonosítsd a hiba mintázatokat: Milyen típusú beszélgetéseknél vét hibát a bíró?
Ha az egyezés túl alacsony, finomítsd az utasításokat bármilyen nagy léptékű használat előtt. Ha egyszer érvényesítetted, a bíró alkalmazható adathalmaz-rekordokra (client.beta.observability.datasets.records.judge), és ugyanaz az LLM-bíró logika jelenik meg az értékelőkben az offline értékelésekhez (14. lecke).
Főbb megállapítások
- Egy LLM-bíró osztályoz (címkéz) vagy pontoz (értékel) beszélgetéseket, elemzéssel alátámasztva
- A
judges.createmegköveteli aname,description,model_name,instructions,outputéstoolsparamétereket - Egy regressziós kimenet meghatározza a határait (
min_description,max_description) - Az utasításoknak specifikusnak, kontextusba ágyazottnak kell lenniük, és pontszám-példákkal kell horgonyozni őket
- Érvényesítsd a bírót a
judge_conversationsegítségével ismert eseteken, mielőtt támaszkodnál rá