Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Bírák: Automatizált LLM-értékelés

13. lecke 16 közül Frissítve 2026. november 2. Haladó
Ezen az oldalon
  1. A minőségértékelés automatizálása
  2. A bírák két típusa
  3. Hatékony utasítások írása
  4. Osztályozó bíró létrehozása az SDK-val
  5. Regressziós bíró létrehozása az SDK-val
  6. Érvényesítés skálázás előtt
  7. Főbb megállapítások

Lecke frissítve: 2026. november 2. a mistralai SDK 3.7.0 verziója és a Mistral Evaluators oldala alapján: a judges.create mostantól megköveteli a description és a tools paramétereket (a régebbi példák hibát okoznának), a regressziós kimenetekhez min_description és max_description szükséges, és közvetlenül tesztelhetsz egy bírót egy beszélgetésen a judge_conversation segítségével. A korábbi verziók sablonváltozói és „Campaigns“ funkciói már nem szerepelnek a dokumentációban. Források: Evaluators · client-python.

A minőségértékelés automatizálása

Gyártási méretarányban lehetetlen kézzel átnézni több ezer beszélgetést. A bírák (Judges) oldják meg ezt a problémát: ezek LLM-alapú értékelők, amelyeket egyszer konfigurálsz – meghatározva az utasításokat, a modellt és a kimeneti formátumot –, majd alkalmazod őket beszélgetésekre vagy adathalmaz-rekordokra. Minden ítélet egy elemzést és egy döntést hoz: egy címkét vagy egy pontszámot.

A bírák két típusa

Osztályozás (Classification)

Egy osztályozó bíró diszkrét címkéket rendel minden válaszhoz. Példák:

  • Bináris: helpful / not_helpful
  • Többosztályos: excellent / acceptable / poor
  • Kategorizálás: code_question / general_knowledge / troubleshooting
  • Biztonság: safe / needs_review / unsafe

Regresszió

Egy regressziós bíró egy tartományon belüli numerikus pontszámot rendel hozzá, ahol te határozod meg a határokat:

  • Hasznosság értékelése 1-től 5-ig
  • Relevancia pontszám 0-tól 100-ig
  • Bizalmi szint 0,0-tól 1,0-ig

Hatékony utasítások írása

A bíró utasításai határozzák meg az értékelés teljes minőségét, és a bizonytalanság a kudarc elsődleges oka. Az „Értékeld a válasz minőségét“ kijelentés semmit sem jelent egy modell számára – minden futtatás másképp értelmezi a „minőség“ fogalmát. Egy működő változat megnevezi a megfigyelhető kritériumokat: „Értékeld, hogy a válasz közvetlenül megválaszolja-e a feltett kérdést tényhelyes információk felhasználásával.“ Ugyanez az elv vonatkozik a kontextusra is: a bíród nem tudja, hogy egy ügyfélszolgálati chatbotot értékel, ahol a „jó“ azt jelenti, hogy „megoldja az ügyfél problémáját anélkül, hogy a dokumentációhoz küldené“. Ha ezt nem stated ki explicit módon, akkor egy általános minőségdefiníciót alkalmaz, ami nem a tiéd.

A szélső esetek különös figyelmet igényelnek, mivel itt térnek el az értékelések. Annak meghatározása, hogy „a 3-as pontszám azt jelenti, hogy a válasz részben helyes, de hiányzik egy kulcselem“, stabilizálja a skála közepét – ezen horgony nélkül ugyanaz a beszélgetés a futástól függően 2-es, 3-as vagy 4-es értékelést is kaphat. A végső teszt egyszerű: ha két emberi értékelő, aki elolvasta az utasításaidat, eltérő véleményen lenne egy adott esetben, akkor a kritériumod túl bizonytalan, és a bíró ezt a bizonytalanságot örökli nagy méretarányban.

Osztályozó bíró létrehozása az SDK-val

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Háromszintű osztályozó bíró
classifier = client.beta.observability.judges.create(
    name="Support Response Quality",
    description="Classifies each support chatbot response into three quality levels.",
    model_name="mistral-medium-latest",
    instructions="""
Evaluate the assistant's last response in the provided conversation.

Context: This is a technical support chatbot.

Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?

Classify the response according to the proposed categories.
""",
    output={
        "type": "CLASSIFICATION",
        "options": [
            {"value": "excellent", "description": "Correct, complete, and professional response"},
            {"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
            {"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
        ],
    },
    tools=[],  # No tools for this judge
)

print(f"Judge created: {classifier.id}")

Regressziós bíró létrehozása az SDK-val

# Regressziós bíró: Hasznossági pontszám 1-től 5-ig
scorer = client.beta.observability.judges.create(
    name="Helpfulness Score",
    description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
    model_name="mistral-small-latest",
    instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.

1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
    output={
        "type": "REGRESSION",
        "min": 1,
        "max": 5,
        "min_description": "Useless response: off-topic, incorrect, or no answer provided",
        "max_description": "Very helpful response: correct, detailed, with clear steps",
    },
    tools=[],
)

print(f"Judge created: {scorer.id}")

Érvényesítés skálázás előtt

Egy nem érvényesített bíró hamis annotációkat gyárt nagy méretarányban. Mielőtt támaszkodnál egyre, teszteld olyan beszélgetéseken, ahol ismered a helyes választ: a judge_conversation alkalmazza azt egy üzenetlistára, és visszaadja az elemzést valamint a döntést.

result = client.beta.observability.judges.judge_conversation(
    judge_id=classifier.id,
    messages=[
        {"role": "user", "content": "My printer shows error E04, what should I do?"},
        {"role": "assistant", "content": "Check the documentation."},
    ],
)

print(result.analysis)  # A bíró érvelése
print(result.answer)    # A címke vagy pontszám

Ezután haladj módszeresen:

  1. Tesztelj 10–20 esetet, ahol előre meghatároztad a helyes döntést
  2. Ellenőrizd az egyezést: Ugyanazt az eredményt hozza-e a bíró, mint te?
  3. Teszteld a stabilitást: Ugyanazon esetek újrafuttatásakor az eredmények azonosak?
  4. Azonosítsd a hiba mintázatokat: Milyen típusú beszélgetéseknél vét hibát a bíró?

Ha az egyezés túl alacsony, finomítsd az utasításokat bármilyen nagy léptékű használat előtt. Ha egyszer érvényesítetted, a bíró alkalmazható adathalmaz-rekordokra (client.beta.observability.datasets.records.judge), és ugyanaz az LLM-bíró logika jelenik meg az értékelőkben az offline értékelésekhez (14. lecke).

Főbb megállapítások

  • Egy LLM-bíró osztályoz (címkéz) vagy pontoz (értékel) beszélgetéseket, elemzéssel alátámasztva
  • A judges.create megköveteli a name, description, model_name, instructions, output és tools paramétereket
  • Egy regressziós kimenet meghatározza a határait (min_description, max_description)
  • Az utasításoknak specifikusnak, kontextusba ágyazottnak kell lenniük, és pontszám-példákkal kell horgonyozni őket
  • Érvényesítsd a bírót a judge_conversation segítségével ismert eseteken, mielőtt támaszkodnál rá