Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Posudzovatelia: Automatizované hodnotenie LLM

Lekcia 13 z 16 Aktualizované 2. novembra 2026 Pokročilý
Na tejto strane
  1. Automatizácia hodnotenia kvality
  2. Dva typy posudzovateľov
  3. Písanie efektívnych inštrukcií
  4. Vytvorenie klasifikačného posudzovateľa cez SDK
  5. Vytvorenie regresného posudzovateľa cez SDK
  6. Overenie pred nasadením do produkcie
  7. Kľúčové poznatky

Lekcia aktualizovaná 2. novembra 2026 na základe SDK mistralai verzie 3.7.0 a stránky Mistral Evaluators: judges.create teraz vyžaduje parametre description a tools (staršie príklady by zlyhali), výstupy regresie vyžadujú min_description a max_description a posudzovateľa môžeš priamo otestovať na konverzácii pomocou judge_conversation. Premenné šablón a „Kampane“ z predchádzajúcich verzií sa už v dokumentácii nevyskytujú. Zdroje: Evaluators · client-python.

Automatizácia hodnotenia kvality

Ručné recenzovanie tisícok konverzácií je v produkčnom meradle nemožné. Posudzovatelia (Judges) tento problém riešia: sú to hodnotitelia založení na LLM, ktorých raz nakonfiguruješ – definuješ inštrukcie, model a formát výstupu – a následne ich aplikuješ na konverzácie alebo záznamy dátových súborov. Každé posúdenie prináša analýzu a verdikt: označenie (label) alebo skóre.

Dva typy posudzovateľov

Klasifikácia

Klasifikačný posudzovateľ priraďuje každému odpovedi diskrétne označenia. Príklady zahŕňajú:

  • Binárne: helpful / not_helpful
  • Viactriedne: excellent / acceptable / poor
  • Kategorizácia: code_question / general_knowledge / troubleshooting
  • Bezpečnosť: safe / needs_review / unsafe

Regresia

Regresný posudzovateľ priraďuje číselné skóre v rámci rozsahu, kde ty definuješ hranice:

  • Hodnotenie užitočnosti od 1 do 5
  • Skóre relevance od 0 do 100
  • Úroveň dôvery od 0,0 do 1,0

Písanie efektívnych inštrukcií

Inštrukcie posudzovateľa určujú celkovú kvalitu hodnotenia a nejasnosť je hlavnou príčinou zlyhaní. Fráza „Ohodnoť kvalitu odpovede“ pre model nič neznamená – každý beh interpretuje „kvalitu“ inak. Funkčná verzia menuje pozorovateľné kritériá: „Zhodnoť, či odpoveď priamo reaguje na položenú otázku a používa fakticky správne informácie.“ Rovnaký princíp platí pre kontext: tvoj posudzovateľ nevie, že hodnotí chatbota technickej podpory, kde „dobré“ znamená „vyrieši problém zákazníka bez odoslania do dokumentácie“. Ak to explicitne neuvedieš, aplikuje všeobecnú definíciu kvality, ktorá nie je tá tvoja.

Okrajové prípady si zaslúžia osobitnú pozornosť, práve tu sa hodnotenia rozchádzajú. Špecifikácia, že „skóre 3 znamená, že odpoveď je čiastočne správna, ale chýba jej kľúčový prvok“, stabilizuje stred tvojej škály – bez tohto kotvenia môže tá istá konverzácia dostať 2, 3 alebo 4 v závislosti od behu. Záverečný test je jednoduchý: ak by dvaja ľudskí hodnotitelia čítajúci tvoje inštrukcie mohli v danom prípade nesúhlasiť, tvoje kritérium je príliš vágne a posudzovateľ túto nejednoznačnosť zdedí vo veľkom meradle.

Vytvorenie klasifikačného posudzovateľa cez SDK

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Klasifikačný posudzovateľ s tromi úrovňami
classifier = client.beta.observability.judges.create(
    name="Support Response Quality",
    description="Classifies each support chatbot response into three quality levels.",
    model_name="mistral-medium-latest",
    instructions="""
Evaluate the assistant's last response in the provided conversation.

Context: This is a technical support chatbot.

Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?

Classify the response according to the proposed categories.
""",
    output={
        "type": "CLASSIFICATION",
        "options": [
            {"value": "excellent", "description": "Correct, complete, and professional response"},
            {"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
            {"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
        ],
    },
    tools=[],  # No tools for this judge
)

print(f"Judge created: {classifier.id}")

Vytvorenie regresného posudzovateľa cez SDK

# Regresný posudzovateľ: Skóre užitočnosti od 1 do 5
scorer = client.beta.observability.judges.create(
    name="Helpfulness Score",
    description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
    model_name="mistral-small-latest",
    instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.

1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
    output={
        "type": "REGRESSION",
        "min": 1,
        "max": 5,
        "min_description": "Useless response: off-topic, incorrect, or no answer provided",
        "max_description": "Very helpful response: correct, detailed, with clear steps",
    },
    tools=[],
)

print(f"Judge created: {scorer.id}")

Overenie pred nasadením do produkcie

Neoverený posudzovateľ produkuje vo veľkom meradle falošné anotácie. Predtým, než sa naňho spoľahneš, otestuj ho na konverzáciách, kde poznáš správnu odpoveď: judge_conversation ho aplikuje na zoznam správ a vráti jeho analýzu a verdikt.

result = client.beta.observability.judges.judge_conversation(
    judge_id=classifier.id,
    messages=[
        {"role": "user", "content": "My printer shows error E04, what should I do?"},
        {"role": "assistant", "content": "Check the documentation."},
    ],
)

print(result.analysis)  # The judge's reasoning
print(result.answer)    # The label or score

Potom postupuj metodicky:

  1. Otestuj na 10 až 20 prípadoch, kde si vopred určil správny verdikt
  2. Skontroluj zhodu: Produkuje posudzovateľ rovnaké výsledky ako ty?
  3. Otestuj stabilitu: Sú výsledky pri opakovanom spustení na tých istých prípadoch identické?
  4. Identifikuj vzorce zlyhaní: Pri akých typoch konverzácií posudzovateľ robí chyby?

Ak je zhoda príliš nízka, pred akýmkoľvek rozsiahlym použitím uprav inštrukcie. Po overení sa posudzovateľ aplikuje na záznamy dátových súborov (client.beta.observability.datasets.records.judge) a rovnaká logika LLM posudzovateľa sa objavuje v hodnoteniach pre offline evaluácie (Lekcia 14).

Kľúčové poznatky

  • Posudzovateľ LLM klasifikuje (označuje) alebo hodnotí (skóruje) konverzácie, pričom je podporený analýzou
  • judges.create vyžaduje parametre name, description, model_name, instructions, output a tools
  • Výstup regresie definuje svoje hranice (min_description, max_description)
  • Inštrukcie musia byť špecifické, kontextualizované a ukotvené príkladmi skóre
  • Pred spoľahnutím sa na posudzovateľa ho over pomocou judge_conversation na známych prípadoch