Suci: Automatizirana evaluacija LLM-ova
Na ovoj stranici
Lekcija ažurirana 2. studenog 2026. na temelju SDK-a
mistralaiverzije 3.7.0 i stranice Mistral Evaluators:judges.createsada zahtijevadescriptionitools(stariji primjeri bi pali), regresijski izlazi zahtijevajumin_descriptionimax_description, a suca možeš izravno testirati na razgovoru pomoćujudge_conversation. Varijable predloška i „Kampanje“ iz ranijih verzija više se ne pojavljuju u dokumentaciji. Izvori: Evaluators · client-python.
Automatizacija evaluacije kvalitete
Ručno pregledavanje tisuća razgovora nemoguće je u produkcijskom okruženju velikih razmjera. Suci rješavaju taj problem: to su evaluatori temeljeni na LLM-ovima koje konfiguriraš jednom – definirajući upute, model i format izlaza – a zatim ih primjenjuješ na razgovore ili zapise u podatkovnim skupovima. Svaka presuda rezultira analizom i verdictom: oznakom ili ocjenom.
Dvije vrste sudaca
Klasifikacija
Suc za klasifikaciju dodjeljuje diskretne oznake svakom odgovoru. Primjeri uključuju:
- Binarno:
helpful/not_helpful - Višeklasno:
excellent/acceptable/poor - Kategorizacija:
code_question/general_knowledge/troubleshooting - Sigurnost:
safe/needs_review/unsafe
Regresija
Suc za regresiju dodjeljuje numeričku ocjenu unutar raspona, gdje ti definiraš granice:
- Ocjena korisnosti od 1 do 5
- Ocjena relevantnosti od 0 do 100
- Razina pouzdanosti od 0.0 do 1.0
Pisanje učinkovitih uputa
Upute suca određuju cjelokupnu kvalitetu evaluacije, a nejasnoća je glavni uzrok neuspjeha. Fraza „Ocijeni kvalitetu odgovora“ modelu ništa ne znači – svako pokretanje interpretirat će „kvalitetu“ drugačije. Funkcionalna verzija imenuje opservabilne kriterije: „Ocijeni odgovara li odgovor izravno na postavljeno pitanje, koristeći činjenično točne informacije.“ Isti princip vrijedi za kontekst: tvoj suc ne zna da evaluira chatbota za podršku gdje „dobar“ znači „rješava korisnikov problem bez slanja na dokumentaciju“. Ako to ne navedeš eksplicitno, primijenit će generičku definiciju kvalitete koja nije tvoja.
Rubni slučajevi zaslužuju posebnu pozornost jer tu evaluacije divergiraju. Navođenje da „ocjena 3 znači da je odgovor djelomično točan, ali nedostaje ključni element“ stabilizira sredinu tvoje ljestvice – bez te sidrene točke, isti razgovor mogao bi dobiti 2, 3 ili 4 ovisno o pokretanju. Konačni test je jednostavan: ako se dva ljudska evaluatora koja čitaju tvoje upute mogu ne složiti oko određenog slučaja, tvoj je kriterij previše nejasan i suc će naslijediti tu dvosmislenost u velikom obujmu.
Stvaranje suca za klasifikaciju putem SDK-a
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Suc za klasifikaciju s tri razine
classifier = client.beta.observability.judges.create(
name="Support Response Quality",
description="Classifies each support chatbot response into three quality levels.",
model_name="mistral-medium-latest",
instructions="""
Evaluate the assistant's last response in the provided conversation.
Context: This is a technical support chatbot.
Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?
Classify the response according to the proposed categories.
""",
output={
"type": "CLASSIFICATION",
"options": [
{"value": "excellent", "description": "Correct, complete, and professional response"},
{"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
{"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
],
},
tools=[], # No tools for this judge
)
print(f"Judge created: {classifier.id}")
Stvaranje suca za regresiju putem SDK-a
# Suc za regresiju: Ocjena korisnosti od 1 do 5
scorer = client.beta.observability.judges.create(
name="Helpfulness Score",
description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
model_name="mistral-small-latest",
instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.
1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
output={
"type": "REGRESSION",
"min": 1,
"max": 5,
"min_description": "Useless response: off-topic, incorrect, or no answer provided",
"max_description": "Very helpful response: correct, detailed, with clear steps",
},
tools=[],
)
print(f"Judge created: {scorer.id}")
Validacija prije skaliranja
Nevalidirani suc proizvodi lažne anotacije u velikom obujmu. Prije nego se osloniš na njega, testiraj ga na razgovorima za koje znaš točan odgovor: judge_conversation primjenjuje ga na popis poruka i vraća njegovu analizu i verdict.
result = client.beta.observability.judges.judge_conversation(
judge_id=classifier.id,
messages=[
{"role": "user", "content": "My printer shows error E04, what should I do?"},
{"role": "assistant", "content": "Check the documentation."},
],
)
print(result.analysis) # The judge's reasoning
print(result.answer) # The label or score
Zatim postupi metodično:
- Testiraj na 10 do 20 slučajeva za koje unaprijed znaš ispravan verdict
- Provjeri slaganje: Daje li suc iste rezultate kao i ti?
- Testiraj stabilnost: Jesu li rezultati identični pri ponovnom pokretanju na istim slučajevima?
- Identificiraj obrasce neuspjeha: Na kojim vrstama razgovora suc griješi?
Ako je slaganje prenisko, usavrši upute prije bilo kakve uporabe u velikom obujmu. Jednom validiran, suc se primjenjuje na zapise u podatkovnim skupovima (client.beta.observability.datasets.records.judge), a ista logika LLM suca pojavljuje se u evaluatorima za offline evaluacije (Lekcija 14).
Ključne točke
- LLM suc klasificira (označava) ili ocjenjuje (rangira) razgovore, potpomognut analizom
judges.createzahtijevaname,description,model_name,instructions,outputitools- Regresijski izlaz definira svoje granice (
min_description,max_description) - Upute moraju biti specifične, kontekstualizirane i sidrene primjerima ocjena
- Validiraj suca s
judge_conversationna poznatim slučajevima prije oslanjanja na njega