Breithiúna: Meastóireacht Uathoibrithe ar LLManna
Ar an leathanach seo
An ceacht nuashonraithe an 2 Samhain, 2026 bunaithe ar SDK
mistralai3.7.0 agus ar an leathanach Evaluators ó Mistral: éilíonnjudges.createanoisdescriptionagustools(theipfeadh ar shamplaí níos sine), éilíonn aschuir chúlaithe (regression)min_descriptionagusmax_description, agus is féidir leat breithiúnóir a thástáil go díreach ar chomhrá ag baint úsáide asjudge_conversation. Níl athróga teimpléid ná “Feachtais” ó leaganacha níos luaithe le feiceáil a thuilleadh sna doiciméid. Foincí: Evaluators · client-python.
Meastóireacht Cáilíochta a Uathoibriú
Níl sé indéanta mílte comhrá a athbhreithniú de láimh ar scála táirgeachta. Réitíonn Breithiúna an fhadhb seo: is meastóirí iad atá bunaithe ar LLManna a chumraíonn tú uair amháin—ag sainiú treoracha, an tsamhail, agus formáid an aschuir—agus a chuireann tú i bhfeidhm ansin ar chomhráite nó ar thaifid tacair sonraí. Cruthaíonn gach breithiúnas anailís agus breith: lipéad nó scór.
Dhá Chineál Breithiúna
Aicmiú
Sanntann breithiúnóir aicmithe lipéid scoite le gach freagra. Seo roinnt samplaí:
- Déthoiseach:
helpful/not_helpful - Il-aicme:
excellent/acceptable/poor - Catagóiriú:
code_question/general_knowledge/troubleshooting - Sábháilteacht:
safe/needs_review/unsafe
Cúlú (Regression)
Sanntann breithiúnóir cúlaithe scór uimhriúil laistigh de raon, áit a sainíonn tú na teorainneacha:
- Rátáil cabhrachta ó 1 go 5
- Scór ábharthachta ó 0 go 100
- Leibhéal muiníne ó 0.0 go 1.0
Treoracha Éifeachtacha a Scríobh
Is ó threoracha an bhreithiúnóra a eascraíonn cáilíocht iomlán na meastóireachta, agus is é doiléire an phríomhchúis le teip. Níl ciall ar bith ag samhail leis an ráiteas “Déan meastóireacht ar cháilíocht na freagra”—léirmhíníonn gach rith “cáilíocht” go difriúil. Ainmníonn leagan oibre critéir inbhraite: “Déan meastóireacht ar an bhfreagraíonn an freagra go díreach ar an gceist a cuireadh, ag baint úsáide as faisnéis atá fíriciúil ceart.” Baineann an prionsabal céanna leis an gcomhthéacs: níl a fhios ag do bhreithiúnóir go bhfuil sé ag meastóireacht a dhéanamh ar chatbot tacaíochta áit a chiallaíonn “maith” go “réitíonn sé fadhb an chustaiméara gan iad a chur chuig na doiciméid.” Mura ndéanann tú é seo a rá go sainráite, cuirfidh sé sainmhíniú ginearálta ar cháilíocht i bhfeidhm nach leatsa é.
Tuilleann cásanna imeallaigh aird ar leith, mar is ansin a scarann meastóireachtaí. Má shonraíonn tú go “ciallaíonn scór 3 go bhfuil an freagra páirteach ceart ach go bhfuil eilimint lárnach in easnamh”, cobhsaíonn tú lár do scála—gan an taca seo, d’fhéadfadh an comhrá céanna scór 2, 3, nó 4 a fháil ag brath ar an rith. Is simplí an tástáil dheiridh: dá bhféadfadh beirt mheastóirí daonna ag léamh do threoracha teacht ar chomhaontú maidir le cás ar leith, tá do chritéar ró-doiléir, agus oidhreoidh an breithiúnóir an doiléire sin ar scála mór.
Breithiúnóir Aicmithe a Chruthú tríd an SDK
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Breithiúnóir aicmithe trí leibhéal
classifier = client.beta.observability.judges.create(
name="Support Response Quality",
description="Classifies each support chatbot response into three quality levels.",
model_name="mistral-medium-latest",
instructions="""
Evaluate the assistant's last response in the provided conversation.
Context: This is a technical support chatbot.
Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?
Classify the response according to the proposed categories.
""",
output={
"type": "CLASSIFICATION",
"options": [
{"value": "excellent", "description": "Correct, complete, and professional response"},
{"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
{"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
],
},
tools=[], # No tools for this judge
)
print(f"Judge created: {classifier.id}")
Breithiúnóir Cúlaithe a Chruthú tríd an SDK
# Breithiúnóir cúlaithe: Scór cabhrachta ó 1 go 5
scorer = client.beta.observability.judges.create(
name="Helpfulness Score",
description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
model_name="mistral-small-latest",
instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.
1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
output={
"type": "REGRESSION",
"min": 1,
"max": 5,
"min_description": "Useless response: off-topic, incorrect, or no answer provided",
"max_description": "Very helpful response: correct, detailed, with clear steps",
},
tools=[],
)
print(f"Judge created: {scorer.id}")
Bailíochtú Sula ndéanann tú Scálú
Cruthaíonn breithiúnóir neamhbhailíochtaithe anótálacha bréagacha ar scála mór. Sula mbraitheann tú ar cheann, déan é a thástáil ar chomhráite ina bhfuil an freagra ceart ar eolas agat: cuireann judge_conversation i bhfeidhm é ar liosta teachtaireachtaí agus filleann sé a anailís agus a bhreith.
result = client.beta.observability.judges.judge_conversation(
judge_id=classifier.id,
messages=[
{"role": "user", "content": "My printer shows error E04, what should I do?"},
{"role": "assistant", "content": "Check the documentation."},
],
)
print(result.analysis) # The judge's reasoning
print(result.answer) # The label or score
Ansin, lean ar aghaidh go modhúil:
- Déan tástáil ar 10 go 20 cás ina bhfuil an bhreith cheart réamhchinnte agat
- Seiceáil comhaontú: An dtugann an breithiúnóir na torthaí céanna leatsa?
- Tástáil cobhsaíocht: Nuair a athruitear na cásanna céanna, an bhfuil na torthaí comhionann?
- Sainaithin patrúin teipe: Ar chineálacha comhráite cén fáth a ndéanann an breithiúnóir botúin?
Má tá an comhaontú ró-íseal, déan na treoracha a bheachtú roimh aon úsáid ar scála mór. Nuair a bheidh sé bailíochtaithe, is féidir breithiúnóir a chur i bhfeidhm ar thaifid tacair sonraí (client.beta.observability.datasets.records.judge), agus feictear an loighic chéanna bhreithiúnaithe LLM sna meastóirí do mheastóireachtaí as líne (Ceacht 14).
Príomhphointí
- Aicmíonn (lipéadaíonn) nó scóráil (rátálann) breithiúnóir LLM comhráite, tacaithe ag anailís
- Éilíonn
judges.createname,description,model_name,instructions,output, agustools - Sainíonn aschur cúlaithe a theorainneacha (
min_description,max_description) - Caithfidh treoracha a bheith sonrach, comhthéacsaithe, agus tacaítear leo le samplaí scóir
- Bailíochtaigh breithiúnóir le
judge_conversationar chásanna ar eolas sula mbraitheann tú air