Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Breithiúna: Meastóireacht Uathoibrithe ar LLManna

Ceacht 13 as 16 Nuashonraithe 2 Samhain 2026 Ardleibhéal
Ar an leathanach seo
  1. Meastóireacht Cáilíochta a Uathoibriú
  2. Dhá Chineál Breithiúna
  3. Treoracha Éifeachtacha a Scríobh
  4. Breithiúnóir Aicmithe a Chruthú tríd an SDK
  5. Breithiúnóir Cúlaithe a Chruthú tríd an SDK
  6. Bailíochtú Sula ndéanann tú Scálú
  7. Príomhphointí

An ceacht nuashonraithe an 2 Samhain, 2026 bunaithe ar SDK mistralai 3.7.0 agus ar an leathanach Evaluators ó Mistral: éilíonn judges.create anois description agus tools (theipfeadh ar shamplaí níos sine), éilíonn aschuir chúlaithe (regression) min_description agus max_description, agus is féidir leat breithiúnóir a thástáil go díreach ar chomhrá ag baint úsáide as judge_conversation. Níl athróga teimpléid ná “Feachtais” ó leaganacha níos luaithe le feiceáil a thuilleadh sna doiciméid. Foincí: Evaluators · client-python.

Meastóireacht Cáilíochta a Uathoibriú

Níl sé indéanta mílte comhrá a athbhreithniú de láimh ar scála táirgeachta. Réitíonn Breithiúna an fhadhb seo: is meastóirí iad atá bunaithe ar LLManna a chumraíonn tú uair amháin—ag sainiú treoracha, an tsamhail, agus formáid an aschuir—agus a chuireann tú i bhfeidhm ansin ar chomhráite nó ar thaifid tacair sonraí. Cruthaíonn gach breithiúnas anailís agus breith: lipéad nó scór.

Dhá Chineál Breithiúna

Aicmiú

Sanntann breithiúnóir aicmithe lipéid scoite le gach freagra. Seo roinnt samplaí:

  • Déthoiseach: helpful / not_helpful
  • Il-aicme: excellent / acceptable / poor
  • Catagóiriú: code_question / general_knowledge / troubleshooting
  • Sábháilteacht: safe / needs_review / unsafe

Cúlú (Regression)

Sanntann breithiúnóir cúlaithe scór uimhriúil laistigh de raon, áit a sainíonn tú na teorainneacha:

  • Rátáil cabhrachta ó 1 go 5
  • Scór ábharthachta ó 0 go 100
  • Leibhéal muiníne ó 0.0 go 1.0

Treoracha Éifeachtacha a Scríobh

Is ó threoracha an bhreithiúnóra a eascraíonn cáilíocht iomlán na meastóireachta, agus is é doiléire an phríomhchúis le teip. Níl ciall ar bith ag samhail leis an ráiteas “Déan meastóireacht ar cháilíocht na freagra”—léirmhíníonn gach rith “cáilíocht” go difriúil. Ainmníonn leagan oibre critéir inbhraite: “Déan meastóireacht ar an bhfreagraíonn an freagra go díreach ar an gceist a cuireadh, ag baint úsáide as faisnéis atá fíriciúil ceart.” Baineann an prionsabal céanna leis an gcomhthéacs: níl a fhios ag do bhreithiúnóir go bhfuil sé ag meastóireacht a dhéanamh ar chatbot tacaíochta áit a chiallaíonn “maith” go “réitíonn sé fadhb an chustaiméara gan iad a chur chuig na doiciméid.” Mura ndéanann tú é seo a rá go sainráite, cuirfidh sé sainmhíniú ginearálta ar cháilíocht i bhfeidhm nach leatsa é.

Tuilleann cásanna imeallaigh aird ar leith, mar is ansin a scarann meastóireachtaí. Má shonraíonn tú go “ciallaíonn scór 3 go bhfuil an freagra páirteach ceart ach go bhfuil eilimint lárnach in easnamh”, cobhsaíonn tú lár do scála—gan an taca seo, d’fhéadfadh an comhrá céanna scór 2, 3, nó 4 a fháil ag brath ar an rith. Is simplí an tástáil dheiridh: dá bhféadfadh beirt mheastóirí daonna ag léamh do threoracha teacht ar chomhaontú maidir le cás ar leith, tá do chritéar ró-doiléir, agus oidhreoidh an breithiúnóir an doiléire sin ar scála mór.

Breithiúnóir Aicmithe a Chruthú tríd an SDK

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Breithiúnóir aicmithe trí leibhéal
classifier = client.beta.observability.judges.create(
    name="Support Response Quality",
    description="Classifies each support chatbot response into three quality levels.",
    model_name="mistral-medium-latest",
    instructions="""
Evaluate the assistant's last response in the provided conversation.

Context: This is a technical support chatbot.

Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?

Classify the response according to the proposed categories.
""",
    output={
        "type": "CLASSIFICATION",
        "options": [
            {"value": "excellent", "description": "Correct, complete, and professional response"},
            {"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
            {"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
        ],
    },
    tools=[],  # No tools for this judge
)

print(f"Judge created: {classifier.id}")

Breithiúnóir Cúlaithe a Chruthú tríd an SDK

# Breithiúnóir cúlaithe: Scór cabhrachta ó 1 go 5
scorer = client.beta.observability.judges.create(
    name="Helpfulness Score",
    description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
    model_name="mistral-small-latest",
    instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.

1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
    output={
        "type": "REGRESSION",
        "min": 1,
        "max": 5,
        "min_description": "Useless response: off-topic, incorrect, or no answer provided",
        "max_description": "Very helpful response: correct, detailed, with clear steps",
    },
    tools=[],
)

print(f"Judge created: {scorer.id}")

Bailíochtú Sula ndéanann tú Scálú

Cruthaíonn breithiúnóir neamhbhailíochtaithe anótálacha bréagacha ar scála mór. Sula mbraitheann tú ar cheann, déan é a thástáil ar chomhráite ina bhfuil an freagra ceart ar eolas agat: cuireann judge_conversation i bhfeidhm é ar liosta teachtaireachtaí agus filleann sé a anailís agus a bhreith.

result = client.beta.observability.judges.judge_conversation(
    judge_id=classifier.id,
    messages=[
        {"role": "user", "content": "My printer shows error E04, what should I do?"},
        {"role": "assistant", "content": "Check the documentation."},
    ],
)

print(result.analysis)  # The judge's reasoning
print(result.answer)    # The label or score

Ansin, lean ar aghaidh go modhúil:

  1. Déan tástáil ar 10 go 20 cás ina bhfuil an bhreith cheart réamhchinnte agat
  2. Seiceáil comhaontú: An dtugann an breithiúnóir na torthaí céanna leatsa?
  3. Tástáil cobhsaíocht: Nuair a athruitear na cásanna céanna, an bhfuil na torthaí comhionann?
  4. Sainaithin patrúin teipe: Ar chineálacha comhráite cén fáth a ndéanann an breithiúnóir botúin?

Má tá an comhaontú ró-íseal, déan na treoracha a bheachtú roimh aon úsáid ar scála mór. Nuair a bheidh sé bailíochtaithe, is féidir breithiúnóir a chur i bhfeidhm ar thaifid tacair sonraí (client.beta.observability.datasets.records.judge), agus feictear an loighic chéanna bhreithiúnaithe LLM sna meastóirí do mheastóireachtaí as líne (Ceacht 14).

Príomhphointí

  • Aicmíonn (lipéadaíonn) nó scóráil (rátálann) breithiúnóir LLM comhráite, tacaithe ag anailís
  • Éilíonn judges.create name, description, model_name, instructions, output, agus tools
  • Sainíonn aschur cúlaithe a theorainneacha (min_description, max_description)
  • Caithfidh treoracha a bheith sonrach, comhthéacsaithe, agus tacaítear leo le samplaí scóir
  • Bailíochtaigh breithiúnóir le judge_conversation ar chásanna ar eolas sula mbraitheann tú air