Meas do chuid Leideanna: Modhanna, Grádálaithe, agus Imirce go Promptfoo
Ar an leathanach seo
An chuid seo nuashonraithe an 3 Samhain, 2026 bunaithe ar dhoiciméadú OpenAI: níl
temperatureagustop_pinghlactha ach le hiarracht réasúnaíochta denone, cé go ndéanann samhlacha GPT-5.6 réasúnú go réamhshocraithe (medium). Caithfidh glaonna a shocraíonn na paraiméadair seoreasoning={"effort": "none"}(API Freagraí) nóreasoning_effort="none"(Críochnú Comhrá) a shonrú dá bhrí sin. Foinse: GPT-6 a úsáid · GPT-5.6 Terra.
Nuashonrú an 2 Samhain, 2026 — Ardán Evals. D’fhógair OpenAI deireadh lena n-ardán Evals: tá meastóireachtaí atá ann cheana inléite amháin ón 31 Deireadh Fómhair, 2026, agus dúnfar an deasc rialaithe chomh maith leis an API an 30 Samhain, 2026, grádálaithe san áireamh. D’fhoilsigh OpenAI treoir imirce go Promptfoo. Fanann prionsabail na meastóireachta sa chuid seo bailí; níl ach an uirlis ag athrú.
Cén fáth ar chóir duit meastóireacht a dhéanamh go córasach
Ní féidir leat feabhas a chur ar rud nach dtomhaiseann tú. Nuair a athraíonn tú leid, samhalt, nó paraiméadar, conas a bheidh a fhios agat go bhfuil feabhsú tagtha ar an gcáilíocht i ndáiríre? Is é an modh spontáineach ná trí nó ceithre shampla a thriail, na freagraí is fearr a aimsiú, agus ansin imlonnú a dhéanamh. Teipeann air seo go minic toisc gurb iad na samplaí a tástáladh díreach iad siúd a d’fhág fadhbanna an tseachtain seo caite: déanann tú tomhas ar fheabhsú san áit ar lorg tú é, agus cailleann tú cúluithe a tugadh isteach i gcásanna a bhí ag obair cheana féin.
Déanann meastóireachtaí (evals) an tuiscint seo a thiontú ina tomhas oibiachtúil. Go dtí 2026, thairg OpenAI ardán comhtháite chuige seo, Evals; tá sé inléite amháin ón 31 Deireadh Fómhair, 2026, agus dúnfar é an 30 Samhain. Molann OpenAI Promptfoo anois, uirlis foinse oscailte le haghaidh meastóireachta agus foirne dearga (red teaming). Is é an dea-scéal ná go roinneann an dá cheann na bloic thógála céanna—sonraí tástála, leideanna, samhlacha, agus critéir scórála. Aistríonn an méid a fhoghlaimíonn tú anseo i gcód Python go díreach, agus taispeánann an chuid dheireanach den chuid seo an t-aistriú go Promptfoo.
Struchtúraíonn trí choincheap an próiseas ar fad. Is é an tacar sonraí (dataset) sraith cásanna tástála le hionchuir agus aschuir ionchais: is é seo do thagairt, an coibhéis le sraith tástála aonaid. Is é an grádálaí critéar meastóireachta—meaitseáil chruinn, LLM-mar-bhreitheamh, scór—a chinneann an bhfuil freagra ar leith maith. Is é an reáchtáil (run) feidhmiú meastóireachta ar thacar sonraí le samhalt agus leid sonrach; is é an t-aonad é a dhéanann tú comparáid idir leagan amháin agus an chéad leagan eile.
Tacar sonraí a thógáil a léiríonn do fhíorshaol
Is éard atá i gcás tástála ná ionchur, aschur ionchais, agus meiteashonraí. Níl na meiteashonraí seo maisiúil: is iad a ligfidh duit a thuiscint, tar éis na himeachta, go bhfuil titim i gcatagóir an “chóid” faoi cheilt ag scór foriomlán de 87%, titim a chúitear le torthaí den scoth sa tíreolaíocht. Gan catagóir nó deacracht, níl agat ach uimhir chomhiomlánaithe, agus ní insíonn uimhir chomhiomlánaithe riamh cá háit ar chóir duit idirghabháil a dhéanamh.
import json
# Is liosta cásanna tástála é tacar sonraí
dataset = [
{
"input": "What is the capital of France?",
"expected": "Paris",
"metadata": {"category": "geography", "difficulty": "easy"},
},
{
"input": "Explain Bayes' theorem in one sentence.",
"expected": "Bayes' theorem calculates the probability "
"of an event based on known conditional probabilities.",
"metadata": {"category": "mathematics", "difficulty": "medium"},
},
{
"input": "Write a Python function that reverses a list.",
"expected": "def reverse_list(lst): return lst[::-1]",
"metadata": {"category": "code", "difficulty": "easy"},
},
]
# Sábháil mar JSONL
with open("eval_dataset.jsonl", "w") as f:
for case in dataset:
f.write(json.dumps(case, ensure_ascii=False) + "\n")
Déanann tacar sonraí a cheapadh san oifig measúnú ar do shamhlaíocht, ní ar d’iarratas. Cuireann do úsáideoirí a n-iarratais in iúl ar bhealach difriúil ná mar a dhéanann tú: botúin chló, ceisteanna leath-iarrtha, comhthéacs intuigthe. Dá bhrí sin, is é do chuid sonraí táirgeachta féin an fhoinse is fearr do chásanna tástála, ar choinníoll go bhfuil duine daonna tar éis na freagraí tagartha a bhailíochtú—mura bhfuil, reoimid na hearráidí reatha mar an gnáthnós.
import openai
import random
client = openai.OpenAI()
def create_dataset_from_logs(
production_logs: list[dict],
sample_size: int = 100,
) -> list[dict]:
"""Cruthaíonn sé tacar sonraí meastóireachta ó logaí táirgeachta."""
# Sampla
sample = random.sample(
production_logs,
min(sample_size, len(production_logs)),
)
dataset = []
for log in sample:
dataset.append({
"input": log["prompt"],
"expected": log["validated_response"], # Freagra bailíochtaithe ag duine daonna
"metadata": {
"source": "production",
"date": log["date"],
"original_model": log["model"],
},
})
return dataset
An grádálaí ceart a roghnú
Is é an grádálaí meaitseála cruinne an ceann is déine agus is tapúla. Níl sé oiriúnach ach do thascanna ina bhfuil an t-aschur srianta: aicmiú trí chatagóir, uimhir fháltas a eastóscadh, freagra sea-nó-níl. Dá n-úsáidfí ar théacs saor é, thabharfadh sé nialas d’fhreagra foirfe a bhí curtha in iúl ar bhealach difriúil ná an tagairt.
def exact_grader(response: str, expected: str) -> dict:
"""Déanann sé measúnú an bhfuil an freagra ag meaitseáil go cruinn."""
score = 1.0 if response.strip().lower() == expected.strip().lower() else 0.0
return {"score": score, "type": "exact"}
Scaoileann an grádálaí cuimsithe an srian: seiceálann sé láithreacht eochairfhocail ionchais agus filleann sé scór páirteach. Seo an uirlis cheart do fhreagraí ar chóir pointí éigeantacha a chlúdach gan a bheith tábhachtach maidir leis an bhfoclaíocht—freagra tacaíochta ar chóir an tréimhse tarraingt siar agus an seoladh fillte a lua, mar shampla. Tá a laige ar eolas go maith: gheobhadh téacs ina bhfuil na focail chearta in ord absurd scór foirfe.
def inclusion_grader(response: str, keywords: list[str]) -> dict:
"""Seiceálann sé go bhfuil na heochairfhocail ionchais sa fhreagra."""
response_lower = response.lower()
found = sum(1 for word in keywords if word.lower() in response_lower)
score = found / len(keywords) if keywords else 0.0
return {
"score": score,
"found": found,
"total": len(keywords),
"type": "inclusion",
}
Ansin tá an ceann is cumhachtaí: déanann LLM eile measúnú ar cháilíocht na freagra. Tuigeann an grádálaí LLM-as-Bhreitheamh (LLM-as-Judge) na rudaí nach féidir le haon riail mheicniúil a thuiscint—soiléireacht, iomláine, cruinneas tóin. Déanann dhá shonra cur chun feidhme praiticiúil é. Ar an gcéad dul síos, temperature=0.0: gan é seo, thabharfadh an breitheamh céanna scóir dhifriúla don fhreagra chéanna ó reáchtáil go reáchtáil, agus chaillfeadh do thagarmharc a luach comparáideach ar fad. Sa dara háit, an sásamh do json.JSONDecodeError: níor chóir do bhreitheamh a dhéanann trácht in ionad JSON a fhilleadh an fheachtas ar fad a thuairteáil.
def llm_judge_grader(
question: str,
response: str,
expected: str,
criteria: str = "accuracy, completeness, clarity",
) -> dict:
"""Úsáideann sé LLM chun measúnú a dhéanamh ar cháilíocht na freagra."""
judge_prompt = f"""Rate the quality of this response on a scale of 1 to 5.
Question: {question}
Expected Response: {expected}
Response to Evaluate: {response}
Criteria: {criteria}
Respond ONLY with JSON:
{{"score": <1-5>, "justification": "<short explanation>"}}"""
response_obj = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # éilíonn temperature effort none
input=judge_prompt,
temperature=0.0,
)
import json
try:
result = json.loads(response_obj.output_text)
result["normalized_score"] = result["score"] / 5.0
return result
except json.JSONDecodeError:
return {"score": 0, "justification": "Earráid pharsála", "normalized_score": 0}
An mheastóireacht iomlán a chur le chéile
Níl aon deacracht choincheapúil ag baint leis an gcomhordú: déanann tú atriall ar an tacar sonraí, glaonn tú ar an samhalt leis an leid córais atá le tástáil, cuirtear an grádálaí i bhfeidhm, agus déantar comhiomlánú. Is é an pointe suimiúil ná go dtagann an fheidhm scórála isteach mar pharaiméadar, rud a ligeann duit an tacar sonraí céanna a athsheinm le critéir éagsúla ag brath ar an bhfeachtas—cuimsiú le haghaidh seiceáil ghairid le linn forbartha, breitheamh LLM le haghaidh bailíochtaithe roimh tháirgeadh.
async def run_eval(
dataset: list[dict],
model: str,
system_prompt: str,
grader_fn,
) -> dict:
"""Reáchtálann sé meastóireacht iomlán ar thacar sonraí."""
results = []
for case in dataset:
response = client.responses.create(
model=model,
instructions=system_prompt,
input=case["input"],
)
score = grader_fn(response.output_text, case["expected"])
results.append({
"input": case["input"],
"expected": case["expected"],
"obtained": response.output_text,
**score,
})
# Ríomh méadrachtaí comhiomlánaithe
scores = [r["score"] for r in results if "score" in r]
return {
"model": model,
"num_cases": len(dataset),
"average_score": sum(scores) / len(scores) if scores else 0,
"min_score": min(scores) if scores else 0,
"max_score": max(scores) if scores else 0,
"results": results,
}
Coinníonn an tuarascáil min_score agus mionsonraí gach cáis, agus tá sé sin d’aon ghnó. Insíonn an meán duit an bhfuil tú ag dul chun cinn; insíonn na cásanna leis an scór is measa duit cén fáth. Déan cleachtas de na cúig fhreagra is measa ó gach reáchtáil a léamh sula ndéanann tú trácht ar an meán: sin áit, agus go hannamh in áit ar bith eile, a aimsíonn tú an chéad shocrú le déanamh.
Tionscalú le Promptfoo
Is oideachasúil do chuid evals a scríobh de láimh i Python; tá sé níos compordaí iad a choinneáil thar am le huirlis tiomnaithe. Déanann treoir imirce OpenAI cur síos ar loighic Promptfoo: maireann an mheastóireacht i gcomhad cumraíochta, promptfooconfig.yaml, a thugann le chéile leideanna, samhalt/samhlacha, cásanna tástála, agus critéir—ar a dtugtar dearbhuithe (assertions) anseo. Ritear ón líne ordaithe é, go háitiúil nó i do chomhtháthú leanúnach, agus maireann sé in aice le cód an iarratais.
description: Support ticket classification
prompts:
- "Classify this ticket into a single category (billing, technical, account): {{ticket}}"
providers:
- openai:gpt-6.1-sol
tests:
- vars:
ticket: "My card was charged twice this month."
assert:
- type: icontains
value: billing
- vars:
ticket: "The app crashes when I open a PDF."
assert:
- type: icontains
value: technical
promptfoo eval -c promptfooconfig.yaml --no-cache
promptfoo view
promptfoo validate config -c promptfooconfig.yaml # i gcás earráide cumraíochta
Feictear na grádálaithe sa chuid seo arís mar dhearbhuithe: meaitseáil chruinn, cuimsiú eochairfhocail, agus breithiúnas samhalt. Rabhaidh OpenAI faoin bpointe deireanach: caithfear grádálaí athchruthaithe, go háirithe breitheamh LLM, a athbhailíochtú sula n-úsáidtear é chun cinneadh a dhéanamh ar chúlú, toisc nach mbeidh na scóir mar an gcéanna go konai ó uirlis amháin go ceann eile.
Príomhphointí
- Déanann Evals tuiscint a thiontú ina tomhas oibiachtúil ar cháilíocht
- Cruthaigh do thacair shonraí ó chásanna táirgeachta fíor, bailíochtaithe ag duine daonna
- Roghnaigh an grádálaí bunaithe ar an tasc: cruinn do thascanna srianta, cuimsiú do phointí éigeantacha, LLM-as-Bhreitheamh do nuansa
- Socraigh
temperature=0.0ar an mbreitheamh chun scóir a dhéanamh in-atáirgthe - Reáchtáil evals roimh gach athrú ar leid nó ar shamhalt
- Dúnfar ardán Evals OpenAI an 30 Samhain, 2026: glacann Promptfoo, a mhol OpenAI, seilbh ar thacair shonraí, leideanna, samhlacha, agus critéir i gcomhad cumraíochta