Evalwa l-Prompts tiegħek: Metodi, Graders, u l-Migrazzjoni lejn Promptfoo
F'din il-paġna
Lezzjoni aġġornata fit-3 ta’ Novembru 2026 ibbażata fuq id-dokumentazzjoni ta’ OpenAI:
temperatureutop_phuma aċċettati biss b’sforz ta’ raġunar ta’none, filwaqt li l-mudelli GPT-5.6 jirraġunaw b’mod awtomatiku (medium). Għalhekk, is-sejħiet li jistabbilixxu dawn il-parametri jridu jispeċifikawreasoning={"effort": "none"}(Responses API) jewreasoning_effort="none"(Chat Completions). Sorsi: L-użu ta’ GPT-6 · GPT-5.6 Terra.
Aġġornament tat-2 ta’ Novembru 2026 — Pjattaforma Evals. OpenAI ħabbret it-tmiem tal-pjattaforma Evals tagħha: l-evalwazzjonijiet eżistenti saru read-only mill-31 ta’ Ottubru 2026, u d-dashboard flimkien mal-API se jingħalqu fit-30 ta’ Novembru 2026, inklużi l-graders. OpenAI ippubblikat gwida ta’ migrazzjoni lejn Promptfoo. Il-prinċipji ta’ evalwazzjoni f’din il-lezzjoni jibqgħu validi; qed jinbidel biss l-għodda.
Għaliex tridevalwa b’mod sistematiku
Ma tistax ittejjeb dak li ma tkejjilx. Meta tbiddel prompt, mudell, jew parametru, kif tkun taf li l-kwalità tjiebet verament? Il-metodu spontanju huwa li tipprova tlieta jew erba’ eżempji, issib it-tweġibiet aħjar, u tiddispjega. Dan ifalli regolarment għax l-eżempji ttestjati huma preċiżament dawk li kkawżaw problemi l-ġimgħa l-oħra: tkejjel titjib fejn fittxejtu, u titlef regressjonijiet introdotti f’każijiet li diġà kienu jaħdmu.
L-evalwazzjonijiet (evals) ibiddlu din l-intuwizzjoni f’kejl oġġettiv. Sal-2026, OpenAI offriet pjattaforma integrata għal dan, Evals; saret read-only mill-31 ta’ Ottubru 2026 u se tingħalaq fit-30 ta’ Novembru. OpenAI issa tirrakkomanda Promptfoo, għodda open-source għall-evalwazzjoni u r-red teaming. L-aħbar tajba hija li t-tnejn jaqsmu l-istess blokok tal-bini—dejta tat-test, prompts, mudelli, u kriterji ta’ punteġġ. Dak li titgħallem hawnhekk f’kodiċi Python jittrasla direttament, u l-parti finali tal-lezzjoni turi l-moviment lejn Promptfoo.
Tliet kunċetti jistrutturaw il-proċess kollu. Id-dataset huwa sett ta’ każijiet tat-test b’inputs u outputs mistennija: din hija r-referenza tiegħek, l-ekwivalenti ta’ suite ta’ unit test. Il-grader huwa kriterju ta’ evalwazzjoni—korrispondenza eżatta, LLM-as-judge, punteġġ—li jiddeċiedi jekk tweġiba mogħtija hijiex tajba. Ir-run huwa eżekuzzjoni ta’ evalwazzjoni fuq dataset b’mudell u prompt speċifiċi; din hija l-unità li tqabbel minn verżjoni għall-oħra.
Ibni dataset li jixbah id-dinja reali tiegħek
Każ tat-test jikkonsisti f’input, output mistenni, u metadata. Din tal-aħħar mhix dekorattiva: hija dak li jħallik tirrealizza, wara l-fatt, li punteġġ ġenerali ta’ 87% jaħbi kollass fil-kategorija “kodiċi” ikkumpensat minn riżultati eċċellenti fil-ġeografija. Mingħajr kategorija jew diffikultà, ikollok biss numru aggregat, u numru aggregat qatt ma jgħidlek fejn għandek tintervjeni.
import json
# Dataset huwa lista ta' każijiet tat-test
dataset = [
{
"input": "What is the capital of France?",
"expected": "Paris",
"metadata": {"category": "geography", "difficulty": "easy"},
},
{
"input": "Explain Bayes' theorem in one sentence.",
"expected": "Bayes' theorem calculates the probability "
"of an event based on known conditional probabilities.",
"metadata": {"category": "mathematics", "difficulty": "medium"},
},
{
"input": "Write a Python function that reverses a list.",
"expected": "def reverse_list(lst): return lst[::-1]",
"metadata": {"category": "code", "difficulty": "easy"},
},
]
# Iffranka bħala JSONL
with open("eval_dataset.jsonl", "w") as f:
for case in dataset:
f.write(json.dumps(case, ensure_ascii=False) + "\n")
Dataset inventat fl-uffiċċju jevalwa l-immaġinazzjoni tiegħek, mhux l-applikazzjoni tiegħek. L-utenti tiegħek ifformulaw it-talbiet tagħhom b’mod differenti minnek: żbalji fit-tajping, mistoqsijiet nofshom mitluba, kuntest impliċitu. Għalhekk, l-aħjar sors ta’ każijiet tat-test huwa d-dejta tal-produzzjoni tiegħek stess, sakemm ikollok bniedem jivvalida t-tweġibiet ta’ referenza—inkella tiffriża l-iżbalji attwali bħala n-norma.
import openai
import random
client = openai.OpenAI()
def create_dataset_from_logs(
production_logs: list[dict],
sample_size: int = 100,
) -> list[dict]:
"""Joħloq dataset ta' evalwazzjoni minn logs tal-produzzjoni."""
# Kampjun
sample = random.sample(
production_logs,
min(sample_size, len(production_logs)),
)
dataset = []
for log in sample:
dataset.append({
"input": log["prompt"],
"expected": log["validated_response"], # Tweġiba vvalidata minn bniedem
"metadata": {
"source": "production",
"date": log["date"],
"original_model": log["model"],
},
})
return dataset
Agħżel il-grader it-tajjeb
Il-grader ta’ korrispondenza eżatta (exact match) huwa l-aktar strett u mgħaġġel. Huwa xieraq biss għal kompiti fejn l-output huwa ristrett: klassifikazzjoni fi tliet kategoriji, estrazzjoni ta’ numru ta’ fattura, tweġiba ta’ iva jew le. Jekk użat fuq test liberu, jagħti żero lil tweġiba perfetta sempliċiment għax hija fformulata b’mod differenti mir-referenza.
def exact_grader(response: str, expected: str) -> dict:
"""Jevalwa jekk it-tweġiba taqbilx eżattament."""
score = 1.0 if response.strip().lower() == expected.strip().lower() else 0.0
return {"score": score, "type": "exact"}
Il-grader ta’ inklużjoni (inclusion grader) jirrilassa r-restrizzjoni: jiċċekkja l-preżenza ta’ keywords mistennija u jirritorna punteġġ parzjali. Dan huwa l-għodda t-tajba għal tweġibiet li jridu jkopru punti mandatorji mingħajr ma l-kliem ikollu importanza—pereżempju, tweġiba ta’ appoġġ li trid isemmi l-perjodu ta’ irtirar u l-indirizz tar-ritorn. Id-dgħufija tiegħu hija magħrufa sew: test li fih il-kliem it-tajjeb f’ordni assurda jikseb punteġġ perfett.
def inclusion_grader(response: str, keywords: list[str]) -> dict:
"""Jiċċekkja li t-tweġiba fiha l-kelmaċċavji mistennija."""
response_lower = response.lower()
found = sum(1 for word in keywords if word.lower() in response_lower)
score = found / len(keywords) if keywords else 0.0
return {
"score": score,
"found": found,
"total": len(keywords),
"type": "inclusion",
}
Imbagħad hemm l-aktar wieħed b’saħħtu: LLM ieħor jevalwa l-kwalità tat-tweġiba. Il-grader LLM-as-Judge japprezza dak li l-ebda regola mekkanika ma tista’—iċ-ċarezza, il-kompletezza, l-preċiżjoni tat-ton. Żewġ dettalji ta’ implimentazzjoni jagħmluh prattiku. L-ewwel, temperature=0.0: mingħajr dan, l-istess imħallef jagħti punteġġijiet differenti lill-istess tweġiba minn run għal ieħor, u l-benchmark tiegħek jitlif il-valur komparattiv kollu tiegħu. It-tieni, il-fallback għal json.JSONDecodeError: imħallef li jikkummenta minflok ma jirritorna JSON m’għandux iwaqqa’ l-kampanja kollha.
def llm_judge_grader(
question: str,
response: str,
expected: str,
criteria: str = "accuracy, completeness, clarity",
) -> dict:
"""Juża LLM biex jevalwa l-kwalità tat-tweġiba."""
judge_prompt = f"""Rate the quality of this response on a scale of 1 to 5.
Question: {question}
Expected Response: {expected}
Response to Evaluate: {response}
Criteria: {criteria}
Respond ONLY with JSON:
{{"score": <1-5>, "justification": "<short explanation>"}}"""
response_obj = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature requires effort none
input=judge_prompt,
temperature=0.0,
)
import json
try:
result = json.loads(response_obj.output_text)
result["normalized_score"] = result["score"] / 5.0
return result
except json.JSONDecodeError:
return {"score": 0, "justification": "Parsing error", "normalized_score": 0}
Assembla l-evalwazzjoni sħiħa
L-orkestrazzjoni ma tippreżenta l-ebda diffikultà kunċettwali: tgħaddi mid-dataset, isejjaħ il-mudell bil-prompt tas-sistema biex tittestja, tapplika l-grader, u taggrega. Il-punt interessanti huwa li l-funzjoni tal-punteġġ tidħol bħala parametru, li jħallik terġa’ tgħaddi l-istess dataset eżatt b’kriterji differenti skont il-kampanja—inklużjoni għal ċekkwajp mgħaġġel waqt l-iżvilupp, imħallef LLM għall-validazzjoni qabel il-produzzjoni.
async def run_eval(
dataset: list[dict],
model: str,
system_prompt: str,
grader_fn,
) -> dict:
"""Imexxi evalwazzjoni sħiħa fuq dataset."""
results = []
for case in dataset:
response = client.responses.create(
model=model,
instructions=system_prompt,
input=case["input"],
)
score = grader_fn(response.output_text, case["expected"])
results.append({
"input": case["input"],
"expected": case["expected"],
"obtained": response.output_text,
**score,
})
# Ikkalkula metriċi aggregati
scores = [r["score"] for r in results if "score" in r]
return {
"model": model,
"num_cases": len(dataset),
"average_score": sum(scores) / len(scores) if scores else 0,
"min_score": min(scores) if scores else 0,
"max_score": max(scores) if scores else 0,
"results": results,
}
Ir-rapport iżomm min_score u d-dettall ta’ kull każ, u dan huwa deliberat. Il-medja tgħidlek jekk qed timxix ‘il quddiem; il-każijiet bl-agħar punteġġ jgħidulek għaliex. Agħmilha drawwa li taqra l-ħames l-agħar tweġibiet minn kull run qabel ma tikkummenta fuq il-medja: hemmhekk, u rarament band’oħra, ssib it-tiswija li jmiss biex tagħmel.
Industrializza ma’ Promptfoo
Il-kitba tal-evals tiegħek bl-idejn f’Python hija edukattiva; iż-żamma tagħhom maż-żmien hija aktar komda b’għodda ddedikata. Il-gwida ta’ migrazzjoni ta’ OpenAI tiddeskrivi l-loġika ta’ Promptfoo: l-evalwazzjoni tgħix f’fajl ta’ konfigurazzjoni, promptfooconfig.yaml, li jiġbor flimkien prompts, mudell(i), każijiet tat-test, u kriterji—imsejħa assertions hawnhekk. Jitħaddem mil-linja tal-kmand, lokalment jew fil-continuous integration tiegħek, u jgħix maġenb il-kodiċi tal-applikazzjoni.
description: Support ticket classification
prompts:
- "Classify this ticket into a single category (billing, technical, account): {{ticket}}"
providers:
- openai:gpt-6.1-sol
tests:
- vars:
ticket: "My card was charged twice this month."
assert:
- type: icontains
value: billing
- vars:
ticket: "The app crashes when I open a PDF."
assert:
- type: icontains
value: technical
promptfoo eval -c promptfooconfig.yaml --no-cache
promptfoo view
promptfoo validate config -c promptfooconfig.yaml # in case of configuration error
Il-graders f’din il-lezzjoni jerġgħu jidhru bħala assertions: korrispondenza eżatta, inklużjoni ta’ keywords, u ġudizzju tal-mudell. OpenAI twissi dwar l-aħħar punt: grader rikreat, speċjalment imħallef LLM, irid jiġi vvalidat mill-ġdid qabel ma jintuża biex jiddeċiedi dwar regressjoni, għax il-punteġġijiet mhux neċessarjament ikunu identiċi minn għodda għall-oħra.
Punti Ewlenin
- L-Evals ibiddlu l-intuwizzjoni f’kejl oġġettiv tal-kwalità
- Oħloq id-datasets tiegħek minn każijiet reali tal-produzzjoni, vvalidati minn bniedem
- Agħżel il-grader ibbażat fuq il-kompitu: eżatt għal dawk ristretti, inklużjoni għal punti mandatorji, LLM-as-Judge għan-nuwans
- Stabbilixxi
temperature=0.0fuq l-imħallef biex il-punteġġijiet ikunu riproduċibbli - Mexxi evals qabel kull bidla fil-prompt jew fil-mudell
- Il-pjattaforma Evals ta’ OpenAI tingħalaq fit-30 ta’ Novembru 2026: Promptfoo, irrakkomandat minn OpenAI, jieħu f’idejh id-datasets, il-prompts, il-mudelli u l-kriterji f’fajl ta’ konfigurazzjoni