Measúnú a Dhéanamh ar do Ghníomhairí: Meadráin agus Tagarmharcanna
Ar an leathanach seo
Measúnú a Dhéanamh ar do Ghníomhairí: Meadráin agus Tagarmharcanna
Is féidir le gníomhaire a oibríonn go maith sa timpeallacht forbartha teipthe sa táirgeadh. Is é an measúnú córasach an t-aon bhealach chun cáilíocht a ráthú roimh agus tar éis imlonnú. Sa cheacht seo, foghlaimeoidh tú conas meadráin a shainiú, sraitheanna tástála a chruthú, agus measúnú a uathoibriú.
Cén fáth Measúnú a Dhéanamh?
Gan measúnú foirmiúil, tá tú ag eitilt go dall. Athfhoirmleoidh tú treoir mar gheall ar ghearán ó úsáideoir, ach ní insíonn aon rud duit ar fheabhsaigh an gníomhaire nó ar bhris tú trí chás eile gan fhios duit. Bíonn leisce ort idir Terra agus Luna do do chás úsáide—nó idir dhá leibhéal réasúnaíochta ar an samhalt céanna—agus gan tomhas, braitheann an cinneadh ar bhrath stéige tar éis cúig thriail láimhe. Athraíonn tú scéima uirlise, stopann an gníomhaire ag glaoch air i gcás sonrach, agus ní thugann aon duine faoi deara é go dtí go mbuaileann méid na dticéad buaicphointe. Tiontaíonn sraith mheasúnaithe gach ceann de na cásanna seo ina uimhir inchomparáide ó leagan amháin go dtí an chéad leagan eile.
Príomhmheadráin
Cruinneas
Is é an chéad cheist an ceann is díreach: an dtugann an gníomhaire an freagra ceart? Déanann tú athsheinm ar shraith ceisteanna a bhfuil an freagra ar eolas agat agus fíoraíonn tú a láithreacht san aschur. Tá meaitseáil fo-teaghráin neamhíogair do chás beartaithe garbh—glacann sé le “Costas €1,299 (le CBL) ar an ríomhaire glúine Pro” nuair a theipfeadh ar chomhionannas dian—ach is leor é do fhíricí inbhraite agus ríomhtar in eochair é.
from agents import Agent, Runner
async def evaluate_accuracy(agent, test_cases):
results = []
for case in test_cases:
result = await Runner.run(agent, case["question"])
# Automatic or LLM-based verification
is_correct = case["expected_answer"].lower() in result.final_output.lower()
results.append({
"question": case["question"],
"answer": result.final_output,
"expected": case["expected_answer"],
"correct": is_correct,
})
rate = sum(1 for r in results if r["correct"]) / len(results)
print(f"Accuracy: {rate:.1%} ({sum(1 for r in results if r['correct'])}/{len(results)})")
return results
# Test suite
test_cases = [
{"question": "What is the price of the Pro laptop?", "expected_answer": "1299"},
{"question": "How many laptops are in stock?", "expected_answer": "45"},
{"question": "What is the cheapest product?", "expected_answer": "tablet"},
]
Úsáid Cheart Uirlisí
Fadhb atá fós ann is ea freagra ceart a fuarthas de thaisme. Gníomhaire a dhéanann athrá ar phraghas cuimhnithe in ionad an catalóg a cheistiú, rachaidh sé tríd an tástáil cruinnis inniu agus tabharfaidh sé ráta as dáta amárach. Dá bhrí sin, breathnaíonn an dara meadrach ar an mbealach, ní ar an toradh: an ndéanann an gníomhaire glaoch ar na huirlisí cearta leis na hargóintí cearta? Léann tú na glaonna i raw_responses, ag scagadh d’aschuir function_call, agus úsáideann an chomparáid tacair chun fanacht neamhthioncharach ag ord.
async def evaluate_tools(agent, test_cases):
results = []
for case in test_cases:
result = await Runner.run(agent, case["question"])
# Extract called tools from raw responses
called_tools = []
for response in result.raw_responses:
for output in getattr(response, "output", []):
if hasattr(output, "type") and output.type == "function_call":
called_tools.append(output.name)
tools_correct = set(case["expected_tools"]) == set(called_tools)
results.append({
"question": case["question"],
"called_tools": called_tools,
"expected_tools": case["expected_tools"],
"correct": tools_correct,
})
rate = sum(1 for r in results if r["correct"]) / len(results)
print(f"Correct tools: {rate:.1%}")
return results
tool_cases = [
{
"question": "What is the price of the laptop?",
"expected_tools": ["search_product"],
},
{
"question": "Price of the laptop with 10% discount",
"expected_tools": ["search_product", "calculate_discount"],
},
]
Is é an dara cás tástála an ceann is oideachasúla: éilíonn an cheist dhá uirlis a shlabhrú, agus is é seo go díreach an cineál comhdhéanaimh is féidir le hathrú sa chur síos a bhriseadh go ciúin.
Moill agus Costas
Ar deireadh, tá an toise oibríochtúil ann. Ní insíonn meán aon rud faoin bhfíor-eispéireas: is é eireaball an dáilte a chuireann úsáideoirí ar a seachrán, nuair a thógann ceanglach amach as gach céad fiche soicind. Trí gach teachtaireacht a athdhéanamh roinnt uaireanta, faigheann tú dáileadh inúsáidte agus léann tú an meán mar an gnáth-iompar, agus an P99 mar do chás is measa coitianta.
import time
async def evaluate_performance(agent, messages, iterations=10):
latencies = []
for message in messages:
for _ in range(iterations):
start = time.perf_counter()
result = await Runner.run(agent, message)
duration = time.perf_counter() - start
latencies.append(duration)
import statistics
print(f"Average latency: {statistics.mean(latencies):.2f}s")
print(f"P50 latency: {statistics.median(latencies):.2f}s")
print(f"P99 latency: {sorted(latencies)[int(len(latencies) * 0.99)]:.2f}s")
Measúnú LLM (LLM-mar-Bhreitheamh)
Fágann na trí mheadracha seo gach rud nach bhfuil aon fhreagra ceart amháin leis ar lár: míniú ar bheartas aisíocaíochta, athfhoirmliú díolacháin, teachtaireacht leithscéil. Do na freagraí oscailte seo, úsáid samhalt chun cáilíocht a mheasúnú. Faigheann an breitheamh an cheist agus an freagra, cuireann sé critéir a scríobh tú i bhfeidhm—cruinneas, ábharthacht, gairmiúlacht—agus tugann sé scór struchtúrtha ar ais buíochas le output_type Pydantic. Is é an srian formáide a dhéanann an próiseas inúsáidte: faigheann tú slánuimhir inchruinnithe, ní trácht le hathléamh.
from pydantic import BaseModel
class Evaluation(BaseModel):
score: int # 1-5
reason: str
is_correct: bool
is_relevant: bool
is_professional: bool
evaluator_agent = Agent(
name="Evaluator",
instructions="""Evaluate the quality of the agent's response.
Criteria:
- Accuracy: Is the response factual and correct?
- Relevance: Does the response answer the question asked?
- Professionalism: Is the tone appropriate?
Score from 1 (very poor) to 5 (excellent).""",
model="gpt-5.6-sol",
output_type=Evaluation,
)
async def evaluate_quality(question, agent_response):
prompt = f"""Question asked: {question}
Agent response: {agent_response}
Evaluate this response."""
result = await Runner.run(evaluator_agent, prompt)
return result.final_output
Tuillimid an réimse reason do d’aird le linn athbhreithnithe: is ann a mhíníonn an breitheamh cén fáth ar thug sé 3 as 5, agus is minic gurb é foirmliú locht é nach raibh tú in ann ainmniú roimhe seo.
Sraitheanna Tástála Struchtúrtha
Níl aon mhaith i measúnú nach féidir a atáirgeadh. Eagraigh do chásanna tástála i bhformáid chobhsaí ina mbíonn ID, catagóir, an cheist, an freagra a bhfuiltear ag súil leis, na huirlisí a bhfuiltear ag súil leo, agus critéir cháilíochtúla i ngach iontráil. Déanann an chatagóir an obair go léir anseo: tá scór foriomlán 4.2 as 5 míthreorach suaimhneach, ach nochtann scór mionsonraithe go dtiteann an chatagóir “stoc” go 2.8 agus go dtarraingíonn “praghas” an meán suas.
import json
# evaluation_dataset.json
DATASET = [
{
"id": "test_001",
"category": "price",
"question": "What is the price of the Pro laptop?",
"expected_answer": "€1,299",
"expected_tools": ["search_product"],
"criteria": ["contains_price", "professional_tone"],
},
{
"id": "test_002",
"category": "stock",
"question": "Is the Tablet Air in stock?",
"expected_answer": "yes",
"expected_tools": ["search_product"],
"criteria": ["clear_answer", "stock_information"],
},
]
async def run_complete_evaluation(agent):
results = []
for case in DATASET:
result = await Runner.run(agent, case["question"])
eval_result = await evaluate_quality(case["question"], result.final_output)
results.append({
**case,
"agent_response": result.final_output,
"score": eval_result.score,
"evaluation": eval_result.reason,
})
# Report
average_score = sum(r["score"] for r in results) / len(results)
print(f"\nAverage score: {average_score:.1f}/5")
for cat in set(r["category"] for r in results):
cat_scores = [r["score"] for r in results if r["category"] == cat]
print(f" {cat}: {sum(cat_scores)/len(cat_scores):.1f}/5")
return results
Rith an measúnú seo i do phíblíne comhtháthaithe leanúnaigh (CI), díreach mar a dhéanfá le do thástálacha aonaid, agus socraigh tairseach faoina mblocaítear an seachadadh. Ón am sin amach, déanann gach athrú—samhalt nua, treoracha coigeartaithe, uirlis bhreise—comparáid leis an gceann roimhe ar na cásanna céanna, agus stopann an plé ag rothlú timpeall tuairimí.
Príomhphointí
- Déan measúnú ar chruinneas, úsáid uirlisí, moill, agus costas
- Déileálann measúnú LLM (LLM-mar-Bhreitheamh) le freagraí oscailte
- Cruthaigh sraitheanna tástála struchtúrtha agus in-atáirgthe
- Uathoibrigh measúnú i do CI/CD chun cúlú a bhrath
- Déan comparáid chórasach ar athruithe (samhalt, treoracha, uirlisí)