Measúnú a Dhéanamh ar Do Mhúnla Fine-Tuned
Ar an leathanach seo
Nuashonrú 2 Samhain, 2026 — Fáil ar fheabhsú múnlaí. Tá an tseirbhís féinseirbhíse fine-tuning ó OpenAI á céimniú amach: ón 7 Bealtaine, 2026, ní féidir le heagraíochtaí nár úsáid riamh í poist nua a chruthú; ón 2 Iúil, caithfidh tú múnla fine-tuned a bheith úsáidte agat laistigh de na 60 lá roimhe sin; agus ón 6 Eanáir, 2027, ní bheidh aon chustaiméir in ann poist nua a sheoladh. Fanfaidh múnlaí atá traenáilte cheana inúsáidte go dtí go gcuirfear deireadh lena mbunmhúnla. Fanann an cúrsa seo úsáideach chun múnla atá ann cheana a thuiscint agus a shaothrú; do thionscadail nua, tabhair tosaíocht d’innealtóireacht leideanna, RAG, agus measúnuithe.
Cén fáth a bhfuil Measúnú Riachtanach
Ní tomhas ar chaillteanas amháin é rath fine-tune. Is é an cheist fhíor ná: an bhfuil do mhúnla fine-tuned i ndáiríre níos fearr ná an bunmhúnla do do chás úsáide? Ní chruthaíonn cuar ag titim go glan ach go bhfuair an múnla foghlaim conas do shamplaí a atáirgeadh; ní insíonn sé faic faoina iompar ar iarratais nach bhfaca sé riamh. Taispeánfaidh an ceacht seo duit conas prótacal measúnaithe dian a thógáil, ag comhcheangal méadrachtaí uathoibrithe, breithiúnas LLM, agus athbhreithniú daonna.
Tacar Tástála a Thógáil
Caithfidh do thacar tástála a bheith ar leithligh ó do chuid sonraí oiliúna agus bailíochtaithe araon. Tá tábhacht leis an idirdhealú: déanann an tacar bailíochtaithe monatóireacht ar an oiliúint agus mar sin bíonn tionchar aige ar do chinntí hipirpharaiméadair, rud a thruaillíonn é de réir a chéile. Osclaítear an tacar tástála, ar an láimh eile, ach nuair a bheidh an múnla reoite. Léiríonn sé na cásanna sa saol mór a mbuailfidh do mhúnla leo sa táirgeadh, leis na comhréireanna céanna de chásanna simplí agus deacra. Is pointe tosaigh réasúnta é roinnt 80/10/10 ar chorpas a corraíodh cheana.
import json
import random
def prepare_datasets(file: str, ratios: tuple = (0.8, 0.1, 0.1)):
"""Splits data into train/validation/test."""
with open(file, "r") as f:
examples = [json.loads(l) for l in f]
random.shuffle(examples)
n = len(examples)
i1 = int(n * ratios[0])
i2 = int(n * (ratios[0] + ratios[1]))
datasets = {
"train": examples[:i1],
"validation": examples[i1:i2],
"test": examples[i2:]
}
for name, data in datasets.items():
with open(f"{name}.jsonl", "w") as f:
for ex in data:
f.write(json.dumps(ex, ensure_ascii=False) + "\n")
print(f"{name}: {len(data)} examples")
return datasets
prepare_datasets("all_data.jsonl")
Measúnú Uathoibrithe
Measúnú Bunaithe ar Mhéadrachtaí
Is simplí an prionsabal: do gach sampla tástála, bain an teachtaireacht cúnta—is é sin an freagra a bhfuiltear ag súil leis, nach féidir leis an múnla a fheiceáil—cuir an chuid eile isteach, agus coinnigh an t-ionchur, an freagra tagartha, agus an freagra ginte taobh le taobh a chéile. Is é an struchtúr trí cholún seo bunús gach rud a leanas; is ábhar próiseála síos an srutha amháin é é a úsáid chun méadrachtaí a ríomh nó chun breithiúnas cáilíochtúil a dhéanamh.
from openai import OpenAI
client = OpenAI()
def evaluate_model(model: str, test_examples: list[dict]) -> dict:
"""Evaluates a model on a test set."""
results = []
for ex in test_examples:
# Extract the question (without the expected answer)
input_messages = [
m for m in ex["messages"] if m["role"] != "assistant"
]
expected_answer = next(
m["content"] for m in ex["messages"] if m["role"] == "assistant"
)
# Get the model's response
response = client.responses.create(
model=model,
input=input_messages
)
model_answer = response.output_text
results.append({
"input": input_messages[-1]["content"],
"expected": expected_answer,
"obtained": model_answer
})
return results
Measúnú LLM-mar-Bhreitheamh
Is teicníc chumhachtach í múnla ardfeidhmíochta a úsáid chun cáilíocht freagartha a mheas. Éiríonn comparáid focal ar fhocal leis an tagairt dodhéanta chomh luath agus a bhíonn iliomad bealaí le rud a rá inghlactha; tuigeann breitheamh, áfach, an t-ábhar. Braitheann cáilíocht a bhreith go hiomlán ar chruinneas na leide: ceithre chritéar rátáilte ó 1 go 5, aschur JSON éignitheach, agus trácht saor in aisce a úsáidfidh tú níos déanaí chun teipeanna a thuiscint. Pleanáil do chásanna nach féidir an t-aschur a pharsáil seachas ligean d’eisceacht cur isteach ar an fheachtas.
def evaluate_with_judge(results: list[dict]) -> list[dict]:
"""Uses gpt-5.6-sol as a judge to evaluate responses."""
evaluations = []
for r in results:
judge_prompt = f"""Evaluate the quality of the obtained response compared to the expected response.
Question: {r['input']}
Expected response: {r['expected']}
Obtained response: {r['obtained']}
Criteria (rate each from 1 to 5):
1. Accuracy: Is the information correct?
2. Completeness: Are all important points covered?
3. Style: Is the tone and format appropriate?
4. Conciseness: Is the response an appropriate length?
Respond in JSON: {{"accuracy": N, "completeness": N, "style": N, "conciseness": N, "comment": "..."}}"""
response = client.responses.create(
model="gpt-5.6-sol",
input=judge_prompt
)
try:
evaluation = json.loads(response.output_text)
evaluations.append(evaluation)
except json.JSONDecodeError:
evaluations.append({"error": "Response not parseable"})
return evaluations
Méadrachtaí Speisialaithe
Oibríonn an dá chur chuige roimhe seo go maith do fhreagraí scríofa. Chomh luath agus a bhíonn struchtúr seasta ag aschur do mhúnla, bíonn bearta níos dírithe indéanta agus sábhálann siad an turas timpeall trí bhreitheamh ort.
Le haghaidh Aicmiúcháin
Nuair a bhaineann an t-aschur a bhfuiltear ag súil leis le tacar dúnta—catagóir ticéid, mothúchán, cód táirge—éiríonn an mheaitseáil chruinn ábhartha arís. Normalaigh an chás agus na spásanna sula ndéanann tú comparáid; murach sin, measfar “Urgent” i gcoinne “urgent” mar earráid agus cuirfidh sé do ráta as a riocht.
def classification_metrics(results: list[dict]) -> dict:
"""Calculates precision, recall, and F1 for a classification task."""
correct = sum(
1 for r in results
if r["expected"].strip().lower() == r["obtained"].strip().lower()
)
total = len(results)
precision = correct / total if total > 0 else 0
print(f"Precision: {precision:.2%} ({correct}/{total})")
return {"precision": precision, "correct": correct, "total": total}
Le haghaidh Glao Feidhme
Déantar measúnú ar ghlao feidhme ar dhá ais ar cheart iad a thomhas ar leithligh. Teipeann múnla a roghnaíonn an fheidhm cheart ach a fháilleaíonn leis an bparaiméadar ar bhealach difriúil ó cheann a ghlaonn an uirlis mícheart go hiomlán: is féidir an chéad fhadhb a shocrú le samplaí eastósctha, an dara ceann le samplaí idirdhealaithe. Chuirfeadh scór domhanda amháin an t-idirdhealú seo i bhfolach agus d’fhágfadh sé ag obair thú gan treoir.
def function_calling_metrics(results: list[dict]) -> dict:
"""Evaluates the quality of function calls."""
stats = {"correct_function": 0, "correct_params": 0, "total": 0}
for r in results:
stats["total"] += 1
if r.get("expected_function") == r.get("obtained_function"):
stats["correct_function"] += 1
if r.get("expected_params") == r.get("obtained_params"):
stats["correct_params"] += 1
print(f"Correct function: {stats['correct_function']}/{stats['total']}")
print(f"Correct parameters: {stats['correct_params']}/{stats['total']}")
return stats
Measúnú Daonna
Ní ghlacann measúnú uathoibrithe gach rud san áireamh. Ton beagán condescendach, frása nach suíonn go maith le do chustaiméirí, freagra atá ceart go teicniúil ach nach féidir a úsáid: ní fheictear na lochtanna seo ach le súil dhaonna. Tá an prótacal díreach. Samplaigh fiche go caoga freagra go randamach, riamh na cásanna a d’ainmnigh tú cheana mar fhadhbanna, nó ní bheidh tú ach ag tomhas do chlaonadh roghnúcháin féin. Ansin, sainigh critéir shoiléire, inthomhaiste agus foirmliú iad i rubric scórála caighdeánaithe ionas go mbreithníonn dhá athbhreithnitheoir an rud céanna.
Ar deireadh, iarr ar dhaoine iolracha measúnú a dhéanamh agus ríomh comhaontú idir-rátálaithe. Ní chiallaíonn easaontas láidir kon kon go bhfuil múnla dona: is minice a nochtann sé go bhfuil do rubric fós doiléir agus go gcaithfear é a shoiléiriú sular féidir leat aon chonclúid a bhaint as.
Sampla Rubric Measúnaithe
| Criterion | 1 (Poor) | 3 (Acceptable) | 5 (Excellent) |
|---|---|---|---|
| Relevance | Off-topic | Partially relevant | Perfectly targeted |
| Tone | Inappropriate | Acceptable but plain | Perfectly aligned |
| Format | Not followed | Partially followed | Perfectly followed |
Tuarascáil Measúnaithe
Is é an frithghníomh deireanach a dhealaíonn measúnú ó chinneadh ná: taifead an dá theaghlach torthaí i dtuarascáil amháin, mar aon le moladh sainráite. Caithfidh an tairseach a shocraíonn tú—anseo meán daonna de 4 chun dul go dtí an táirgeadh, 3 chun athrá ar shonraí—a bheith roghnaithe sula seolann tú an feachtas. Má chinntear é ina dhiaidh sin, coigeartóidh sé i gcónaí don toradh a bhí uait.
def evaluation_report(auto_results: dict, human_results: dict):
"""Generates a combined evaluation report."""
print("=" * 60)
print("FINE-TUNED MODEL EVALUATION REPORT")
print("=" * 60)
print(f"\nAutomated metrics:")
for k, v in auto_results.items():
print(f" {k}: {v}")
print(f"\nHuman evaluation:")
for k, v in human_results.items():
print(f" {k}: {v}")
print(f"\nRecommendation:")
average_score = sum(human_results.values()) / len(human_results)
if average_score >= 4:
print(" Model is ready for production")
elif average_score >= 3:
print(" Improvements needed—iterate on data")
else:
print(" Insufficient results—rethink your approach")
Príomhphointí
- Deigh tacar tástála neamhspleách i gcónaí (ná traenáil ná bailíochtú)
- Comhcheangail measúnú uathoibrithe agus daonna
- Is comhréiteach maith idir an dá cheann é measúnú LLM-mar-bhreitheamh
- Sainigh critéir inthomhaiste sula dtosaíonn tú
- Ní ráthaíonn scór caillteanais íseal cáilíocht táirgthe