Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Measúnú a Dhéanamh ar Do Mhúnla Fine-Tuned

Ceacht 10 as 16 Nuashonraithe 2 Samhain 2026 Ardleibhéal
Ar an leathanach seo
  1. Cén fáth a bhfuil Measúnú Riachtanach
  2. Tacar Tástála a Thógáil
  3. Measúnú Uathoibrithe
  4. Méadrachtaí Speisialaithe
  5. Measúnú Daonna
  6. Tuarascáil Measúnaithe
  7. Príomhphointí

Nuashonrú 2 Samhain, 2026 — Fáil ar fheabhsú múnlaí. Tá an tseirbhís féinseirbhíse fine-tuning ó OpenAI á céimniú amach: ón 7 Bealtaine, 2026, ní féidir le heagraíochtaí nár úsáid riamh í poist nua a chruthú; ón 2 Iúil, caithfidh tú múnla fine-tuned a bheith úsáidte agat laistigh de na 60 lá roimhe sin; agus ón 6 Eanáir, 2027, ní bheidh aon chustaiméir in ann poist nua a sheoladh. Fanfaidh múnlaí atá traenáilte cheana inúsáidte go dtí go gcuirfear deireadh lena mbunmhúnla. Fanann an cúrsa seo úsáideach chun múnla atá ann cheana a thuiscint agus a shaothrú; do thionscadail nua, tabhair tosaíocht d’innealtóireacht leideanna, RAG, agus measúnuithe.

Cén fáth a bhfuil Measúnú Riachtanach

Ní tomhas ar chaillteanas amháin é rath fine-tune. Is é an cheist fhíor ná: an bhfuil do mhúnla fine-tuned i ndáiríre níos fearr ná an bunmhúnla do do chás úsáide? Ní chruthaíonn cuar ag titim go glan ach go bhfuair an múnla foghlaim conas do shamplaí a atáirgeadh; ní insíonn sé faic faoina iompar ar iarratais nach bhfaca sé riamh. Taispeánfaidh an ceacht seo duit conas prótacal measúnaithe dian a thógáil, ag comhcheangal méadrachtaí uathoibrithe, breithiúnas LLM, agus athbhreithniú daonna.

Tacar Tástála a Thógáil

Caithfidh do thacar tástála a bheith ar leithligh ó do chuid sonraí oiliúna agus bailíochtaithe araon. Tá tábhacht leis an idirdhealú: déanann an tacar bailíochtaithe monatóireacht ar an oiliúint agus mar sin bíonn tionchar aige ar do chinntí hipirpharaiméadair, rud a thruaillíonn é de réir a chéile. Osclaítear an tacar tástála, ar an láimh eile, ach nuair a bheidh an múnla reoite. Léiríonn sé na cásanna sa saol mór a mbuailfidh do mhúnla leo sa táirgeadh, leis na comhréireanna céanna de chásanna simplí agus deacra. Is pointe tosaigh réasúnta é roinnt 80/10/10 ar chorpas a corraíodh cheana.

import json
import random

def prepare_datasets(file: str, ratios: tuple = (0.8, 0.1, 0.1)):
    """Splits data into train/validation/test."""
    with open(file, "r") as f:
        examples = [json.loads(l) for l in f]

    random.shuffle(examples)
    n = len(examples)
    i1 = int(n * ratios[0])
    i2 = int(n * (ratios[0] + ratios[1]))

    datasets = {
        "train": examples[:i1],
        "validation": examples[i1:i2],
        "test": examples[i2:]
    }

    for name, data in datasets.items():
        with open(f"{name}.jsonl", "w") as f:
            for ex in data:
                f.write(json.dumps(ex, ensure_ascii=False) + "\n")
        print(f"{name}: {len(data)} examples")

    return datasets

prepare_datasets("all_data.jsonl")

Measúnú Uathoibrithe

Measúnú Bunaithe ar Mhéadrachtaí

Is simplí an prionsabal: do gach sampla tástála, bain an teachtaireacht cúnta—is é sin an freagra a bhfuiltear ag súil leis, nach féidir leis an múnla a fheiceáil—cuir an chuid eile isteach, agus coinnigh an t-ionchur, an freagra tagartha, agus an freagra ginte taobh le taobh a chéile. Is é an struchtúr trí cholún seo bunús gach rud a leanas; is ábhar próiseála síos an srutha amháin é é a úsáid chun méadrachtaí a ríomh nó chun breithiúnas cáilíochtúil a dhéanamh.

from openai import OpenAI

client = OpenAI()

def evaluate_model(model: str, test_examples: list[dict]) -> dict:
    """Evaluates a model on a test set."""
    results = []

    for ex in test_examples:
        # Extract the question (without the expected answer)
        input_messages = [
            m for m in ex["messages"] if m["role"] != "assistant"
        ]
        expected_answer = next(
            m["content"] for m in ex["messages"] if m["role"] == "assistant"
        )

        # Get the model's response
        response = client.responses.create(
            model=model,
            input=input_messages
        )
        model_answer = response.output_text

        results.append({
            "input": input_messages[-1]["content"],
            "expected": expected_answer,
            "obtained": model_answer
        })

    return results

Measúnú LLM-mar-Bhreitheamh

Is teicníc chumhachtach í múnla ardfeidhmíochta a úsáid chun cáilíocht freagartha a mheas. Éiríonn comparáid focal ar fhocal leis an tagairt dodhéanta chomh luath agus a bhíonn iliomad bealaí le rud a rá inghlactha; tuigeann breitheamh, áfach, an t-ábhar. Braitheann cáilíocht a bhreith go hiomlán ar chruinneas na leide: ceithre chritéar rátáilte ó 1 go 5, aschur JSON éignitheach, agus trácht saor in aisce a úsáidfidh tú níos déanaí chun teipeanna a thuiscint. Pleanáil do chásanna nach féidir an t-aschur a pharsáil seachas ligean d’eisceacht cur isteach ar an fheachtas.

def evaluate_with_judge(results: list[dict]) -> list[dict]:
    """Uses gpt-5.6-sol as a judge to evaluate responses."""
    evaluations = []

    for r in results:
        judge_prompt = f"""Evaluate the quality of the obtained response compared to the expected response.

Question: {r['input']}

Expected response: {r['expected']}

Obtained response: {r['obtained']}

Criteria (rate each from 1 to 5):
1. Accuracy: Is the information correct?
2. Completeness: Are all important points covered?
3. Style: Is the tone and format appropriate?
4. Conciseness: Is the response an appropriate length?

Respond in JSON: {{"accuracy": N, "completeness": N, "style": N, "conciseness": N, "comment": "..."}}"""

        response = client.responses.create(
            model="gpt-5.6-sol",
            input=judge_prompt
        )

        try:
            evaluation = json.loads(response.output_text)
            evaluations.append(evaluation)
        except json.JSONDecodeError:
            evaluations.append({"error": "Response not parseable"})

    return evaluations

Méadrachtaí Speisialaithe

Oibríonn an dá chur chuige roimhe seo go maith do fhreagraí scríofa. Chomh luath agus a bhíonn struchtúr seasta ag aschur do mhúnla, bíonn bearta níos dírithe indéanta agus sábhálann siad an turas timpeall trí bhreitheamh ort.

Le haghaidh Aicmiúcháin

Nuair a bhaineann an t-aschur a bhfuiltear ag súil leis le tacar dúnta—catagóir ticéid, mothúchán, cód táirge—éiríonn an mheaitseáil chruinn ábhartha arís. Normalaigh an chás agus na spásanna sula ndéanann tú comparáid; murach sin, measfar “Urgent” i gcoinne “urgent” mar earráid agus cuirfidh sé do ráta as a riocht.

def classification_metrics(results: list[dict]) -> dict:
    """Calculates precision, recall, and F1 for a classification task."""
    correct = sum(
        1 for r in results
        if r["expected"].strip().lower() == r["obtained"].strip().lower()
    )
    total = len(results)
    precision = correct / total if total > 0 else 0

    print(f"Precision: {precision:.2%} ({correct}/{total})")
    return {"precision": precision, "correct": correct, "total": total}

Le haghaidh Glao Feidhme

Déantar measúnú ar ghlao feidhme ar dhá ais ar cheart iad a thomhas ar leithligh. Teipeann múnla a roghnaíonn an fheidhm cheart ach a fháilleaíonn leis an bparaiméadar ar bhealach difriúil ó cheann a ghlaonn an uirlis mícheart go hiomlán: is féidir an chéad fhadhb a shocrú le samplaí eastósctha, an dara ceann le samplaí idirdhealaithe. Chuirfeadh scór domhanda amháin an t-idirdhealú seo i bhfolach agus d’fhágfadh sé ag obair thú gan treoir.

def function_calling_metrics(results: list[dict]) -> dict:
    """Evaluates the quality of function calls."""
    stats = {"correct_function": 0, "correct_params": 0, "total": 0}

    for r in results:
        stats["total"] += 1
        if r.get("expected_function") == r.get("obtained_function"):
            stats["correct_function"] += 1
        if r.get("expected_params") == r.get("obtained_params"):
            stats["correct_params"] += 1

    print(f"Correct function: {stats['correct_function']}/{stats['total']}")
    print(f"Correct parameters: {stats['correct_params']}/{stats['total']}")
    return stats

Measúnú Daonna

Ní ghlacann measúnú uathoibrithe gach rud san áireamh. Ton beagán condescendach, frása nach suíonn go maith le do chustaiméirí, freagra atá ceart go teicniúil ach nach féidir a úsáid: ní fheictear na lochtanna seo ach le súil dhaonna. Tá an prótacal díreach. Samplaigh fiche go caoga freagra go randamach, riamh na cásanna a d’ainmnigh tú cheana mar fhadhbanna, nó ní bheidh tú ach ag tomhas do chlaonadh roghnúcháin féin. Ansin, sainigh critéir shoiléire, inthomhaiste agus foirmliú iad i rubric scórála caighdeánaithe ionas go mbreithníonn dhá athbhreithnitheoir an rud céanna.

Ar deireadh, iarr ar dhaoine iolracha measúnú a dhéanamh agus ríomh comhaontú idir-rátálaithe. Ní chiallaíonn easaontas láidir kon kon go bhfuil múnla dona: is minice a nochtann sé go bhfuil do rubric fós doiléir agus go gcaithfear é a shoiléiriú sular féidir leat aon chonclúid a bhaint as.

Sampla Rubric Measúnaithe

Criterion 1 (Poor) 3 (Acceptable) 5 (Excellent)
Relevance Off-topic Partially relevant Perfectly targeted
Tone Inappropriate Acceptable but plain Perfectly aligned
Format Not followed Partially followed Perfectly followed

Tuarascáil Measúnaithe

Is é an frithghníomh deireanach a dhealaíonn measúnú ó chinneadh ná: taifead an dá theaghlach torthaí i dtuarascáil amháin, mar aon le moladh sainráite. Caithfidh an tairseach a shocraíonn tú—anseo meán daonna de 4 chun dul go dtí an táirgeadh, 3 chun athrá ar shonraí—a bheith roghnaithe sula seolann tú an feachtas. Má chinntear é ina dhiaidh sin, coigeartóidh sé i gcónaí don toradh a bhí uait.

def evaluation_report(auto_results: dict, human_results: dict):
    """Generates a combined evaluation report."""
    print("=" * 60)
    print("FINE-TUNED MODEL EVALUATION REPORT")
    print("=" * 60)

    print(f"\nAutomated metrics:")
    for k, v in auto_results.items():
        print(f"  {k}: {v}")

    print(f"\nHuman evaluation:")
    for k, v in human_results.items():
        print(f"  {k}: {v}")

    print(f"\nRecommendation:")
    average_score = sum(human_results.values()) / len(human_results)
    if average_score >= 4:
        print("  Model is ready for production")
    elif average_score >= 3:
        print("  Improvements needed—iterate on data")
    else:
        print("  Insufficient results—rethink your approach")

Príomhphointí

  • Deigh tacar tástála neamhspleách i gcónaí (ná traenáil ná bailíochtú)
  • Comhcheangail measúnú uathoibrithe agus daonna
  • Is comhréiteach maith idir an dá cheann é measúnú LLM-mar-bhreitheamh
  • Sainigh critéir inthomhaiste sula dtosaíonn tú
  • Ní ráthaíonn scór caillteanais íseal cáilíocht táirgthe