Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Cáilíocht Sonraí: Glanadh agus Bailíochtú

Ceacht 4 as 16 Nuashonraithe 2 Samhain 2026 Ardleibhéal
Ar an leathanach seo
  1. Cén fáth a bhfuil glanadh ríthábhachtach
  2. Bailíochtú teicniúil comhaid
  3. Glanadh ábhair
  4. Seiceálacha comhsheasmhachta
  5. Úsáid a bhaint as API bailíochtaithe OpenAI
  6. Seicliosta réamh-fhíneála
  7. Príomhphointí

Nuashonrú 2 Samhain 2026 — Fáil ar fhíneáil. Tá an tseirbhís fhíneála féinseirbhíse ó OpenAI á céimniú amach: ón 7 Bealtaine 2026, ní féidir le heagraíochtaí nach ndearna riamh post fíneála ceann nua a chruthú; ón 2 Iúil, caithfidh tú samhalt fíneáilte a bheith úsáidte agat laistigh de na 60 lá seo caite; agus ón 6 Eanáir 2027, ní bheidh aon chustaiméir in ann poist nua a sheoladh. Fanann samhlacha atá traenáilte cheana inúsáidte go dtí go gcuirtear an bunsamhail as feidhm. Tá an cúrsa seo fós úsáideach chun samhail atá ann cheana a thuiscint agus a leasú; do thionscadail nua, tabhair tosaíocht d’innealtóireacht leideanna, RAG, agus meastóireachtaí.

Cén fáth a bhfuil glanadh ríthábhachtach

Ní ráthaíonn comhad JSONL atá bailí go teicniúil fíneáil mhaith. Déanfaidh sonraí torannacha, neamhchomhsheasmhacha, nó mífhormáidithe feidhmíocht an tsamhail a laghdú seachas í a fheabhsú—is é an chuid is measa ná nach spreagfaidh siad aon earráidí. Éireoidh leis an bpost, beidh an samhail réidh, agus ní bheidh a fhios agat faoin bhfadhb ach sa táirgeadh. Clúdaíonn an ceacht seo na teicnící glantacháin agus bailíochtaithe ar chóir duit a rith sula ndéanann tú uaslódáil.

Bailíochtú teicniúil comhaid

Tosaigh leis an meicnic: fíoraigh go bhfuil do chomhad ceart go sinteach agus go bhfuil gach líne ag urramú an chonartha a bhfuiltear ag súil leis. Siúlann an fheidhm thíos tríd an gcomhad líne ar líne, ag carnadh earráidí in ionad stopadh ag an gcéad cheann (is mian leat an liosta iomlán, ní dul agus teacht ar gach fadhb) agus filleann sé roinnt staitisticí úsáideacha ar an mbealach, mar shampla láithreacht teachtaireachtaí córais agus comhráite il-chasadh.

import json

def validate_jsonl(path: str) -> dict:
    """Validates a JSONL file and returns statistics."""
    errors = []
    stats = {"total": 0, "with_system": 0, "multi_turn": 0}
    valid_roles = {"system", "user", "assistant"}

    with open(path, "r", encoding="utf-8") as f:
        for i, line in enumerate(f, 1):
            stats["total"] += 1
            try:
                obj = json.loads(line.strip())
            except json.JSONDecodeError as e:
                errors.append(f"Line {i}: Invalid JSON — {e}")
                continue

            if "messages" not in obj:
                errors.append(f"Line {i}: Missing 'messages' key")
                continue

            messages = obj["messages"]
            if not isinstance(messages, list) or len(messages) < 2:
                errors.append(f"Line {i}: Minimum 2 messages required")
                continue

            for j, msg in enumerate(messages):
                role = msg.get("role")
                if role not in valid_roles:
                    errors.append(f"Line {i}, msg {j}: Invalid role")
                if not msg.get("content", "").strip():
                    errors.append(f"Line {i}, msg {j}: Empty content")

            if not any(m["role"] == "assistant" for m in messages):
                errors.append(f"Line {i}: No assistant message")

            if messages[0]["role"] == "system":
                stats["with_system"] += 1
            user_turns = sum(1 for m in messages if m["role"] == "user")
            if user_turns > 1:
                stats["multi_turn"] += 1

    return {"errors": errors, "stats": stats}

result = validate_jsonl("training_data.jsonl")
if result["errors"]:
    print(f"Errors: {len(result['errors'])}")
    for err in result["errors"][:10]:
        print(f"  - {err}")
else:
    print(f"File valid — {result['stats']['total']} examples")

Glanadh ábhair

Cuirtear claonadh ar oiliúint le hiontrálacha atá díreach nó beagnach comhionann trí phatrúin áirithe a bheith ró-ionadaíoch. Tarlaíonn sé seo go nádúrtha nuair a chruinníonn tú onnmhairithe iolracha: feictear an cheist mhinic chéanna tríocha uair i do logaí, agus tagann an tsamhail ar an gconclúid go dtabharfaidh sí tríocha uair níos mó aird uirthi ná ar chinn eile. Is leor hais den ábhar teachtaireachta comhcheangailte chun iad a dhíchur.

import hashlib

def deduplicate(examples: list[dict]) -> list[dict]:
    """Removes duplicates based on message content."""
    seen = set()
    unique = []

    for ex in examples:
        content = "|".join(
            f"{m['role']}:{m['content']}" for m in ex["messages"]
        )
        h = hashlib.md5(content.encode()).hexdigest()

        if h not in seen:
            seen.add(h)
            unique.append(ex)

    print(f"Duplicates removed: {len(examples) - len(unique)}")
    return unique

Ansin tagann normalú téacs, a dhéileálann le ceithre fhadhb ar leith. Caithfear spásanna iolracha agus bristeacha líne nach gá, a thagann ó chóipeáil agus greamú, a bhaint. Ní mór ionchódú a normalú go UTF-8 le carachtair rialaithe bainte—dofheicthe ach go minic i láthair in onnmhairithe bunachair sonraí. Tuillfidh poncaíocht seiceáil: múineann freagra a ghearrtar sa lár don tsamhail cur isteach uirthi féin. Ar deireadh, cinntigh comhsheasmhacht teanga—má theastaíonn uait foirmiúlacht a úsáid, fíoraigh nach n-úsáideann aon sampla neamhfhoirmiúlacht, toisc go ndéanfaidh an tsamhail an meascán a atáirgeadh go dílis.

import re
import unicodedata

def normalize_text(text: str) -> str:
    """Normalizes text for training."""
    text = unicodedata.normalize("NFC", text)
    text = re.sub(r"[\x00-\x09\x0b-\x0c\x0e-\x1f\x7f]", "", text)
    text = re.sub(r"[ \t]+", " ", text)
    text = re.sub(r"\n{3,}", "\n\n", text)
    return text.strip()

Seiceálacha comhsheasmhachta

Má úsáideann tú teachtaireacht chórais, caithfidh sí a bheith go hiomlán comhionann ar fud do shamhlacha go léir. Is leor dhá leagan a bhfuil difríocht d’aon fhocal amháin eatarthu chun an comhartha a chaolú: stopann an tsamhail treoir shonrach a fhoghlaim agus tosaíonn sí ar theaghlach doiléir treoracha a fhoghlaim. Tá an seiceáil suarach, agus is minic a bhíonn an toradh iontach ar chorpas a thóg daoine éagsúla.

def check_system_messages(examples: list[dict]):
    """Checks consistency of system messages."""
    system_msgs = set()
    for ex in examples:
        for msg in ex["messages"]:
            if msg["role"] == "system":
                system_msgs.add(msg["content"].strip())

    if len(system_msgs) > 1:
        print(f"Warning: {len(system_msgs)} different system messages")
        for sm in system_msgs:
            print(f"  - {sm[:80]}...")
    elif len(system_msgs) == 1:
        print("System message consistent")
    else:
        print("No system message used")

Inseonn dáileadh faid na bhfreagraí an scéal céanna ó uillinn eile. Léiríonn freagraí atá an-éagsúil go scríobh daoine éagsúla an corpas le smaointe éagsúla faoin gcaoi a bhfuil freagra maith, nó go ndearna eisceacht a bhealach isteach sa bhaisc. Níl an tairseach a úsáidtear anseo—uasmhéid atá níos mó ná cúig huaire an meán—absalóideach, ach tarraingíonn sé do shúil ar an áit cheart.

def analyze_lengths(examples: list[dict]):
    """Analyzes the distribution of response lengths."""
    lengths = []
    for ex in examples:
        for msg in ex["messages"]:
            if msg["role"] == "assistant":
                lengths.append(len(msg["content"]))

    if lengths:
        avg = sum(lengths) / len(lengths)
        mini, maxi = min(lengths), max(lengths)
        print(f"Response length — Avg: {avg:.0f} | Min: {mini} | Max: {maxi}")
        if maxi > avg * 5:
            print("High dispersion — check for outliers")

Úsáid a bhaint as API bailíochtaithe OpenAI

Nuair a bheidh do sheiceálacha féin rite agat, uaslódáil an comhad agus lig do OpenAI é a bhailíochtú freisin. Tá sé saor in aisce, láithreach, agus sábhálann sé ort fadhb formáide a aimsiú nuair a thosaíonn an post.

from openai import OpenAI

client = OpenAI()

file = client.files.create(
    file=open("training_data.jsonl", "rb"),
    purpose="fine-tune"
)

print(f"File uploaded: {file.id}")
print(f"Status: {file.status}")

Má tá earráidí sa chomhad, athróidh an stádas go error le teachtaireacht mhionsonraithe. Deisigh na fadhbanna a tuairiscíodh sula ndéanann tú iarracht arís.

Seicliosta réamh-fhíneála

Rith tríd an liosta seo in ord sula gcruthaíonn tú an post—freagraíonn gach mír do sheiceáil a clúdaíodh thuas, seachas an ceann deireanach, nach féidir le haon script a chur in ionad:

  • Tá an comhad JSONL bailí go sinteach
  • Gan aon dhúblacháin
  • Téacs normalaithe (UTF-8, spásanna, poncaíocht)
  • Tá teachtaireachtaí córais comhsheasmhach
  • Ar a laghad 50 sampla (go hidéalach 100+)
  • Rinneadh scoilt traenála/bailíochtaithe
  • Dáileadh réasúnach faid
  • Athbhreithniú daonna ar shampla randamach

Príomhphointí

  • Bailíochtigh sintéis JSONL i gcónaí sula ndéanann tú uaslódáil
  • Bain dúblacháin chun ró-oiriúnú a sheachaint
  • Tá comhsheasmhacht teachtaireachta córais riachtanach
  • Seiceáil dáileadh faid na bhfreagraí
  • Iarr ar dhuine sampla a athbhreithniú—níl aon ionad air