Duomenų kokybė: valymas ir tikrinimas
Šiame puslapyje
Atnaujinimas 2026 m. lapkričio 2 d. — Derinimo prieinamumas. „OpenAI“ savitarnos derinimo paslauga yra nutraukiama: nuo 2026 m. gegužės 7 d. organizacijos, kurios niekada nevykdė derinimo užduoties, jos sukurti nebegali; nuo liepos 2 d. turite būti naudoję derintą modelį per pastaruosius 60 dienų; o nuo 2027 m. sausio 6 d. joks klientas negalės paleisti naujų užduočių. Jau apmokyti modeliai išlieka naudojami, kol jų bazinis modelis bus nutrauktas. Šis kursas vis dar naudingas norint suprasti ir išnaudoti esamą modelį; naujiems projektams teikite pirmenybę raginimų inžinerijai (prompt engineering), RAG ir vertinimams.
Kodėl valymas yra kritiškai svarbus
Techniškai tinkamas JSONL failas negarantuoja gero derinimo. Triukšmingi, nenuosekliai arba neteisingai suformatuoti duomenys pablogins modelio našumą vietoj to, kad jį pagerintų, o blogiausia tai, kad jie nesukels jokių klaidų. Užduotis bus įvykdyta sėkmingai, modelis bus paruoštas, o problemą pastebėsite tik gamybos aplinkoje. Šioje pamokoje aptarsime valymo ir tikrinimo technikas, kurias turėtumėte atlikti prieš įkeldami duomenis.
Techninis failo tikrinimas
Pradėkite nuo mechanikos: patikrinkite, ar jūsų failas yra sintaksiškai teisingas ir ar kiekviena eilutė atitinka numatytą sutartį. Toliau pateikta funkcija eina per failą eilutė po eilutės, kaupdama klaidas vietoj to, kad sustotų ties pirmąja (jums reikia viso sąrašo, o ne grįžti prie kiekvienos problemos iš naujo), ir kartu pateikia naudingą statistiką, pavyzdžiui, sistemos žinučių buvimą ir daugelio ėjimų pokalbius.
import json
def validate_jsonl(path: str) -> dict:
"""Validates a JSONL file and returns statistics."""
errors = []
stats = {"total": 0, "with_system": 0, "multi_turn": 0}
valid_roles = {"system", "user", "assistant"}
with open(path, "r", encoding="utf-8") as f:
for i, line in enumerate(f, 1):
stats["total"] += 1
try:
obj = json.loads(line.strip())
except json.JSONDecodeError as e:
errors.append(f"Line {i}: Invalid JSON — {e}")
continue
if "messages" not in obj:
errors.append(f"Line {i}: Missing 'messages' key")
continue
messages = obj["messages"]
if not isinstance(messages, list) or len(messages) < 2:
errors.append(f"Line {i}: Minimum 2 messages required")
continue
for j, msg in enumerate(messages):
role = msg.get("role")
if role not in valid_roles:
errors.append(f"Line {i}, msg {j}: Invalid role")
if not msg.get("content", "").strip():
errors.append(f"Line {i}, msg {j}: Empty content")
if not any(m["role"] == "assistant" for m in messages):
errors.append(f"Line {i}: No assistant message")
if messages[0]["role"] == "system":
stats["with_system"] += 1
user_turns = sum(1 for m in messages if m["role"] == "user")
if user_turns > 1:
stats["multi_turn"] += 1
return {"errors": errors, "stats": stats}
result = validate_jsonl("training_data.jsonl")
if result["errors"]:
print(f"Errors: {len(result['errors'])}")
for err in result["errors"][:10]:
print(f" - {err}")
else:
print(f"File valid — {result['stats']['total']} examples")
Turinio valymas
Tiksliai arba beveik identiški įrašai šališkai veikia mokymą, per daug akcentuodami tam tikrus šablonus. Tai nutinka natūraliai agreguojant kelis eksportus: tas pats dažnas klausimas jūsų žurnaluose pasikartoja trisdešimt kartų, ir modelis daro išvadą, kad jis nusipelno trisdešimt kartų daugiau dėmesio nei kiti. Sukonkatenuoto žinučių turinio maiša (hash) pakanka jiems pašalinti.
import hashlib
def deduplicate(examples: list[dict]) -> list[dict]:
"""Removes duplicates based on message content."""
seen = set()
unique = []
for ex in examples:
content = "|".join(
f"{m['role']}:{m['content']}" for m in ex["messages"]
)
h = hashlib.md5(content.encode()).hexdigest()
if h not in seen:
seen.add(h)
unique.append(ex)
print(f"Duplicates removed: {len(examples) - len(unique)}")
return unique
Kitas žingsnis – teksto normalizavimas, kuris sprendžia keturias skirtingas problemas. Reikia pašalinti kelis tarpus ir nereikalingas eilučių pertraukas, atsiradusias kopijuojant ir įklijuojant. Koduotė turi būti normalizuota į UTF-8, pašalinant valdymo simbolius – nematomus, bet dažnai pasitaikančius duomenų bazių eksportuose. Skyrybai reikia skirti dėmesio: atsakymas, nutrauktas viduryje, išmoko modelį pertraukti save. Galiausiai užtikrinkite kalbos nuoseklumą – jei norite oficialaus kreipimosi, patikrinkite, ar nė viename pavyzdyje nenaudojamas neoficialus kreipimasis, nes modelis sąžiningai atkartos šį mišinį.
import re
import unicodedata
def normalize_text(text: str) -> str:
"""Normalizes text for training."""
text = unicodedata.normalize("NFC", text)
text = re.sub(r"[\x00-\x09\x0b-\x0c\x0e-\x1f\x7f]", "", text)
text = re.sub(r"[ \t]+", " ", text)
text = re.sub(r"\n{3,}", "\n\n", text)
return text.strip()
Nuoseklumo tikrinimai
Jei naudojate sistemos žinutę, ji turi būti griežtai identiška visuose jūsų pavyzdžiuose. Du variantai, kurie skiriasi tik vienu žodžiu, pakanka signalui susilpninti: modelis nustoja mokytis specifinės instrukcijos ir pradeda mokytis neryškios instrukcijų šeimos. Tikrinimas yra trivialus, o rezultatas dažnai būna netikėtas kelių žmonių sukurtame korpuse.
def check_system_messages(examples: list[dict]):
"""Checks consistency of system messages."""
system_msgs = set()
for ex in examples:
for msg in ex["messages"]:
if msg["role"] == "system":
system_msgs.add(msg["content"].strip())
if len(system_msgs) > 1:
print(f"Warning: {len(system_msgs)} different system messages")
for sm in system_msgs:
print(f" - {sm[:80]}...")
elif len(system_msgs) == 1:
print("System message consistent")
else:
print("No system message used")
Atsakymų ilgių pasiskirstymas pasakoja tą pačią istoriją kitu kampu. Labai nevienodi atsakymai rodo, kad korpusą rašė keli žmonės, turintys skirtingų idėjų, kaip turėtų atrodyti geras atsakymas, arba kad į partiją pateko išskirtinis atvejis. Čia naudojama riba – maksimumas, didesnis nei penkis kartus už vidurkį – nėra absoliuti, tačiau ji atkreipia jūsų dėmesį tinkama linkme.
def analyze_lengths(examples: list[dict]):
"""Analyzes the distribution of response lengths."""
lengths = []
for ex in examples:
for msg in ex["messages"]:
if msg["role"] == "assistant":
lengths.append(len(msg["content"]))
if lengths:
avg = sum(lengths) / len(lengths)
mini, maxi = min(lengths), max(lengths)
print(f"Response length — Avg: {avg:.0f} | Min: {mini} | Max: {maxi}")
if maxi > avg * 5:
print("High dispersion — check for outliers")
„OpenAI“ tikrinimo API naudojimas
Kai atliksite savo paties tikrinimus, įkelkite failą ir leiskite „OpenAI“ jį taip pat patikrinti. Tai nemokama, greita ir apsaugo jus nuo formato problemų atradimo prasidėjus užduočiai.
from openai import OpenAI
client = OpenAI()
file = client.files.create(
file=open("training_data.jsonl", "rb"),
purpose="fine-tune"
)
print(f"File uploaded: {file.id}")
print(f"Status: {file.status}")
Jei faile yra klaidų, būsena pasikeis į error su išsamiu pranešimu. Prieš bandydami iš naujo, ištaisykite nurodytas problemas.
Derinimo prieš pradedant kontrolinis sąrašas
Prieš kurdami užduotį, peržiūrėkite šį sąrašą eilės tvarka – kiekvienas punktas atitinka aukščiau aptartą tikrinimą, išskyrus paskutinį, kurio negali pakeisti joks scenarijus:
- JSONL failas yra sintaksiškai teisingas
- Nėra dublikatų
- Tekstas normalizuotas (UTF-8, tarpai, skyryba)
- Sistemos žinutės yra nuoseklios
- Bent 50 pavyzdžių (idealu – 100+)
- Atliktas mokymo/tikrinimo padalijimas
- Protingas ilgių pasiskirstymas
- Atsitiktinės imties žmogaus peržiūra
Svarbiausi punktai
- Prieš įkeliant visada patikrinkite JSONL sintaksę
- Pašalinkite dublikatus, kad išvengtumėte per didelio pritaikymo (overfitting)
- Sistemos žinučių nuoseklumas yra būtinas
- Patikrinkite atsakymų ilgių pasiskirstymą
- Leiskite žmogui peržiūrėti imtį – tai nepakeičiama