Kakovost podatkov: čiščenje in validacija
Na tej strani
Posodobitev 2. novembra 2026 — Razpoložljivost prilagajanja. Samostojno prilagajanje (fine-tuning) podjetja OpenAI se postopno ukinja: od 7. maja 2026 organizacije, ki še niso zagnale opravila prilagajanja, tega ne morejo več ustvariti; od 2. julija morate prilagojen model uporabiti v zadnjih 60 dneh; in od 6. januarja 2027 noben uporabnik ne bo mogel zagnati novih opravil. Že usposobljeni modeli ostanejo uporabni, dokler se njihov osnovni model ne umakne. Ta tečaj je še vedno koristen za razumevanje in izkoriščanje obstoječega modela; za nove projekte dajte prednost inženiringu pozivov, RAG in evalvacijam.
Zakaj je čiščenje ključno
Tehnično veljavna datoteka JSONL ne zagotavlja dobrega prilagajanja. Hrupni, nedosledni ali slabo oblikovani podatki bodo poslabšali zmogljivost modela namesto da bi jo izboljšali – in najslabše pri tem je, da ne bodo sprožili nobenih napak. Opravilo bo uspešno zaključeno, model bo pripravljen, težavo pa boste odkrili šele v proizvodnem okolju. Ta lekcija pokriva tehnike čiščenja in validacije, ki jih morate izvesti pred nalaganjem.
Tehnična validacija datoteke
Začnite z mehaniko: preverite, ali je vaša datoteka sintaktično pravilna in ali vsaka vrstica spoštuje pričakovano pogodbo. Spodnja funkcija prebere datoteko vrstico za vrstico, kopiči napake namesto da bi se ustavila pri prvi (želite si celoten seznam, ne pa nenehnega vračanja zaradi vsake težave posebej) in medtem vrne nekaj uporabnih statistik, kot sta prisotnost sistemskih sporočil in pogovori z več krogi.
import json
def validate_jsonl(path: str) -> dict:
"""Validates a JSONL file and returns statistics."""
errors = []
stats = {"total": 0, "with_system": 0, "multi_turn": 0}
valid_roles = {"system", "user", "assistant"}
with open(path, "r", encoding="utf-8") as f:
for i, line in enumerate(f, 1):
stats["total"] += 1
try:
obj = json.loads(line.strip())
except json.JSONDecodeError as e:
errors.append(f"Line {i}: Invalid JSON — {e}")
continue
if "messages" not in obj:
errors.append(f"Line {i}: Missing 'messages' key")
continue
messages = obj["messages"]
if not isinstance(messages, list) or len(messages) < 2:
errors.append(f"Line {i}: Minimum 2 messages required")
continue
for j, msg in enumerate(messages):
role = msg.get("role")
if role not in valid_roles:
errors.append(f"Line {i}, msg {j}: Invalid role")
if not msg.get("content", "").strip():
errors.append(f"Line {i}, msg {j}: Empty content")
if not any(m["role"] == "assistant" for m in messages):
errors.append(f"Line {i}: No assistant message")
if messages[0]["role"] == "system":
stats["with_system"] += 1
user_turns = sum(1 for m in messages if m["role"] == "user")
if user_turns > 1:
stats["multi_turn"] += 1
return {"errors": errors, "stats": stats}
result = validate_jsonl("training_data.jsonl")
if result["errors"]:
print(f"Errors: {len(result['errors'])}")
for err in result["errors"][:10]:
print(f" - {err}")
else:
print(f"File valid — {result['stats']['total']} examples")
Čiščenje vsebine
Točni ali skoraj enaki vnosi pristransko vplivajo na usposabljanje s prekomernim zastopanjem določenih vzorcev. Do tega pride naravno, ko združujete več izvozov: isto pogosto vprašanje se v vaših dnevnikih pojavi tridesetkrat in model sklepa, da si zasluži tridesetkrat več pozornosti kot druga. Haširanje združene vsebine sporočil zadostuje za njihovo odstranitev.
import hashlib
def deduplicate(examples: list[dict]) -> list[dict]:
"""Removes duplicates based on message content."""
seen = set()
unique = []
for ex in examples:
content = "|".join(
f"{m['role']}:{m['content']}" for m in ex["messages"]
)
h = hashlib.md5(content.encode()).hexdigest()
if h not in seen:
seen.add(h)
unique.append(ex)
print(f"Duplicates removed: {len(examples) - len(unique)}")
return unique
Sledi normalizacija besedila, ki obravnava štiri različne težave. Večkratni presledki in odvečni prelomi vrstic, podedovani iz kopiranja in lepljenja, morajo izginiti. Kodiranje mora biti normalizirano na UTF-8 z odstranjenimi nadzornimi znaki – ti so nevidni, a pogosto prisotni v izvozih iz baz podatkov. Ločila si zaslužijo preverjanje: odgovor, prekinjen sredi stavka, model nauči, naj se sam prekine. Nazadnje zagotovite jezikovno doslednost – če želite formalen nagovor, preverite, da noben primer ne uporablja neformalnega, saj bo model zvesto reproduciral mešanico.
import re
import unicodedata
def normalize_text(text: str) -> str:
"""Normalizes text for training."""
text = unicodedata.normalize("NFC", text)
text = re.sub(r"[\x00-\x09\x0b-\x0c\x0e-\x1f\x7f]", "", text)
text = re.sub(r"[ \t]+", " ", text)
text = re.sub(r"\n{3,}", "\n\n", text)
return text.strip()
Preverjanja doslednosti
Če uporabljate sistemsko sporočilo, mora biti to strogo identično v vseh vaših primerih. Dve različici, ki se razlikujeta le za eno besedo, sta dovolj, da razredčita signal: model preneha učiti specifično navodilo in začne učiti megleno družino navodil. Preverjanje je trivialno, rezultat pa je pogosto presenetljiv pri korpusu, ki so ga gradili različni ljudje.
def check_system_messages(examples: list[dict]):
"""Checks consistency of system messages."""
system_msgs = set()
for ex in examples:
for msg in ex["messages"]:
if msg["role"] == "system":
system_msgs.add(msg["content"].strip())
if len(system_msgs) > 1:
print(f"Warning: {len(system_msgs)} different system messages")
for sm in system_msgs:
print(f" - {sm[:80]}...")
elif len(system_msgs) == 1:
print("System message consistent")
else:
print("No system message used")
Porazdelitev dolžin odgovorov pripoveduje isto zgodbo z drugega zornega kota. Zelo heterogeni odgovori kažejo, da je korpus pisalo več ljudi z različnimi predstavami o tem, kako naj izgleda dober odgovor, ali pa se je v serijo prikradel osamelec. Prag, uporabljen tukaj – maksimum, večji od petkratnika povprečja – ni absoluten, vendar vam usmeri pogled na pravo mesto.
def analyze_lengths(examples: list[dict]):
"""Analyzes the distribution of response lengths."""
lengths = []
for ex in examples:
for msg in ex["messages"]:
if msg["role"] == "assistant":
lengths.append(len(msg["content"]))
if lengths:
avg = sum(lengths) / len(lengths)
mini, maxi = min(lengths), max(lengths)
print(f"Response length — Avg: {avg:.0f} | Min: {mini} | Max: {maxi}")
if maxi > avg * 5:
print("High dispersion — check for outliers")
Uporaba API-ja za validacijo podjetja OpenAI
Ko ste opravili lastna preverjanja, naložite datoteko in pustite, da jo validira tudi OpenAI. Storitev je brezplačna, takojšnja in vas obvaruje pred odkrivanjem težav z obliko, ko se opravilo že začne.
from openai import OpenAI
client = OpenAI()
file = client.files.create(
file=open("training_data.jsonl", "rb"),
purpose="fine-tune"
)
print(f"File uploaded: {file.id}")
print(f"Status: {file.status}")
Če datoteka vsebuje napake, se bo stanje spremenilo v error s podrobnim sporočilom. Pred ponovnim poskusom odpravite reported težave.
Kontrolni seznam pred prilagajanjem
Pred ustvarjanjem opravila po vrsti prejdite ta seznam – vsaka točka ustreza zgornjemu preverjanju, razen zadnje, ki je noben skript ne more nadomestiti:
- Datoteka JSONL je sintaktično veljavna
- Brez duplikatov
- Besedilo normalizirano (UTF-8, presledki, ločila)
- Sistemska sporočila so dosledna
- Vsaj 50 primerov (v idealnem primeru 100+)
- Izvedena delitev na učne in validacijske podatke
- Razumna porazdelitev dolžin
- Človeški pregled naključnega vzorca
Ključne ugotovitve
- Pred nalaganjem vedno validirajte sintakso JSONL
- Odstranite duplikate, da se izognete prekomernemu prilagajanju (overfitting)
- Doslednost sistemskega sporočila je bistvena
- Preverite porazdelitev dolžin odgovorov
- Naj človek pregleda vzorec – to je nenadomestljivo