Datadyn laatu: puhdistus ja validointi
Tällä sivulla
Päivitys 2. marraskuuta 2026 — Hienosäädön saatavuus. OpenAI:n itsepalveluhienosäätö on poistumassa käytöstä: 7. toukokuuta 2026 alkaen organisaatiot, jotka eivät ole koskaan suorittaneet hienosäätötyötä, eivät voi enää luoda sellaista; 2. heinäkuuta lähtien sinun on täytynyt käyttää hienosäädettyä mallia viimeisen 60 päivän aikana; ja 6. tammikuuta 2027 alkaen mikään asiakas ei voi käynnistää uusia töitä. Jo koulutetut mallit pysyvät käytössä, kunnes niiden perusmalli poistetaan käytöstä. Tämä kurssi on edelleen hyödyllinen olemassa olevan mallin ymmärtämiseen ja hyödyntämiseen; uusissa projekteissa priorisoi kehotetekniikkaa (prompt engineering), RAG:ia ja arviointia.
Miksi puhdistus on kriittistä
Teknisesti kelvollinen JSONL-tiedosto ei takaa hyvää hienosäätöä. Kohinainen, epäjohdonmukainen tai huonosti muotoiltu data heikentää mallin suorituskykyä sen sijaan, että parantaisi sitä – ja pahinta on, ettei se aiheuta virheitä. Työ valmistuu, malli on valmis, ja huomaat ongelman vasta tuotantoympäristössä. Tämä oppitunti käy läpi puhdistus- ja validointitekniikat, jotka sinun tulee suorittaa ennen lataamista.
Tekninen tiedostojen validointi
Aloita mekaniikasta: varmista, että tiedostosi on syntaktisesti oikein ja että jokainen rivi noudattaa odotettua sopimusta. Alla oleva funktio käy tiedoston läpi rivi riviltä, keräten virheet sen sijaan, että pysähtyisi ensimmäiseen (haluat koko listan, etkä edestakaista liikkumista jokaisen ongelman vuoksi) ja palauttaa samalla hyödyllisiä tilastoja, kuten järjestelmäviestien ja monivaiheisten keskustelujen olemassaolon.
import json
def validate_jsonl(path: str) -> dict:
"""Validates a JSONL file and returns statistics."""
errors = []
stats = {"total": 0, "with_system": 0, "multi_turn": 0}
valid_roles = {"system", "user", "assistant"}
with open(path, "r", encoding="utf-8") as f:
for i, line in enumerate(f, 1):
stats["total"] += 1
try:
obj = json.loads(line.strip())
except json.JSONDecodeError as e:
errors.append(f"Line {i}: Invalid JSON — {e}")
continue
if "messages" not in obj:
errors.append(f"Line {i}: Missing 'messages' key")
continue
messages = obj["messages"]
if not isinstance(messages, list) or len(messages) < 2:
errors.append(f"Line {i}: Minimum 2 messages required")
continue
for j, msg in enumerate(messages):
role = msg.get("role")
if role not in valid_roles:
errors.append(f"Line {i}, msg {j}: Invalid role")
if not msg.get("content", "").strip():
errors.append(f"Line {i}, msg {j}: Empty content")
if not any(m["role"] == "assistant" for m in messages):
errors.append(f"Line {i}: No assistant message")
if messages[0]["role"] == "system":
stats["with_system"] += 1
user_turns = sum(1 for m in messages if m["role"] == "user")
if user_turns > 1:
stats["multi_turn"] += 1
return {"errors": errors, "stats": stats}
result = validate_jsonl("training_data.jsonl")
if result["errors"]:
print(f"Errors: {len(result['errors'])}")
for err in result["errors"][:10]:
print(f" - {err}")
else:
print(f"File valid — {result['stats']['total']} examples")
Sisällön puhdistus
Täsmälliset tai lähes identtiset merkinnät vinouttavat koulutusta yliedustaen tiettyjä malleja. Tämä tapahtuu luonnostaan, kun yhdistelet useita vientitiedostoja: sama toistuva kysymys esiintyy lokeissasi kolmekymmentä kertaa, ja malli päättelee sen ansaitsevan kolmekymmentä kertaa enemmän huomiota kuin muut. Yhdistetyn viestisisällön tiiviste (hash) riittää niiden poistamiseen.
import hashlib
def deduplicate(examples: list[dict]) -> list[dict]:
"""Removes duplicates based on message content."""
seen = set()
unique = []
for ex in examples:
content = "|".join(
f"{m['role']}:{m['content']}" for m in ex["messages"]
)
h = hashlib.md5(content.encode()).hexdigest()
if h not in seen:
seen.add(h)
unique.append(ex)
print(f"Duplicates removed: {len(examples) - len(unique)}")
return unique
Seuraavaksi tulee tekstin normalisointi, joka ratkaisee neljä erillistä ongelmaa. Useat välilyönnit ja tarpeettomat rivinvaihdot, jotka ovat peräisin kopioinnista ja liittämisestä, on poistettava. Merkistökoodaus on normalisoitava UTF-8:ksi ja ohjausmerkit on poistettava – ne ovat näkymättömiä, mutta usein läsnä tietokantavienneissä. Välimerkit ansaitsevat tarkistuksen: keskellä katkaistu vastaus opettaa mallia keskeyttämään itsensä. Lopuksi varmista kielen johdonmukaisuus – jos haluat muodollisen puhuttelun, varmista, ettei yksikään esimerkki käytä epämuodollista puhuttelua, sillä malli toistaa uskollisesti sekamuodon.
import re
import unicodedata
def normalize_text(text: str) -> str:
"""Normalizes text for training."""
text = unicodedata.normalize("NFC", text)
text = re.sub(r"[\x00-\x09\x0b-\x0c\x0e-\x1f\x7f]", "", text)
text = re.sub(r"[ \t]+", " ", text)
text = re.sub(r"\n{3,}", "\n\n", text)
return text.strip()
Johdonmukaisuustarkistukset
Jos käytät järjestelmäviestiä, sen on oltava kaikissa esimerkeissäsi ehdottoman identtinen. Kaksi varianttia, jotka eroavat vain yhdellä sanalla, riittävät heikentämään signaalia: malli lakkaa oppimasta tiettyä ohjetta ja alkaa oppia sumeaa ohjeiden perhettä. Tarkistus on triviaali, ja tulos on usein yllättävä usean henkilön rakentamassa aineistossa.
def check_system_messages(examples: list[dict]):
"""Checks consistency of system messages."""
system_msgs = set()
for ex in examples:
for msg in ex["messages"]:
if msg["role"] == "system":
system_msgs.add(msg["content"].strip())
if len(system_msgs) > 1:
print(f"Warning: {len(system_msgs)} different system messages")
for sm in system_msgs:
print(f" - {sm[:80]}...")
elif len(system_msgs) == 1:
print("System message consistent")
else:
print("No system message used")
Vastausten pituuksien jakauma kertoo saman tarinan toisesta näkökulmasta. Erittäin heterogeeniset vastaukset viestivät siihen, että useat henkilöt ovat kirjoittaneet aineiston eri käsityksillä siitä, miltä hyvä vastaus näyttää, tai että joukkoon on lipsahtanut poikkeava arvo. Tässä käytetty kynnysarvo – maksimi, joka on yli viisi kertaa keskiarvo – ei ole ehdoton, mutta se ohjaa katseesi oikeaan paikkaan.
def analyze_lengths(examples: list[dict]):
"""Analyzes the distribution of response lengths."""
lengths = []
for ex in examples:
for msg in ex["messages"]:
if msg["role"] == "assistant":
lengths.append(len(msg["content"]))
if lengths:
avg = sum(lengths) / len(lengths)
mini, maxi = min(lengths), max(lengths)
print(f"Response length — Avg: {avg:.0f} | Min: {mini} | Max: {maxi}")
if maxi > avg * 5:
print("High dispersion — check for outliers")
OpenAI:n validointi-API:n käyttö
Kun olet suorittanut omat tarkistuksesi, lataa tiedosto ja anna OpenAI:n validoida se myös. Se on ilmaista, välitöntä ja säästää sinut formaattivirheen havaitsemiselta vasta työn käynnistyessä.
from openai import OpenAI
client = OpenAI()
file = client.files.create(
file=open("training_data.jsonl", "rb"),
purpose="fine-tune"
)
print(f"File uploaded: {file.id}")
print(f"Status: {file.status}")
Jos tiedosto sisältää virheitä, tilaksi muuttuu error ja saat yksityiskohtaisen virheilmoituksen. Korjaa raportoidut ongelmat ennen uudelleenyritystä.
Ennen hienosäätöä suoritettava tarkistuslista
Käy tämä lista läpi järjestyksessä ennen työn luomista – jokainen kohta vastaa yllä käsiteltyä tarkistusta, lukuun ottamatta viimeistä, jota mikään skripti ei voi korvata:
- JSONL-tiedosto on syntaktisesti kelvollinen
- Ei duplikaatteja
- Teksti on normalisoitu (UTF-8, välilyönnit, välimerkit)
- Järjestelmäviestit ovat johdonmukaisia
- Vähintään 50 esimerkkiä (ihanteellisesti 100+)
- Harjoitus-/validointijako suoritettu
- Pituusjakauma on kohtuullinen
- Satunnaisotoksen ihmisen tekemä tarkastelu
Keskeiset asiat
- Validoi aina JSONL-syntaksi ennen lataamista
- Poista duplikaatit välttääksesi ylisovittumista
- Järjestelmäviestin johdonmukaisuus on välttämätöntä
- Tarkista vastausten pituuksien jakauma
- Anna ihmisen tarkistaa otos – sitä ei voi korvata