Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Kvaliteta podataka: čišćenje i validacija

Lekcija 4 od 16 Ažurirano 2. studenoga 2026. Napredno
Na ovoj stranici
  1. Zašto je čišćenje ključno
  2. Tehnička validacija datoteke
  3. Čišćenje sadržaja
  4. Provjere dosljednosti
  5. Korištenje OpenAI validacijskog API-ja
  6. Kontrolni popis prije finog podešavanja
  7. Ključne točke

Ažuriranje 2. studenoga 2026. — Dostupnost fino podešavanja. OpenAI-jevo samostalno fino podešavanje se postupno ukida: od 7. svibnja 2026. organizacije koje nikada nisu pokrenule zadatak fino podešavanja više ne mogu stvoriti novi; od 2. srpnja morali ste koristiti fino podešeni model unutar posljednjih 60 dana; a počevši od 6. siječnja 2027., nijedan korisnik neće moći pokrenuti nove zadatke. Već trenirani modeli ostaju upotrebljivi dok se njihov osnovni model ne povuče. Ovaj tečaj i dalje je koristan za razumijevanje i iskorištavanje postojećeg modela; za nove projekte dajte prednost inženjerstvu prompta, RAG-u i evaluacijama.

Zašto je čišćenje ključno

Tehnički ispravna JSONL datoteka ne jamči dobro fino podešavanje. Šumovi, nedosljednosti ili loše formatirani podaci degradirat će performanse modela umjesto da ih poboljšaju – a najgore je što to neće izazvati nikakve pogreške. Zadatak će uspjeti, model će biti spreman, a problem ćete otkriti tek u produkciji. Ova lekcija pokriva tehnike čišćenja i validacije koje biste trebali provesti prije prijenosa.

Tehnička validacija datoteke

Započni s mehanikom: provjeri je li tvoja datoteka sintaktički ispravna i poštuje li svaki redak očekivani ugovor. Funkcija u nastavku prolazi kroz datoteku redak po redak, akumulirajući pogreške umjesto da stane kod prve (želiš cijeli popis, a ne razmjenu poruka za svaki problem) i usput vraća korisne statistike, poput prisutnosti sistemskih poruka i razgovora s više okreta.

import json

def validate_jsonl(path: str) -> dict:
    """Validates a JSONL file and returns statistics."""
    errors = []
    stats = {"total": 0, "with_system": 0, "multi_turn": 0}
    valid_roles = {"system", "user", "assistant"}

    with open(path, "r", encoding="utf-8") as f:
        for i, line in enumerate(f, 1):
            stats["total"] += 1
            try:
                obj = json.loads(line.strip())
            except json.JSONDecodeError as e:
                errors.append(f"Line {i}: Invalid JSON — {e}")
                continue

            if "messages" not in obj:
                errors.append(f"Line {i}: Missing 'messages' key")
                continue

            messages = obj["messages"]
            if not isinstance(messages, list) or len(messages) < 2:
                errors.append(f"Line {i}: Minimum 2 messages required")
                continue

            for j, msg in enumerate(messages):
                role = msg.get("role")
                if role not in valid_roles:
                    errors.append(f"Line {i}, msg {j}: Invalid role")
                if not msg.get("content", "").strip():
                    errors.append(f"Line {i}, msg {j}: Empty content")

            if not any(m["role"] == "assistant" for m in messages):
                errors.append(f"Line {i}: No assistant message")

            if messages[0]["role"] == "system":
                stats["with_system"] += 1
            user_turns = sum(1 for m in messages if m["role"] == "user")
            if user_turns > 1:
                stats["multi_turn"] += 1

    return {"errors": errors, "stats": stats}

result = validate_jsonl("training_data.jsonl")
if result["errors"]:
    print(f"Errors: {len(result['errors'])}")
    for err in result["errors"][:10]:
        print(f"  - {err}")
else:
    print(f"File valid — {result['stats']['total']} examples")

Čišćenje sadržaja

Točni ili gotovo identični unosi pristrano utječu na trening pretjeranim zastupanjem određenih uzoraka. To se događa prirodno kada agregiraš više izvoza: isto često pitanje pojavljuje se trideset puta u tvojim zapisima, a model zaključuje da zaslužuje trideset puta više pažnje od ostalih. Hash spojenog sadržaja poruka dovoljan je za njihovo uklanjanje.

import hashlib

def deduplicate(examples: list[dict]) -> list[dict]:
    """Removes duplicates based on message content."""
    seen = set()
    unique = []

    for ex in examples:
        content = "|".join(
            f"{m['role']}:{m['content']}" for m in ex["messages"]
        )
        h = hashlib.md5(content.encode()).hexdigest()

        if h not in seen:
            seen.add(h)
            unique.append(ex)

    print(f"Duplicates removed: {len(examples) - len(unique)}")
    return unique

Slijedi normalizacija teksta, koja rješava četiri različita problema. Višestruki razmaci i suvišni prijelomi redaka, naslijeđeni kopiranjem i lijepljenjem, moraju nestati. Kodiranje se mora normalizirati na UTF-8 s uklonjenim kontrolnim znakovima – nevidljivima, ali često prisutnima u izvozima baza podataka. Interpunkcija zaslužuje provjeru: odgovor prekinut usred rečenice uči model da prekida sam sebe. Konačno, osiguraj dosljednost jezika – ako želiš formalni obraćanje, provjeri da nijedan primjer ne koristi neformalno obraćanje, jer će model vjerno reproducirati mješavinu.

import re
import unicodedata

def normalize_text(text: str) -> str:
    """Normalizes text for training."""
    text = unicodedata.normalize("NFC", text)
    text = re.sub(r"[\x00-\x09\x0b-\x0c\x0e-\x1f\x7f]", "", text)
    text = re.sub(r"[ \t]+", " ", text)
    text = re.sub(r"\n{3,}", "\n\n", text)
    return text.strip()

Provjere dosljednosti

Ako koristiš sistemsku poruku, ona mora biti strogo identična u svim tvojim primjerima. Dvije varijante koje se razlikuju za samo jednu riječ dovoljne su za razrjeđivanje signala: model prestaje učiti specifičnu instrukciju i počinje učiti mutnu obitelj instrukcija. Provjera je trivijalna, a rezultat je često iznenađujući na korpusu koji su izgradile različite osobe.

def check_system_messages(examples: list[dict]):
    """Checks consistency of system messages."""
    system_msgs = set()
    for ex in examples:
        for msg in ex["messages"]:
            if msg["role"] == "system":
                system_msgs.add(msg["content"].strip())

    if len(system_msgs) > 1:
        print(f"Warning: {len(system_msgs)} different system messages")
        for sm in system_msgs:
            print(f"  - {sm[:80]}...")
    elif len(system_msgs) == 1:
        print("System message consistent")
    else:
        print("No system message used")

Distribucija duljina odgovora priča istu priču iz drugog kuta. Izrazito heterogeni odgovori signaliziraju da je više ljudi pisalo korpus s različitim idejama o tome kako dobar odgovor treba izgledati ili da se u skupinu probio iznimni primjerak. Prag korišten ovdje – maksimum veći od pet puta od prosjeka – nije apsolutan, ali usmjerava tvoju pozornost na pravo mjesto.

def analyze_lengths(examples: list[dict]):
    """Analyzes the distribution of response lengths."""
    lengths = []
    for ex in examples:
        for msg in ex["messages"]:
            if msg["role"] == "assistant":
                lengths.append(len(msg["content"]))

    if lengths:
        avg = sum(lengths) / len(lengths)
        mini, maxi = min(lengths), max(lengths)
        print(f"Response length — Avg: {avg:.0f} | Min: {mini} | Max: {maxi}")
        if maxi > avg * 5:
            print("High dispersion — check for outliers")

Korištenje OpenAI validacijskog API-ja

Nakon što pokreneš vlastite provjere, učitaj datoteku i pusti OpenAI da je također validira. Besplatno je, trenutno i štedi te od otkrivanja problema s formatom kada zadatak započne.

from openai import OpenAI

client = OpenAI()

file = client.files.create(
    file=open("training_data.jsonl", "rb"),
    purpose="fine-tune"
)

print(f"File uploaded: {file.id}")
print(f"Status: {file.status}")

Ako datoteka sadrži pogreške, status će se promijeniti u error s detaljnom porukom. Prije ponovnog pokušaja ispravi prijavljene probleme.

Kontrolni popis prije finog podešavanja

Prođi kroz ovaj popis redom prije stvaranja zadatka – svaka stavka odgovara gore pokrivenoj provjeri, osim posljednje, koju nijedna skripta ne može zamijeniti:

  • JSONL datoteka je sintaktički ispravna
  • Nema duplikata
  • Tekst je normaliziran (UTF-8, razmaci, interpunkcija)
  • Sistemske poruke su dosljedne
  • Najmanje 50 primjera (idealno 100+)
  • Izvršena podjela na trening/validaciju
  • Razumna distribucija duljina
  • Ljudska recenzija nasumičnog uzorka

Ključne točke

  • Uvijek validiraj JSONL sintaksu prije prijenosa
  • Ukloni duplikate kako bi izbjegao preprilagodbu
  • Dosljednost sistemske poruke je ključna
  • Provjeri distribuciju duljina odgovora
  • Neka čovjek pregleda uzorak – to je nezamjenjivo