Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Datu kvalitāte: tīrīšana un validācija

Nodarbība 4 no 16 Atjaunota 2026. gada 2. novembris Augstākais
Šajā lapā
  1. Kāpēc tīrīšana ir kritiska
  2. Tehniskā failu validācija
  3. Satura tīrīšana
  4. Konsekvences pārbaudes
  5. OpenAI validācijas API izmantošana
  6. Pārbaudes saraksts pirms smalkās noregulēšanas
  7. Galvenās atziņas

Atjauninājums 2026. gada 2. novembrī — Smalkās noregulēšanas pieejamība. OpenAI pašapkalpošanās smalkās noregulēšanas pakalpojums tiek pakāpeniski izbeigts: kopš 2026. gada 7. maija organizācijas, kas nekad nav veikušas smalkās noregulēšanas uzdevumu, vairs nevar tādu izveidot; kopš 2. jūlija jums ir jābūt izmantojušam smalki noregulētu modeli pēdējo 60 dienu laikā; un sākot ar 2027. gada 6. janvāri, neviens klients vairs nevarēs uzsākt jaunus uzdevumus. Jau apmācītie modeļi paliek lietojami, līdz tiek izslēgts to bāzes modelis. Šis kurss joprojām ir noderīgs, lai saprastu un izmantotu esošu modeli; jauniem projektiem dodiet priekšroku uzvedņu inženierijai (prompt engineering), RAG un novērtējumiem.

Kāpēc tīrīšana ir kritiska

Tehniski derīgs JSONL fails negarantē labu smalko noregulēšanu. Trokšņaini, nekonsekventi vai slikti formatēti dati pasliktinās modeļa veiktspēju, nevis uzlabos to — un sliktākais ir tas, ka tas neizraisīs nekādas kļūdas. Uzdevums tiks pabeigts veiksmīgi, modelis būs gatavs, un jūs problēmu atklāsiet tikai darbvidē. Šajā nodarbībā aplūkotas tīrīšanas un validācijas tehnikas, kas jāveic pirms augšupielādes.

Tehniskā failu validācija

Sāciet ar mehāniku: pārbaudiet, vai fails ir sintaktiski pareizs un vai katra rinda ievēro paredzēto līgumu. Zemāk esošā funkcija iziet cauri failam pa rindai, uzkrājot kļūdas, nevis apstājoties pie pirmās (jums vajag pilnu sarakstu, nevis staigāšanu turp-atpakaļ katras problēmas dēļ) un ceļā atgriež noderīgu statistiku, piemēram, sistēmas ziņojumu un vairāku sarunu (multi-turn) klātbūtni.

import json

def validate_jsonl(path: str) -> dict:
    """Validates a JSONL file and returns statistics."""
    errors = []
    stats = {"total": 0, "with_system": 0, "multi_turn": 0}
    valid_roles = {"system", "user", "assistant"}

    with open(path, "r", encoding="utf-8") as f:
        for i, line in enumerate(f, 1):
            stats["total"] += 1
            try:
                obj = json.loads(line.strip())
            except json.JSONDecodeError as e:
                errors.append(f"Line {i}: Invalid JSON — {e}")
                continue

            if "messages" not in obj:
                errors.append(f"Line {i}: Missing 'messages' key")
                continue

            messages = obj["messages"]
            if not isinstance(messages, list) or len(messages) < 2:
                errors.append(f"Line {i}: Minimum 2 messages required")
                continue

            for j, msg in enumerate(messages):
                role = msg.get("role")
                if role not in valid_roles:
                    errors.append(f"Line {i}, msg {j}: Invalid role")
                if not msg.get("content", "").strip():
                    errors.append(f"Line {i}, msg {j}: Empty content")

            if not any(m["role"] == "assistant" for m in messages):
                errors.append(f"Line {i}: No assistant message")

            if messages[0]["role"] == "system":
                stats["with_system"] += 1
            user_turns = sum(1 for m in messages if m["role"] == "user")
            if user_turns > 1:
                stats["multi_turn"] += 1

    return {"errors": errors, "stats": stats}

result = validate_jsonl("training_data.jsonl")
if result["errors"]:
    print(f"Errors: {len(result['errors'])}")
    for err in result["errors"][:10]:
        print(f"  - {err}")
else:
    print(f"File valid — {result['stats']['total']} examples")

Satura tīrīšana

Identiski vai gandrīz identiski ieraksti sagrozīs apmācību, pārmērīgi reprezentējot noteiktus modeļus. Tas notiek dabiski, kad apkopojat vairākus eksportus: tas pats bieži uzdotais jautājums jūsu žurnālos parādās trīsdesmit reizes, un modelis secina, ka tas ir pelnījis trīsdesmit reižu lielāku uzmanību nekā citi. Lai tos novērstu, pietiek ar sapludinātā ziņojuma satura hašu.

import hashlib

def deduplicate(examples: list[dict]) -> list[dict]:
    """Removes duplicates based on message content."""
    seen = set()
    unique = []

    for ex in examples:
        content = "|".join(
            f"{m['role']}:{m['content']}" for m in ex["messages"]
        )
        h = hashlib.md5(content.encode()).hexdigest()

        if h not in seen:
            seen.add(h)
            unique.append(ex)

    print(f"Duplicates removed: {len(examples) - len(unique)}")
    return unique

Tālāk seko teksta normalizācija, kas risina četras atšķirīgas problēmas. Ir jānovērš vairākas atstarpes un liekas rindu atstarpes, kas mantotas no kopēšanas-ielīmēšanas. Kodējumam ir jābūt normalizētam uz UTF-8, noņemot vadības rakstzīmes — neredzamas, bet bieži sastopamas datubāzu eksportos. Interpunkcijai ir jāpievērš uzmanība: atbilde, kas pārtraukta vidū, iemāca modelim pašam sevi pārtraukt. Visbeidzot, nodrošiniet valodas konsekvenci — ja vēlaties formālu uzrunu, pārbaudiet, vai neviens piemērs neizmanto neformālu uzrunu, jo modelis uzticīgi reproducēs šo sajaukumu.

import re
import unicodedata

def normalize_text(text: str) -> str:
    """Normalizes text for training."""
    text = unicodedata.normalize("NFC", text)
    text = re.sub(r"[\x00-\x09\x0b-\x0c\x0e-\x1f\x7f]", "", text)
    text = re.sub(r"[ \t]+", " ", text)
    text = re.sub(r"\n{3,}", "\n\n", text)
    return text.strip()

Konsekvences pārbaudes

Ja izmantojat sistēmas ziņojumu, tam visos piemēros ir jābūt stingri identiskam. Divas variācijas, kas atšķiras tikai ar vienu vārdu, ir pietiekamas, lai vājinātu signālu: modelis pārstāj mācīties konkrētu instrukciju un sāk mācīties neskaidru instrukciju saimi. Pārbaude ir triviāla, un rezultāts bieži vien ir pārsteidzošs kopumā, ko veidojuši vairāki cilvēki.

def check_system_messages(examples: list[dict]):
    """Checks consistency of system messages."""
    system_msgs = set()
    for ex in examples:
        for msg in ex["messages"]:
            if msg["role"] == "system":
                system_msgs.add(msg["content"].strip())

    if len(system_msgs) > 1:
        print(f"Warning: {len(system_msgs)} different system messages")
        for sm in system_msgs:
            print(f"  - {sm[:80]}...")
    elif len(system_msgs) == 1:
        print("System message consistent")
    else:
        print("No system message used")

Atbilžu garuma sadalījums stāsta to pašu stāstu no cita skatupunkta. Ļoti neviendabīgas atbildes liecina, ka kopumu rakstījuši vairāki cilvēki ar atšķirīgām priekšstatām par to, kā izskatās laba atbilde, vai ka partijā ir iekļuvusi kāda ārpusskala vērtība. Šeit izmantotais slieksnis — maksimums, kas ir vairāk nekā piecas reizes lielāks par vidējo — nav absolūts, taču tas vērš jūsu uzmanību uz pareizo vietu.

def analyze_lengths(examples: list[dict]):
    """Analyzes the distribution of response lengths."""
    lengths = []
    for ex in examples:
        for msg in ex["messages"]:
            if msg["role"] == "assistant":
                lengths.append(len(msg["content"]))

    if lengths:
        avg = sum(lengths) / len(lengths)
        mini, maxi = min(lengths), max(lengths)
        print(f"Response length — Avg: {avg:.0f} | Min: {mini} | Max: {maxi}")
        if maxi > avg * 5:
            print("High dispersion — check for outliers")

OpenAI validācijas API izmantošana

Kad esat veicis savas pārbaudes, augšupielādējiet failu un ļaujiet to validēt arī OpenAI. Tas ir bezmaksas, tūlītējs un pasargā jūs no formāta kļūdu atklāšanas brīdī, kad uzdevums jau ir sācies.

from openai import OpenAI

client = OpenAI()

file = client.files.create(
    file=open("training_data.jsonl", "rb"),
    purpose="fine-tune"
)

print(f"File uploaded: {file.id}")
print(f"Status: {file.status}")

Ja fails satur kļūdas, statuss mainīsies uz error ar detalizētu ziņojumu. Pirms mēģinājuma atkārtošanas novērsiet ziņotās problēmas.

Pārbaudes saraksts pirms smalkās noregulēšanas

Iziet cauri šim sarakstam secīgi pirms uzdevuma izveides — katrs punkts atbilst iepriekš aplūkotai pārbaudei, izņemot pēdējo, ko nevar aizstāt neviens skripts:

  • JSONL fails ir sintaktiski derīgs
  • Nav dublikātu
  • Teksts ir normalizēts (UTF-8, atstarpes, interpunkcija)
  • Sistēmas ziņojumi ir konsekventi
  • Vismaz 50 piemēri (ideālā gadījumā 100+)
  • Veikts apmācības/validācijas sadalījums
  • Saprotams garumu sadalījums
  • Cilvēka veikta nejaušas izlases pārskatīšana

Galvenās atziņas

  • Vienmēr validējiet JSONL sintaksi pirms augšupielādes
  • Noņemiet dublikātus, lai izvairītos no pārmācīšanās (overfitting)
  • Sistēmas ziņojuma konsekvence ir būtiska
  • Pārbaudiet atbilžu garumu sadalījumu
  • Ļaujiet cilvēkam pārskatīt izlasi — tas ir neaizstājams