Премини към основното съдържание
Български— Изберете език
Меню

Качество на данните: Почистване и валидиране

Урок 4 от 16 Обновен 2 ноември 2026 г. Напреднало
На тази страница
  1. Защо почистването е от критично значение
  2. Техническо валидиране на файла
  3. Почистване на съдържанието
  4. Проверки за съгласуваност
  5. Използване на API за валидиране на OpenAI
  6. Контролен списък преди фина настройка
  7. Ключови изводи

Актуализация от 2 ноември 2026 г. — Наличност на фина настройка. Собствената услуга за фина настройка на OpenAI се преустановява постепенно: към 7 май 2026 г. организациите, които никога не са стартирали задача за фина настройка, вече не могат да създават такива; от 2 юли насам трябва да сте използвали фина настроен модел през последните 60 дни; а считано от 6 януари 2027 г. никой клиент няма да може да стартира нови задачи. Вече обучените модели остават използваеми до оттеглянето на базовия им модел. Този курс остава полезен за разбиране и използване на съществуващ модел; за нови проекти дайте приоритет на инженерството на подкани (prompt engineering), RAG и оценяването.

Защо почистването е от критично значение

Технически валиден JSONL файл не гарантира добра фина настройка. Шумни, несъгласувани или лошо форматирани данни ще влошат ефективността на модела, вместо да я подобрят – и най-лошото е, че това няма да предизвика никакви грешки. Задачата ще завърши успешно, моделът ще бъде готов и Вие ще откриете проблема едва в производствена среда. Този урок обхваща техниките за почистване и валидиране, които трябва да изпълните преди качването.

Техническо валидиране на файла

Започнете с механиката: уверете се, че файлът Ви е синтактично правилен и че всеки ред спазва очаквания договор. Функцията по-долу обхожда файла ред по ред, натрупвайки грешки, вместо да спира при първата (целта е да получите пълен списък, а не да се връщате назад за всеки проблем) и връща полезни статистики по пътя, като наличието на системни съобщения и разговори с много обрати.

import json

def validate_jsonl(path: str) -> dict:
    """Validates a JSONL file and returns statistics."""
    errors = []
    stats = {"total": 0, "with_system": 0, "multi_turn": 0}
    valid_roles = {"system", "user", "assistant"}

    with open(path, "r", encoding="utf-8") as f:
        for i, line in enumerate(f, 1):
            stats["total"] += 1
            try:
                obj = json.loads(line.strip())
            except json.JSONDecodeError as e:
                errors.append(f"Line {i}: Invalid JSON — {e}")
                continue

            if "messages" not in obj:
                errors.append(f"Line {i}: Missing 'messages' key")
                continue

            messages = obj["messages"]
            if not isinstance(messages, list) or len(messages) < 2:
                errors.append(f"Line {i}: Minimum 2 messages required")
                continue

            for j, msg in enumerate(messages):
                role = msg.get("role")
                if role not in valid_roles:
                    errors.append(f"Line {i}, msg {j}: Invalid role")
                if not msg.get("content", "").strip():
                    errors.append(f"Line {i}, msg {j}: Empty content")

            if not any(m["role"] == "assistant" for m in messages):
                errors.append(f"Line {i}: No assistant message")

            if messages[0]["role"] == "system":
                stats["with_system"] += 1
            user_turns = sum(1 for m in messages if m["role"] == "user")
            if user_turns > 1:
                stats["multi_turn"] += 1

    return {"errors": errors, "stats": stats}

result = validate_jsonl("training_data.jsonl")
if result["errors"]:
    print(f"Errors: {len(result['errors'])}")
    for err in result["errors"][:10]:
        print(f"  - {err}")
else:
    print(f"File valid — {result['stats']['total']} examples")

Почистване на съдържанието

Точните или почти идентични дубликати пристрастяват обучението, като свръхпредставят определени шаблони. Това се случва естествено, когато агрегирате множество експорти: един и същи често задаван въпрос се появява тридесет пъти във Вашите логове и моделът заключава, че заслужава тридесет пъти повече внимание от другите. Хеш на конкатенираното съдържание на съобщенията е достатъчен, за да ги елиминирате.

import hashlib

def deduplicate(examples: list[dict]) -> list[dict]:
    """Removes duplicates based on message content."""
    seen = set()
    unique = []

    for ex in examples:
        content = "|".join(
            f"{m['role']}:{m['content']}" for m in ex["messages"]
        )
        h = hashlib.md5(content.encode()).hexdigest()

        if h not in seen:
            seen.add(h)
            unique.append(ex)

    print(f"Duplicates removed: {len(examples) - len(unique)}")
    return unique

Следва нормализирането на текста, което адресира четири отделни проблема. Множествените интервали и излишните нови редове, наследени от копиране и поставяне, трябва да бъдат премахнати. Кодирането трябва да бъде нормализирано до UTF-8 с премахнати контролни знаци – невидими, но често присъстващи в експорти от бази данни. Пунктуацията заслужава проверка: отговор, прекъснат по средата, учи модела да се прекъсва сам. Накрая, осигурете съгласуваност на езика – ако искате официално обръщение, проверете дали никой пример не използва неофициално такова, защото моделът ще възпроизведе вярно сместа.

import re
import unicodedata

def normalize_text(text: str) -> str:
    """Normalizes text for training."""
    text = unicodedata.normalize("NFC", text)
    text = re.sub(r"[\x00-\x09\x0b-\x0c\x0e-\x1f\x7f]", "", text)
    text = re.sub(r"[ \t]+", " ", text)
    text = re.sub(r"\n{3,}", "\n\n", text)
    return text.strip()

Проверки за съгласуваност

Ако използвате системно съобщение, то трябва да бъде строго идентично във всички Ваши примери. Два варианта, които се различават само с една дума, са достатъчни, за да размият сигнала: моделът спира да учи конкретна инструкция и започва да учи неясно семейство от инструкции. Проверката е тривиална, а резултатът често е изненадващ при корпус, изграден от множество хора.

def check_system_messages(examples: list[dict]):
    """Checks consistency of system messages."""
    system_msgs = set()
    for ex in examples:
        for msg in ex["messages"]:
            if msg["role"] == "system":
                system_msgs.add(msg["content"].strip())

    if len(system_msgs) > 1:
        print(f"Warning: {len(system_msgs)} different system messages")
        for sm in system_msgs:
            print(f"  - {sm[:80]}...")
    elif len(system_msgs) == 1:
        print("System message consistent")
    else:
        print("No system message used")

Разпределението на дължините на отговорите разказва същата история от друг ъгъл. Силно хетерогенните отговори сигнализират, че множество хора са писали корпуса с различни представи как изглежда един добър отговор, или че в партидата се е промъкнал аутлайър. Прагът, използван тук – максимум, по-голям от пет пъти средната стойност – не е абсолютен, но насочва вниманието Ви към правилното място.

def analyze_lengths(examples: list[dict]):
    """Analyzes the distribution of response lengths."""
    lengths = []
    for ex in examples:
        for msg in ex["messages"]:
            if msg["role"] == "assistant":
                lengths.append(len(msg["content"]))

    if lengths:
        avg = sum(lengths) / len(lengths)
        mini, maxi = min(lengths), max(lengths)
        print(f"Response length — Avg: {avg:.0f} | Min: {mini} | Max: {maxi}")
        if maxi > avg * 5:
            print("High dispersion — check for outliers")

Използване на API за валидиране на OpenAI

След като сте изпълнили собствените си проверки, качете файла и оставете OpenAI също да го валидира. Услугата е безплатна, мигновена и Ви спестява откриването на проблем с формата, когато задачата стартира.

from openai import OpenAI

client = OpenAI()

file = client.files.create(
    file=open("training_data.jsonl", "rb"),
    purpose="fine-tune"
)

print(f"File uploaded: {file.id}")
print(f"Status: {file.status}")

Ако файлът съдържа грешки, статусът ще се промени на error с подробно съобщение. Поправете докладваните проблеми, преди да опитате отново.

Контролен списък преди фина настройка

Преминете през този списък последователно, преди да създадете задачата – всяка точка съответства на проверка, разгледана по-горе, с изключение на последната, която никой скрипт не може да замени:

  • JSONL файлът е синтактично валиден
  • Няма дубликати
  • Текстът е нормализиран (UTF-8, интервали, пунктуация)
  • Системните съобщения са съгласувани
  • Поне 50 примера (идеално 100+)
  • Извършено е разделяне на обучаващи/валидационни данни
  • Разумно разпределение на дължините
  • Човешки преглед на произволна извадка

Ключови изводи

  • Винаги валидирайте JSONL синтаксиса преди качване
  • Премахнете дубликатите, за да избегнете свръхобучение
  • Съгласуваността на системното съобщение е от съществено значение
  • Проверете разпределението на дължините на отговорите
  • Осигурете човешки преглед на извадка – това е незаменимо