Качество на данните: Почистване и валидиране
На тази страница
Актуализация от 2 ноември 2026 г. — Наличност на фина настройка. Собствената услуга за фина настройка на OpenAI се преустановява постепенно: към 7 май 2026 г. организациите, които никога не са стартирали задача за фина настройка, вече не могат да създават такива; от 2 юли насам трябва да сте използвали фина настроен модел през последните 60 дни; а считано от 6 януари 2027 г. никой клиент няма да може да стартира нови задачи. Вече обучените модели остават използваеми до оттеглянето на базовия им модел. Този курс остава полезен за разбиране и използване на съществуващ модел; за нови проекти дайте приоритет на инженерството на подкани (prompt engineering), RAG и оценяването.
Защо почистването е от критично значение
Технически валиден JSONL файл не гарантира добра фина настройка. Шумни, несъгласувани или лошо форматирани данни ще влошат ефективността на модела, вместо да я подобрят – и най-лошото е, че това няма да предизвика никакви грешки. Задачата ще завърши успешно, моделът ще бъде готов и Вие ще откриете проблема едва в производствена среда. Този урок обхваща техниките за почистване и валидиране, които трябва да изпълните преди качването.
Техническо валидиране на файла
Започнете с механиката: уверете се, че файлът Ви е синтактично правилен и че всеки ред спазва очаквания договор. Функцията по-долу обхожда файла ред по ред, натрупвайки грешки, вместо да спира при първата (целта е да получите пълен списък, а не да се връщате назад за всеки проблем) и връща полезни статистики по пътя, като наличието на системни съобщения и разговори с много обрати.
import json
def validate_jsonl(path: str) -> dict:
"""Validates a JSONL file and returns statistics."""
errors = []
stats = {"total": 0, "with_system": 0, "multi_turn": 0}
valid_roles = {"system", "user", "assistant"}
with open(path, "r", encoding="utf-8") as f:
for i, line in enumerate(f, 1):
stats["total"] += 1
try:
obj = json.loads(line.strip())
except json.JSONDecodeError as e:
errors.append(f"Line {i}: Invalid JSON — {e}")
continue
if "messages" not in obj:
errors.append(f"Line {i}: Missing 'messages' key")
continue
messages = obj["messages"]
if not isinstance(messages, list) or len(messages) < 2:
errors.append(f"Line {i}: Minimum 2 messages required")
continue
for j, msg in enumerate(messages):
role = msg.get("role")
if role not in valid_roles:
errors.append(f"Line {i}, msg {j}: Invalid role")
if not msg.get("content", "").strip():
errors.append(f"Line {i}, msg {j}: Empty content")
if not any(m["role"] == "assistant" for m in messages):
errors.append(f"Line {i}: No assistant message")
if messages[0]["role"] == "system":
stats["with_system"] += 1
user_turns = sum(1 for m in messages if m["role"] == "user")
if user_turns > 1:
stats["multi_turn"] += 1
return {"errors": errors, "stats": stats}
result = validate_jsonl("training_data.jsonl")
if result["errors"]:
print(f"Errors: {len(result['errors'])}")
for err in result["errors"][:10]:
print(f" - {err}")
else:
print(f"File valid — {result['stats']['total']} examples")
Почистване на съдържанието
Точните или почти идентични дубликати пристрастяват обучението, като свръхпредставят определени шаблони. Това се случва естествено, когато агрегирате множество експорти: един и същи често задаван въпрос се появява тридесет пъти във Вашите логове и моделът заключава, че заслужава тридесет пъти повече внимание от другите. Хеш на конкатенираното съдържание на съобщенията е достатъчен, за да ги елиминирате.
import hashlib
def deduplicate(examples: list[dict]) -> list[dict]:
"""Removes duplicates based on message content."""
seen = set()
unique = []
for ex in examples:
content = "|".join(
f"{m['role']}:{m['content']}" for m in ex["messages"]
)
h = hashlib.md5(content.encode()).hexdigest()
if h not in seen:
seen.add(h)
unique.append(ex)
print(f"Duplicates removed: {len(examples) - len(unique)}")
return unique
Следва нормализирането на текста, което адресира четири отделни проблема. Множествените интервали и излишните нови редове, наследени от копиране и поставяне, трябва да бъдат премахнати. Кодирането трябва да бъде нормализирано до UTF-8 с премахнати контролни знаци – невидими, но често присъстващи в експорти от бази данни. Пунктуацията заслужава проверка: отговор, прекъснат по средата, учи модела да се прекъсва сам. Накрая, осигурете съгласуваност на езика – ако искате официално обръщение, проверете дали никой пример не използва неофициално такова, защото моделът ще възпроизведе вярно сместа.
import re
import unicodedata
def normalize_text(text: str) -> str:
"""Normalizes text for training."""
text = unicodedata.normalize("NFC", text)
text = re.sub(r"[\x00-\x09\x0b-\x0c\x0e-\x1f\x7f]", "", text)
text = re.sub(r"[ \t]+", " ", text)
text = re.sub(r"\n{3,}", "\n\n", text)
return text.strip()
Проверки за съгласуваност
Ако използвате системно съобщение, то трябва да бъде строго идентично във всички Ваши примери. Два варианта, които се различават само с една дума, са достатъчни, за да размият сигнала: моделът спира да учи конкретна инструкция и започва да учи неясно семейство от инструкции. Проверката е тривиална, а резултатът често е изненадващ при корпус, изграден от множество хора.
def check_system_messages(examples: list[dict]):
"""Checks consistency of system messages."""
system_msgs = set()
for ex in examples:
for msg in ex["messages"]:
if msg["role"] == "system":
system_msgs.add(msg["content"].strip())
if len(system_msgs) > 1:
print(f"Warning: {len(system_msgs)} different system messages")
for sm in system_msgs:
print(f" - {sm[:80]}...")
elif len(system_msgs) == 1:
print("System message consistent")
else:
print("No system message used")
Разпределението на дължините на отговорите разказва същата история от друг ъгъл. Силно хетерогенните отговори сигнализират, че множество хора са писали корпуса с различни представи как изглежда един добър отговор, или че в партидата се е промъкнал аутлайър. Прагът, използван тук – максимум, по-голям от пет пъти средната стойност – не е абсолютен, но насочва вниманието Ви към правилното място.
def analyze_lengths(examples: list[dict]):
"""Analyzes the distribution of response lengths."""
lengths = []
for ex in examples:
for msg in ex["messages"]:
if msg["role"] == "assistant":
lengths.append(len(msg["content"]))
if lengths:
avg = sum(lengths) / len(lengths)
mini, maxi = min(lengths), max(lengths)
print(f"Response length — Avg: {avg:.0f} | Min: {mini} | Max: {maxi}")
if maxi > avg * 5:
print("High dispersion — check for outliers")
Използване на API за валидиране на OpenAI
След като сте изпълнили собствените си проверки, качете файла и оставете OpenAI също да го валидира. Услугата е безплатна, мигновена и Ви спестява откриването на проблем с формата, когато задачата стартира.
from openai import OpenAI
client = OpenAI()
file = client.files.create(
file=open("training_data.jsonl", "rb"),
purpose="fine-tune"
)
print(f"File uploaded: {file.id}")
print(f"Status: {file.status}")
Ако файлът съдържа грешки, статусът ще се промени на error с подробно съобщение. Поправете докладваните проблеми, преди да опитате отново.
Контролен списък преди фина настройка
Преминете през този списък последователно, преди да създадете задачата – всяка точка съответства на проверка, разгледана по-горе, с изключение на последната, която никой скрипт не може да замени:
- JSONL файлът е синтактично валиден
- Няма дубликати
- Текстът е нормализиран (UTF-8, интервали, пунктуация)
- Системните съобщения са съгласувани
- Поне 50 примера (идеално 100+)
- Извършено е разделяне на обучаващи/валидационни данни
- Разумно разпределение на дължините
- Човешки преглед на произволна извадка
Ключови изводи
- Винаги валидирайте JSONL синтаксиса преди качване
- Премахнете дубликатите, за да избегнете свръхобучение
- Съгласуваността на системното съобщение е от съществено значение
- Проверете разпределението на дължините на отговорите
- Осигурете човешки преглед на извадка – това е незаменимо