Итерации: Кога да преобучавате модел
На тази страница
Актуализация от 2 ноември 2026 г. — Наличност на фина настройка (Fine-tuning). Услугата за самостоятелна фина настройка на OpenAI се прекратява постепенно: от 7 май 2026 г. организациите, които никога не са стартирали задача за фина настройка, вече не могат да създават такива; от 2 юли трябва да сте използвали фино настроен модел през последните 60 дни; а считано от 6 януари 2027 г., никой клиент няма да може да стартира нови задачи. Вече обучените модели остават използваеми, докато базовият им модел не бъде пенсиониран. Този курс остава полезен за разбиране и използване на съществуващ модел; за нови проекти дайте приоритет на инженерството на подсказки (prompt engineering), RAG и оценките.
Фина настройка е итеративен процес
Първото ви стартиране на фина настройка рядко ще бъде перфектно. Подобрението идва от итеративни цикли: анализирайте грешките, обогатете данните си, преквалифицирайте и преоценете. Този урок Ви учи как да идентифицирате кога и как да итерирате ефективно – и, също толкова важно, как да разпознаете ситуации, в които повторното обучение би било безсмислено.
Анализирайте грешките, преди да ги поправяте
Естественият рефлекс след разочароваща оценка е да добавяте примери на случаен принцип, надявайки се, че обемът ще реши проблема. Това е най-бързият начин да изгорите бюджета си за обучение, без да постигнете напредък. Започнете, като сортирате всеки неуспех в категория: неправилен формат, неподходящ тон, фактологична грешка, непълен отговор, отговор извън темата или чиста халюцинация. Полученото разпределение Ви показва къде да насочите усилията си и често разкрива изненада – това, което сте смятали за проблем със стила, се оказва проблем с пълнотата на отговора.
def analyze_errors(results: list[dict]) -> dict:
"""Categorizes errors from the fine-tuned model."""
categories = {
"format": [], # Incorrect response format
"tone": [], # Inappropriate tone
"factual": [], # Incorrect information
"incomplete": [], # Response too short or missing elements
"off_topic": [], # Does not answer the question
"hallucination": [] # Invents information
}
for r in results:
if r.get("score", 5) < 3:
# Classify the error (can be done manually or by an LLM)
category = classify_error(r)
categories[category].append(r)
print("Error distribution:")
for cat, errors in categories.items():
if errors:
print(f" {cat}: {len(errors)} cases")
return categories
След това прегледайте случаите в рамките на една и съща категория, за да откриете общ знаменател. Задавайте си едни и същи въпроси всеки път: моделът ли се проваля при конкретен тип въпроси, групират ли се грешките около определени теми и произлиза ли проблемът от данните или от хиперпараметрите? Неуспехите, разпръснати във всички теми, но винаги от един и същи характер, сочат липса на примери; неуспехите, концентрирани в една област, показват пропуск в обхвата; а отговорите, които се придържат твърде строго към вашите обучаващи примери независимо от въпроса, сигнализират за свръхобучение (overfitting), което изисква корекция от страна на епохите.
Разпознаване кога да итерирате
Някои сигнали недвусмислено изискват нова версия и всеки от тях изисква различен отговор. Модел, който халюцинира по дадена тема, не се поправя, като му се покажат повече правилни отговори по тази тема, а като се научи да отказва учтиво, когато не знае.
| Сигнал | Действие |
|---|---|
| Повтарящи се грешки във формата | Добавете повече примери с правилния формат |
| Моделът халюцинира по определени теми | Добавете примери, в които той учтиво отказва |
| Открито е свръхобучение (Overfitting) | Намалете епохите, разнообразете данните |
| Нови случаи на употреба за обхващане | Добавете примери за тези случаи |
| Целева отрицателна обратна връзка от потребители | Превърнете обратната връзка в коригирани примери |
Обратно, има няколко ситуации, които трябва да Ви спрат от повторно обучение. Когато грешките са редки и несистемни, коригирането на подсказката (prompt) ги решава по-бързо и по-евтино. Когато оплакванията засягат латентността или времето за изчакване, проблемът е във вашата инфраструктура и никакво количество обучение няма да го оправи. Когато сте събрали само шепа нови примери от последната версия, очакваната полза няма да покрие разхода за стартирането. И когато стане наличен нов базов модел, първо го тествайте такъв, какъвто е: понякога той постига сам, без обучение, това, което предишната Ви версия се е затруднявала да достави.
Обогатявайте, вместо да започвате отначало
Инкременталната итерация означава добавяне на целеви примери към съществуващ набор от данни, без да се пипа останалото. Това е най-честата и най-проста операция: зареждате текущия файл, конкатенирате новите случаи и презаписвате всичко във формат JSONL. Крайният брой служи като контрола – общ сбор, който не съвпада с очакваната сума, показва грешка при четене на файла или загубени редове.
import json
def enrich_dataset(
existing_dataset: str,
new_examples: list[dict],
output: str
):
"""Adds new examples to the existing dataset."""
# Load existing data
with open(existing_dataset, "r") as f:
existing = [json.loads(l) for l in f]
# Merge
combined = existing + new_examples
# Save
with open(output, "w") as f:
for ex in combined:
f.write(json.dumps(ex, ensure_ascii=False) + "\n")
print(f"Enriched dataset: {len(existing)} + {len(new_examples)} = {len(combined)}")
Корективната итерация е още по-ценна, защото превръща вашите неуспехи в суров материал. Всяка грешка, забелязана в продукционна среда, предоставя реален въпрос; трябва просто да напишете отговора, който бихте искали да сте видели, и двойката става обучаващ пример. Имайте предвид, че лошият отговор не влиза в крайния пример: той помага за документиране на случая и за вземане на решение дали корекцията си струва усилията, но моделът се учи само от правилната версия.
def error_to_example(
question: str,
bad_response: str,
good_response: str,
system_msg: str
) -> dict:
"""Transforms an error into a training example."""
return {
"messages": [
{"role": "system", "content": system_msg},
{"role": "user", "content": question},
{"role": "assistant", "content": good_response}
]
}
# Transform a batch of errors
corrections = []
for error in detected_errors:
correction = error_to_example(
question=error["question"],
bad_response=error["model_response"],
good_response=error["corrected_response"],
system_msg=SYSTEM_PROMPT
)
corrections.append(correction)
Непрекъсната фина настройка и нейните ограничения
Нищо не Ви пречи да финализирате вече фино настроен модел: просто предайте неговия пълен ID в параметъра model вместо името на базовия модел. Операцията е изкушителна, тъй като обучава само върху новите данни.
# Fine-tune from an already fine-tuned model
job_v2 = client.fine_tuning.jobs.create(
training_file=new_file.id,
model="ft:gpt-5.6-luna:org::suffix-v1:xxxxxxxx", # v1 model as base
suffix="my-assistant-v2"
)
Предупреждение: непрекъснатата фина настройка натрупва пристрастия (biases). След 2–3 последователни итерации често е по-добре да започнете отначало от базовия модел с пълен, обогатен набор от данни. Всеки слой усилва странностите на предишния, включително тези, които не сте планирали, и моделът завършва с отговаряне с твърдост, която никой не го е учил изрично.
Пълният цикъл
Стъпките по-долу формират цикъла, който ще повтаряте за всяка версия. Ако се заемете първо с най-честите грешки, следващата версия ще покаже измерими подобрения във вашия тестов набор; справянето с тях в неправилен ред води само до дифузно подобрение, което е трудно да се защити пред екипа Ви.
Събиране на грешки
Идентифицирайте случаите, в които моделът се проваля в продукционна среда или по време на оценка.
Категоризиране и приоритизиране
Класифицирайте грешките по тип и се заемете първо с най-честите.
Създаване на корективни примери
Превърнете всяка грешка в обучаващ пример с правилния отговор.
Преобучение и повторна оценка
Обучете новата версия и я сравнете с предишната върху един и същи тестов набор.
Документирайте всяка итерация
След четири или пет версии никой не си спомня какво е различавало v2 от v3 или защо v4 е била изоставена. Систематичното записване на всяко стартиране – съставът на набора от данни, източникът на нови примери, хиперпараметрите, резултатите и взетото решение – Ви предоставя тази информация, когато регресия Ви принуди да се върнете назад. Обърнете специално внимание на източника на нови примери: само това ще Ви каже месеци по-късно дали влошаването е дошло от лошо избран пакет данни.
iteration_log = {
"version": "v3",
"date": "2026-04-02",
"base_model": "gpt-5.6-luna",
"dataset": {
"train": 350,
"validation": 45,
"new_examples": 50,
"new_examples_source": "production errors week 12"
},
"hyperparameters": {
"n_epochs": 3,
"learning_rate_multiplier": "auto",
"batch_size": "auto"
},
"results": {
"validation_loss": 0.42,
"precision_test": 0.91,
"avg_csat": 4.3,
"improvement_vs_v2": "+5% precision, +0.2 CSAT"
},
"decision": "Deployed to production on 2026-04-03"
}
Ключови изводи
- Фина настройка е итеративна – планирайте множество цикли
- Категоризирайте грешките, преди да ги поправяте в данните
- Превърнете обратната връзка от потребителите в обучаващи примери
- След 2–3 последователни итерации рестартирайте от базовия модел
- Документирайте всяка итерация, за да поддържате ясна история