Премини към основното съдържание
Български— Изберете език
Меню

Хиперпараметри: Епохи, Скорост на обучение, Размер на партидата

Урок 6 от 16 Обновен 2 ноември 2026 г. Напреднало
На тази страница
  1. Ролята на хиперпараметрите
  2. Броят на епохите
  3. Множител на скоростта на обучение
  4. Размер на партидата
  5. Метод за оптимизация
  6. Стойността “auto”
  7. Ключови изводи

Актуализация от 2 ноември 2026 г. — Наличност на фина настройка. Собствената услуга за фина настройка на OpenAI се прекратява постепенно: от 7 май 2026 г. организации, които никога не са стартирали задача за фина настройка, вече не могат да създават такива; от 2 юли трябва да сте използвали фина настроен модел през последните 60 дни; а считано от 6 януари 2027 г. никой клиент няма да може да стартира нови задачи. Вече обучените модели остават usable до оттеглянето на базовия им модел. Този курс остава полезен за разбиране и използване на съществуващ модел; за нови проекти дайте приоритет на инженерството на подкани (prompt engineering), RAG и оценяването.

Ролята на хиперпараметрите

Вашите данни описват какво трябва да научи моделът; хиперпараметрите описват как той го научава. По подразбиране OpenAI автоматично избира разумни стойности въз основа на размера на вашия набор от данни и за първа задача това е правилният ход. Но когато моделът се представя слабо въпреки чист корпус, разликата почти винаги се свежда до тези настройки и ръчното им коригиране може значително да подобри резултатите.

Броят на епохите

Епохата е едно пълно преминаване през целия ви набор от данни за обучение. Колкото повече епохи стартирате, толкова повече пъти моделът вижда всеки пример и толкова повече детайли запазва. Твърде малко епохи и моделът не е научил достатъчно: това е недообучаване (underfitting) и вашите отговори все още приличат на тези от базовия модел. Твърде много епохи и той запомня примерите вместо да обобщава: това е преобучаване (overfitting) и моделът рецитира вашите сто обучителни отговора веднага щом въпросът отдалечено прилича на някой от тях, докато се разпада при невиждани формулировки.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "n_epochs": 3
    }
)

Правилната настройка зависи пряко от обема на вашите данни: колкото по-малко примери имате, толкова повече пъти трябва да преминете през тях, за да се задържи сигналът.

Размер на набора от данни Препоръчителни епохи Причина
50–100 примера 4–8 Малко данни, нужда от повече преминавания
100–500 примера 2–4 Добър баланс между учене и обобщаване
500+ примера 1–2 Достатъчно данни, риск от преобучаване

Множител на скоростта на обучение

Скоростта на обучение контролира големината на корекциите, прилагани към теглата на модела при всяка стъпка на обучение. Ако е зададена твърде високо, моделът коригира твърде агресивно на всяка стъпка, осцилира около правилния отговор и не успява да се стабилизира (converge); ако е твърде ниска, той учи много бавно или изобщо не учи, оставяйки ви в края на обучението с модел, който е почти идентичен с началния.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "learning_rate_multiplier": 1.8
    }
)

Стойността по подразбиране се изчислява автоматично от OpenAI въз основа на размера на вашия набор от данни. На практика диапазонът 1.0–2.0 съответства на това поведение по подразбиране и подхожда за повечето случаи. Намаляването до 0.5–1.0 прави обучението по-предпазливо, което помага при малки набори от данни, където няколко нетипични примера биха могли да отклонят модела твърде далеч. Стойности над 2.0 водят до агресивно обучение, запазено за ситуации, в които сте наблюдавали, че моделът не се движи достатъчно — и трябва незабавно да се провери спрямо загубата при валидиране (validation loss).

Размер на партидата

Размерът на партидата определя колко примера се обработват заедно преди актуализиране на теглата на модела. Малка партида произвежда чести актуализации: обучението е по-шумно, като всеки пример тежи силно в корекцията, но също така е по-отзивчиво. Голяма партида осреднява повече примери преди всяка корекция, което води до по-редки актуализации и по-стабилно обучение — това е лостът, който дърпате, когато кривите ви трептят без видима причина.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "batch_size": 4
    }
)

Не е необходимо да ги настройвате поотделно: и трите параметъра отиват в един и същи речник.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    validation_file=validation_file.id,
    model="gpt-5.6-luna",
    suffix="optimise-v2",
    hyperparameters={
        "n_epochs": 3,
        "learning_rate_multiplier": 1.5,
        "batch_size": 4
    }
)

Метод за оптимизация

Класическата грешка е да промените и трите стойности наведнъж, да видите подобрение и да нямате представа кое го е причинило. Действайте в следния ред:

  1. Първо стартиране: оставете стойностите по подразбиране (auto)
  2. Анализирайте загубата: ако загубата при обучение намалява, но загубата при валидиране се увеличава, имате преобучаване
  3. Коригирайте един параметър наведнъж: никога не променяйте всичко едновременно
  4. Документирайте всяко стартиране: отбележете хиперпараметрите и резултатите

Този дневник не е просто бюрократация. Към третото или четвъртото стартиране, таблица, свързваща ID на задачата, използваните хиперпараметри и наблюдавания резултат, винаги побеждава паметта ви. Ето как да разчетете най-честите симптоми.

Наблюдаван симптомКорекция за опитване
Загубата при обучение не намаляваУвеличете скоростта на обучение или броя на епохите
Загубата при валидиране се увеличаваНамалете броя на епохите, увеличете размера на партидата
Нестабилни резултатиНамалете скоростта на обучение
Моделът е твърде подобен на базовия моделУвеличете броя на епохите

Стойността “auto”

Ако не посочите хиперпараметър, OpenAI автоматично избира оптимална стойност. Така че никога не сте принудени да попълвате всичко: задайте онова, което искате да контролирате, и оставете останалото на автоматичната настройка. Това често е най-добрата отправна точка и ви дава базова линия, спрямо която да сравнявате по-късните си корекции.

# Зададен е само n_epochs; останалото е auto
job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "n_epochs": 3
        # learning_rate_multiplier и batch_size ще бъдат auto
    }
)

Ключови изводи

  • Винаги започвайте със стойности по подразбиране (auto), преди да правите корекции
  • n_epochs: коригирайте първо, въз основа на размера на вашите данни
  • learning_rate_multiplier: коригирайте, ако стабилизацията е твърде бавна или твърде нестабилна
  • batch_size: коригирайте, ако обучението е шумно
  • Променяйте само един хиперпараметър наведнъж, за да разберете неговото въздействие
  • Винаги използвайте файл за валидиране, за да откриете преобучаване