Salt la conținutul principal
Română— Alege o limbă
Meniu

Hiperparametri: Epoci, Rata de Învățare, Dimensiunea Lotului

Lecția 6 din 16 Actualizată 2 noiembrie 2026 Avansat
Pe această pagină
  1. Rolul hiperparametrilor
  2. Numărul de epoci
  3. Multiplicatorul ratei de învățare
  4. Dimensiunea lotului (Batch Size)
  5. O metodă de optimizare
  6. Valoarea „auto“
  7. Puncte cheie

Actualizare 2 noiembrie 2026 — Disponibilitatea fine-tuning-ului. Serviciul de fine-tuning self-service al OpenAI este în curs de eliminare: începând cu 7 mai 2026, organizațiile care nu au rulat niciodată un job de fine-tuning nu mai pot crea unul; începând cu 2 iulie, trebuie să fi utilizat un model ajustat (fine-tuned) în ultimele 60 de zile; iar începând cu 6 ianuarie 2027, niciun client nu va mai putea lansa joburi noi. Modelele deja antrenate rămân utilizabile până la retragerea modelului lor de bază. Acest curs rămâne util pentru înțelegerea și valorificarea unui model existent; pentru proiecte noi, prioritizați ingineria prompturilor, RAG și evaluările.

Rolul hiperparametrilor

Datele dumneavoastră descriu ce ar trebui să învețe modelul; hiperparametrii descriu cum învață acesta. Implicit, OpenAI selectează automat valori rezonabile bazate pe dimensiunea setului de date, iar pentru un prim job, aceasta este decizia corectă. Totuși, atunci când un model are performanțe slabe în ciuda unui corpus curat, diferența provine aproape întotdeauna din aceste setări, iar ajustarea lor manuală poate îmbunătăți semnificativ rezultatele.

Numărul de epoci

O epocă reprezintă o parcurgere completă a întregului set de date de antrenament. Cu cât rulați mai multe epoci, cu atât modelul vede fiecare exemplu de mai multe ori și reține mai multe detalii. Prea puține epoci și modelul nu a învățat suficient: aceasta este sub-ajustarea (underfitting), iar răspunsurile dumneavoastră vor arăta în continuare ca cele ale modelului de bază. Prea multe epoci și modelul memorează exemplele în loc să generalizeze: aceasta este supra-ajustarea (overfitting), iar modelul va recita cele o sută de răspunsuri de antrenament de îndată ce o întrebare seamănă vag cu una dintre ele, prăbușindu-se în fața unor formulări nevăzute.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "n_epochs": 3
    }
)

Setarea corectă depinde direct de volumul datelor dumneavoastră: cu cât aveți mai puține exemple, cu atât trebuie să le parcurgeți de mai multe ori pentru ca semnalul să se fixeze.

Dimensiunea setului de date Epoci recomandate Motivul
50–100 exemple 4–8 Date puține, necesită mai multe parcurgeri
100–500 exemple 2–4 Echilibru bun între învățare și generalizare
500+ exemple 1–2 Suficiente date, risc de supra-ajustare

Multiplicatorul ratei de învățare

Rata de învățare controlează magnitudinea ajustărilor aplicate ponderilor modelului la fiecare pas de antrenament. Dacă este setată prea mare, modelul corectează prea agresiv la fiecare pas, oscilează în jurul răspunsului corect și nu reușește să convergă; dacă este setată prea mică, învață foarte lent sau deloc, lăsându-vă la finalul antrenamentului cu un model aproape identic cu cel de la început.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "learning_rate_multiplier": 1.8
    }
)

Valoarea implicită este calculată automat de OpenAI în funcție de dimensiunea setului de date. În practică, intervalul 1.0–2.0 corespunde acestui comportament implicit și se potrivește majorității cazurilor. Scăderea la 0.5–1.0 face învățarea mai prudentă, ceea ce ajută în cazul seturilor de date mici, unde câteva exemple atipice ar putea devia modelul prea mult de la cursul corect. Depășirea valorii de 2.0 duce la o învățare agresivă, rezervată situațiilor în care ați observat că modelul nu progresează suficient — și trebuie verificată imediat prin pierderea de validare (validation loss).

Dimensiunea lotului (Batch Size)

Dimensiunea lotului determină câte exemple sunt procesate împreună înainte de actualizarea ponderilor modelului. Un lot mic produce actualizări frecvente: învățarea este mai zgomotoasă, fiecare exemplu având o greutate mare în corecție, dar este și mai reactivă. Un lot mare mediază mai multe exemple înainte de fiecare corecție, rezultând actualizări mai puțin frecvente și o învățare mai stabilă — aceasta este pârghia de acționat atunci când curbele dumneavoastră sunt instabile fără un motiv aparent.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "batch_size": 4
    }
)

Nu trebuie să reglați acești parametri separat: toți trei intră în același dicționar.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    validation_file=validation_file.id,
    model="gpt-5.6-luna",
    suffix="optimise-v2",
    hyperparameters={
        "n_epochs": 3,
        "learning_rate_multiplier": 1.5,
        "batch_size": 4
    }
)

O metodă de optimizare

Greșeala clasică este schimbarea tuturor celor trei valori simultan, observarea unei îmbunătățiri și lipsa de claritate privind care dintre ele a cauzat-o. Procedați în această ordine:

  1. Prima rulare: lăsați valorile la default (auto)
  2. Analizați pierderea (loss): dacă pierderea de antrenament scade, dar pierderea de validare crește, aveți supra-ajustare
  3. Ajustați un singur parametru pe rând: nu schimbați niciodată totul deodată
  4. Documentați fiecare rulare: notați hiperparametrii și rezultatele

Acest jurnal nu este doar o formalitate birocratică. La a treia sau a patra rulare, un tabel care leagă un ID de job, hiperparametrii utilizați și rezultatul observat va învinge mereu memoria dumneavoastră. Iată cum să interpretați cele mai comune simptome.

Simptom observatCorecție de încercat
Pierderea de antrenament nu scadeCreșteți rata de învățare sau numărul de epoci
Pierderea de validare creșteReduceți numărul de epoci, creșteți dimensiunea lotului
Rezultate instabileReduceți rata de învățare
Model prea similar cu modelul de bazăCreșteți numărul de epoci

Valoarea „auto“

Dacă nu specificați un hiperparametru, OpenAI alege automat o valoare optimă. Astfel, nu sunteți niciodată obligat să completați totul: setați ceea ce doriți să controlați și lăsați restul reglajului automat. Aceasta este adesea cel mai bun punct de plecare și vă oferă o linie de bază pentru a compara ajustările ulterioare.

# Doar n_epochs este setat; restul este auto
job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "n_epochs": 3
        # learning_rate_multiplier și batch_size vor fi auto
    }
)

Puncte cheie

  • Începeți întotdeauna cu valorile implicite (auto) înainte de a face ajustări
  • n_epochs: ajustați primul, în funcție de dimensiunea datelor
  • learning_rate_multiplier: ajustați dacă convergența este prea lentă sau prea instabilă
  • batch_size: ajustați dacă antrenamentul este zgomotos
  • Schimbați un singur hiperparametru pe rând pentru a-i înțelege impactul
  • Utilizați întotdeauna un fișier de validare pentru a detecta supra-ajustarea