Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Hyperparametre: Epochs, Learning Rate, Batch Size

Lektion 6 af 16 Opdateret 2. november 2026 Avanceret
På denne side
  1. Hyperparametrenes rolle
  2. Antallet af epochs
  3. Learning rate-multiplikatoren
  4. Batch-størrelsen
  5. En optimeringsmetode
  6. „Auto”-værdien
  7. Vigtige pointer

Opdatering 2. november 2026 — Tilgængelighed af fine-tuning. OpenAIs selvbetjente fine-tuning udfases: Siden 7. maj 2026 har organisationer, der aldrig har kørt et fine-tuning-job, ikke længere mulighed for at oprette et; siden 2. juli skal du have brugt en fine-tunet model inden for de sidste 60 dage; og fra 6. januar 2027 vil ingen kunder kunne starte nye jobs. Allerede trænede modeller forbliver brugbare, indtil deres basismodel udgår. Dette kursus er stadig nyttigt til at forstå og udnytte en eksisterende model; til nye projekter bør du prioritere prompt engineering, RAG og evalueringer.

Hyperparametrenes rolle

Dine data beskriver hvad modellen skal lære; hyperparametre beskriver hvordan den lærer. Som standard vælger OpenAI automatisk rimelige værdier baseret på din datasæts størrelse, og til et første job er det det rigtige træk. Men når en model underpræsterer trods et rent korpus, skyldes forskellen næsten altid disse indstillinger, og manuel justering af dem kan forbedre resultaterne markant.

Antallet af epochs

En epoch er en komplet gennemgang af hele dit træningsdatasæt. Jo flere epochs du kører, jo flere gange ser modellen hvert eksempel, og jo flere detaljer husker den. For få epochs, og modellen har ikke lært nok: dette kaldes underfitting, og dine svar ligner stadig dem fra basismodellen. For mange epochs, og den memoriserer eksemplerne i stedet for at generalisere: dette er overfitting, og modellen reciterer dine hundrede træningssvar, så snart et spørgsmål bare minder vagt om ét, mens den bryder sammen ved ukendte formuleringer.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "n_epochs": 3
    }
)

Den rigtige indstilling afhænger direkte af din datamængde: jo færre eksempler du har, jo flere gange skal du gennemgå dem, for at signalet hænger ved.

Datasætstørrelse Anbefalede epochs Årsag
50–100 eksempler 4–8 Få data, kræver flere gennemgange
100–500 eksempler 2–4 God balance mellem læring og generalisering
500+ eksempler 1–2 Nok data, risiko for overfitting

Learning rate-multiplikatoren

Learning rate styrer størrelsen af de justeringer, der anvendes på modellens vægte ved hvert træningstrin. Sættes den for højt, korrigerer modellen for aggressivt ved hvert trin, oscillerer omkring det rigtige svar og konvergerer ikke; sættes den for lavt, lærer den meget langsomt eller slet ikke, hvilket efterlader dig med en model ved træningens afslutning, der næsten er identisk med startmodellen.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "learning_rate_multiplier": 1.8
    }
)

Standardværdien beregnes automatisk af OpenAI baseret på dit datasæts størrelse. I praksis matcher intervallet 1,0–2,0 denne standardadfærd og passer til de fleste tilfælde. At gå ned til 0,5–1,0 gør læringen mere forsigtig, hvilket hjælper på små datasæt, hvor få atypiske eksempler kunne trække modellen for langt ud af kurs. At gå over 2,0 giver aggressiv læring, som er forbeholdt situationer, hvor du har observeret, at modellen ikke bevæger sig nok – og dette bør straks tjekkes op imod valideringstab.

Batch-størrelsen

Batch-størrelsen bestemmer, hvor mange eksempler der behandles sammen, før modellens vægte opdateres. En lille batch producerer hyppige opdateringer: læringen er mere støjende, hvor hvert eksempel vejer tungt i korrektionen, men også mere responsiv. En stor batch gennemsnitliggør flere eksempler før hver korrektion, hvilket resulterer i mindre hyppige opdateringer og mere stabil læring – dette er det greb, du skal trække i, når dine kurver ryster uden åbenlys grund.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "batch_size": 4
    }
)

Du behøver ikke at finjustere disse separat: alle tre parametre kommer ind i samme ordbog.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    validation_file=validation_file.id,
    model="gpt-5.6-luna",
    suffix="optimise-v2",
    hyperparameters={
        "n_epochs": 3,
        "learning_rate_multiplier": 1.5,
        "batch_size": 4
    }
)

En optimeringsmetode

Den klassiske fejl er at ændre alle tre værdier på én gang, se en forbedring og ikke have nogen idé om, hvilken der forårsagede den. Gå frem i denne rækkefølge:

  1. Første kørsel: lad værdierne stå på standard (auto)
  2. Analyser tabet: hvis træningstab falder, men valideringstab stiger, overfitter du
  3. Justér én parameter ad gangen: ændr aldrig alt på én gang
  4. Dokumentér hver kørsel: noter hyperparametrene og resultaterne

Denne log er ikke bare papirarbejde. Ved den tredje eller fjerde kørsel slår en tabel, der linker et job-ID, de brugte hyperparametre og det observerede resultat, din hukommelse hver gang. Her er hvordan du læser de mest almindelige symptomer.

Observeret symptomKorrektionsforsøg
Træningstab falder ikkeØg learning rate eller antal epochs
Valideringstab stigerReducér antal epochs, øg batch-størrelse
Ustabile resultaterReducér learning rate
Model for lig basismodelØg antal epochs

„Auto”-værdien

Hvis du ikke angiver en hyperparameter, vælger OpenAI automatisk en optimal værdi. Du er altså aldrig tvunget til at udfylde alt: sæt det, du vil kontrollere, og lad resten være til automatisk tuning. Dette er ofte det bedste udgangspunkt, og det giver dig en baseline at sammenligne dine senere justeringer med.

# Kun n_epochs er sat; resten er auto
job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "n_epochs": 3
        # learning_rate_multiplier og batch_size vil være auto
    }
)

Vigtige pointer

  • Start altid med standardværdier (auto), før du justerer
  • n_epochs: justér først baseret på din datasæts størrelse
  • learning_rate_multiplier: justér hvis konvergens er for langsom eller for ustabil
  • batch_size: justér hvis træningen er støjende
  • Ændr kun én hyperparameter ad gangen for at forstå dens effekt
  • Brug altid en valideringsfil til at opdage overfitting