Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Hyperparametry: Epochy, míra učení, velikost dávky

Lekce 6 z 16 Aktualizováno 2. listopadu 2026 Pokročilý
Na této stránce
  1. Role hyperparametrů
  2. Počet epoch
  3. Násobitel míry učení
  4. Velikost dávky
  5. Metoda optimalizace
  6. Hodnota „auto“
  7. Klíčové poznatky

Aktualizace 2. listopadu 2026 — Dostupnost jemného ladění. Služba pro vlastní jemné ladění od OpenAI je postupně ukončována: od 7. května 2026 organizace, které nikdy nespustily úlohu jemného ladění, již novou vytvořit nemohou; od 2. července musíte mít model po jemném ladění použitý během posledních 60 dnů; a počínaje 6. lednem 2027 žádný zákazník nebude moci spustit nové úlohy. Již natrénované modely zůstávají použitelné až do vyřazení jejich základního modelu. Tento kurz je stále užitečný pro pochopení a využití existujícího modelu; u nových projektů dejte přednost inženýrství promptů, RAG a evaluacím.

Role hyperparametrů

Tvá data popisují, co se má model naučit; hyperparametry popisují, jak se to učí. Ve výchozím nastavení OpenAI automaticky vybírá rozumné hodnoty na základě velikosti tvé datové sady a pro první úlohu je to správný postup. Pokud však model podává slabé výsledky navzdory čistému korpusu, rozdíl téměř vždy spočívá právě v těchto nastaveních a jejich ruční úprava může výsledky výrazně zlepšit.

Počet epoch

Epocha je jeden úplný průchod celou tvou tréninkovou datovou sadou. Čím více epoch spustíš, tím vícekrát model uvidí každý příklad a tím více detailů si zapamatuje. Příliš málo epoch a model se nenaučil dost: tomu se říká podučení (underfitting) a tvé odpovědi stále vypadají jako ty ze základního modelu. Příliš mnoho epoch a model si příklady místo zobecnění pouze zapamatuje: tomu se říká přeučení (overfitting) a model odříkává tvých sto tréninkových odpovědí, jakmile se otázka byť jen vzdáleně podobá jedné z nich, zatímco u neviděného formulování selhává.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "n_epochs": 3
    }
)

Správné nastavení přímo závisí na objemu tvých dat: čím méně příkladů máš, tím vícekrát jimi musíš projít, aby se signál uchytíl.

Velikost datové sady Doporučené epochy Důvod
50–100 příkladů 4–8 Málo dat, potřebuje více průchodů
100–500 příkladů 2–4 Dobrá rovnováha mezi učením a zobecňováním
500+ příkladů 1–2 Dostatek dat, riziko přeučení

Násobitel míry učení

Míra učení řídí velikost úprav aplikovaných na váhy modelu v každém tréninkovém kroku. Pokud je nastavena příliš vysoko, model se v každém kroku opravuje příliš agresivně, osciluje kolem správné odpovědi a nedokáže konvergovat; pokud je příliš nízká, učí se velmi pomalu, nebo vůbec ne, což na konci tréninku vede k modelu, který je téměř totožný s tím počátečním.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "learning_rate_multiplier": 1.8
    }
)

Výchozí hodnota je automaticky vypočítána OpenAI na základě velikosti tvé datové sady. V praxi rozsah 1,0–2,0 odpovídá tomuto výchozímu chování a vyhovuje většině případů. Snížení na 0,5–1,0 činí učení opatrnějším, což pomáhá u malých datových sad, kde by několik atypických příkladů mohlo model příliš vychýlit z kurzu. Hodnoty nad 2,0 vedou k agresivnímu učení, vyhrazenému situacím, kdy jsi pozoroval, že se model neposouvá dostatečně – a měly by být okamžitě ověřeny proti validační ztrátě.

Velikost dávky

Velikost dávky určuje, kolik příkladů je zpracováno dohromady před aktualizací vah modelu. Malá dávka produkuje časté aktualizace: učení je hlučnější, každý příklad má při opravě velkou váhu, ale je také reagující. Velká dávka zprůměruje více příkladů před každou opravou, což vede k méně častým aktualizacím a stabilnějšímu učení – toto je páka, kterou zatáhneš, když jsou tvé křivky bez zjevného důvodu roztřesené.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "batch_size": 4
    }
)

Nemusíš je ladit odděleně: všechny tři parametry patří do stejného slovníku.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    validation_file=validation_file.id,
    model="gpt-5.6-luna",
    suffix="optimise-v2",
    hyperparameters={
        "n_epochs": 3,
        "learning_rate_multiplier": 1.5,
        "batch_size": 4
    }
)

Metoda optimalizace

Klasickou chybou je změna všech tří hodnot najednou, zaznamenání zlepšení a následné nevědomosti, která z nich jej způsobila. Postupuj v tomto pořadí:

  1. První běh: ponech hodnoty na výchozích (auto)
  2. Analyzuj ztrátu: pokud tréninková ztráta klesá, ale validační roste, dochází k přeučení
  3. Upravuj jeden parametr najednou: nikdy neměň vše najednou
  4. Dokumentuj každý běh: zaznamenej hyperparametry a výsledky

Tento log není jen byrokracie. U třetího či čtvrtého běhu tě tabulka propojující ID úlohy, použité hyperparametry a pozorovaný výsledek porazí paměť pokaždé. Zde je návod, jak číst nejčastější symptomy.

Pozorovaný symptomOprava k vyzkoušení
Tréninková ztráta neklesáZvyš míru učení nebo počet epoch
Validační ztráta rosteSniž počet epoch, zvyš velikost dávky
Nestabilní výsledkySniž míru učení
Model příliš podobný základnímu modeluZvyš počet epoch

Hodnota „auto“

Pokud hyperparametr nezadáš, OpenAI automaticky zvolí optimální hodnotu. Nikdy tedy nemusíš vyplňovat vše: nastav to, co chceš řídit, a zbytek nech na automatickém ladění. To je často nejlepší výchozí bod a poskytuje ti základní linii, se kterou můžeš porovnávat své pozdější úpravy.

# Nastaveno pouze n_epochs; zbytek je auto
job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "n_epochs": 3
        # learning_rate_multiplier a batch_size budou auto
    }
)

Klíčové poznatky

  • Vždy začni s výchozími hodnotami (auto), než začneš cokoliv upravovat
  • n_epochs: upravuj jako první, na základě velikosti tvých dat
  • learning_rate_multiplier: upravuj, pokud je konvergence příliš pomalá nebo příliš nestabilní
  • batch_size: upravuj, pokud je trénink hlučný
  • Měň vždy pouze jeden hyperparametr najednou, abys pochopil jeho dopad
  • Vždy používej validační soubor k detekci přeučení