Hyperparametry: Epochy, míra učení, velikost dávky
Na této stránce
Aktualizace 2. listopadu 2026 — Dostupnost jemného ladění. Služba pro vlastní jemné ladění od OpenAI je postupně ukončována: od 7. května 2026 organizace, které nikdy nespustily úlohu jemného ladění, již novou vytvořit nemohou; od 2. července musíte mít model po jemném ladění použitý během posledních 60 dnů; a počínaje 6. lednem 2027 žádný zákazník nebude moci spustit nové úlohy. Již natrénované modely zůstávají použitelné až do vyřazení jejich základního modelu. Tento kurz je stále užitečný pro pochopení a využití existujícího modelu; u nových projektů dejte přednost inženýrství promptů, RAG a evaluacím.
Role hyperparametrů
Tvá data popisují, co se má model naučit; hyperparametry popisují, jak se to učí. Ve výchozím nastavení OpenAI automaticky vybírá rozumné hodnoty na základě velikosti tvé datové sady a pro první úlohu je to správný postup. Pokud však model podává slabé výsledky navzdory čistému korpusu, rozdíl téměř vždy spočívá právě v těchto nastaveních a jejich ruční úprava může výsledky výrazně zlepšit.
Počet epoch
Epocha je jeden úplný průchod celou tvou tréninkovou datovou sadou. Čím více epoch spustíš, tím vícekrát model uvidí každý příklad a tím více detailů si zapamatuje. Příliš málo epoch a model se nenaučil dost: tomu se říká podučení (underfitting) a tvé odpovědi stále vypadají jako ty ze základního modelu. Příliš mnoho epoch a model si příklady místo zobecnění pouze zapamatuje: tomu se říká přeučení (overfitting) a model odříkává tvých sto tréninkových odpovědí, jakmile se otázka byť jen vzdáleně podobá jedné z nich, zatímco u neviděného formulování selhává.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"n_epochs": 3
}
)
Správné nastavení přímo závisí na objemu tvých dat: čím méně příkladů máš, tím vícekrát jimi musíš projít, aby se signál uchytíl.
| Velikost datové sady | Doporučené epochy | Důvod |
|---|---|---|
| 50–100 příkladů | 4–8 | Málo dat, potřebuje více průchodů |
| 100–500 příkladů | 2–4 | Dobrá rovnováha mezi učením a zobecňováním |
| 500+ příkladů | 1–2 | Dostatek dat, riziko přeučení |
Násobitel míry učení
Míra učení řídí velikost úprav aplikovaných na váhy modelu v každém tréninkovém kroku. Pokud je nastavena příliš vysoko, model se v každém kroku opravuje příliš agresivně, osciluje kolem správné odpovědi a nedokáže konvergovat; pokud je příliš nízká, učí se velmi pomalu, nebo vůbec ne, což na konci tréninku vede k modelu, který je téměř totožný s tím počátečním.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"learning_rate_multiplier": 1.8
}
)
Výchozí hodnota je automaticky vypočítána OpenAI na základě velikosti tvé datové sady. V praxi rozsah 1,0–2,0 odpovídá tomuto výchozímu chování a vyhovuje většině případů. Snížení na 0,5–1,0 činí učení opatrnějším, což pomáhá u malých datových sad, kde by několik atypických příkladů mohlo model příliš vychýlit z kurzu. Hodnoty nad 2,0 vedou k agresivnímu učení, vyhrazenému situacím, kdy jsi pozoroval, že se model neposouvá dostatečně – a měly by být okamžitě ověřeny proti validační ztrátě.
Velikost dávky
Velikost dávky určuje, kolik příkladů je zpracováno dohromady před aktualizací vah modelu. Malá dávka produkuje časté aktualizace: učení je hlučnější, každý příklad má při opravě velkou váhu, ale je také reagující. Velká dávka zprůměruje více příkladů před každou opravou, což vede k méně častým aktualizacím a stabilnějšímu učení – toto je páka, kterou zatáhneš, když jsou tvé křivky bez zjevného důvodu roztřesené.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"batch_size": 4
}
)
Nemusíš je ladit odděleně: všechny tři parametry patří do stejného slovníku.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
validation_file=validation_file.id,
model="gpt-5.6-luna",
suffix="optimise-v2",
hyperparameters={
"n_epochs": 3,
"learning_rate_multiplier": 1.5,
"batch_size": 4
}
)
Metoda optimalizace
Klasickou chybou je změna všech tří hodnot najednou, zaznamenání zlepšení a následné nevědomosti, která z nich jej způsobila. Postupuj v tomto pořadí:
- První běh: ponech hodnoty na výchozích (auto)
- Analyzuj ztrátu: pokud tréninková ztráta klesá, ale validační roste, dochází k přeučení
- Upravuj jeden parametr najednou: nikdy neměň vše najednou
- Dokumentuj každý běh: zaznamenej hyperparametry a výsledky
Tento log není jen byrokracie. U třetího či čtvrtého běhu tě tabulka propojující ID úlohy, použité hyperparametry a pozorovaný výsledek porazí paměť pokaždé. Zde je návod, jak číst nejčastější symptomy.
| Pozorovaný symptom | Oprava k vyzkoušení |
|---|---|
| Tréninková ztráta neklesá | Zvyš míru učení nebo počet epoch |
| Validační ztráta roste | Sniž počet epoch, zvyš velikost dávky |
| Nestabilní výsledky | Sniž míru učení |
| Model příliš podobný základnímu modelu | Zvyš počet epoch |
Hodnota „auto“
Pokud hyperparametr nezadáš, OpenAI automaticky zvolí optimální hodnotu. Nikdy tedy nemusíš vyplňovat vše: nastav to, co chceš řídit, a zbytek nech na automatickém ladění. To je často nejlepší výchozí bod a poskytuje ti základní linii, se kterou můžeš porovnávat své pozdější úpravy.
# Nastaveno pouze n_epochs; zbytek je auto
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"n_epochs": 3
# learning_rate_multiplier a batch_size budou auto
}
)
Klíčové poznatky
- Vždy začni s výchozími hodnotami (auto), než začneš cokoliv upravovat
n_epochs: upravuj jako první, na základě velikosti tvých datlearning_rate_multiplier: upravuj, pokud je konvergence příliš pomalá nebo příliš nestabilníbatch_size: upravuj, pokud je trénink hlučný- Měň vždy pouze jeden hyperparametr najednou, abys pochopil jeho dopad
- Vždy používej validační soubor k detekci přeučení