Iterácia: Kedy model znovu doladiť
Na tejto strane
Aktualizácia 2. novembra 2026 — Dostupnosť doladzovania. Služba vlastného doladzovania (self-service fine-tuning) od OpenAI sa postupne ukončuje: od 7. mája 2026 organizácie, ktoré nikdy nespustili úlohu doladzovania, už nemôžu vytvoriť novú; od 2. júla musíte mať použitý doladený model za posledných 60 dní; a od 6. januára 2027 nebude žiadny zákazník môcť spustiť nové úlohy. Už natrénované modely zostávajú použiteľné až do vyradenia ich základného modelu. Tento kurz zostáva užitočný na pochopenie a využitie existujúceho modelu; pre nové projekty uprednostnite inžinierstvo promptov (prompt engineering), RAG a evaluácie.
Doladzovanie je iteratívny proces
Tvoj prvý pokus o doladzovanie bude zriedkakedy dokonalý. Zlepšenie prichádza cez iteratívne cykly: analyzuj chyby, obohať svoje dáta, pretrénuj model a znovu ho vyhodnoť. Táto lekcia ťa naučí, ako identifikovať, kedy a ako efektívne iterovať – a čo je rovnako dôležité, ako rozpoznať situácie, kde by ďalšie trénovanie bolo zbytočné.
Analyzuj chyby skôr, než ich začneš opravovať
Prirodzenou reakciou po sklamaní z evaluácie je náhodné pridávanie príkladov v nádeji, že objem vyrieši problém. Je to najrýchlejší spôsob, ako spáliť rozpočet na trénovanie bez dosiahnutia pokroku. Začni tým, že každé zlyhanie zaradíš do kategórie: nesprávne formátovanie, nevhodný tón, faktická chyba, neúplná odpoveď, odpoveď mimo tému alebo čistá halucinácia. Výsledné rozdelenie ti povie, kam smerovať úsilie, a často odhalí prekvapenie – to, čo si považoval za problém so štýlom, sa ukáže byť problémom s úplnosťou.
def analyze_errors(results: list[dict]) -> dict:
"""Categorizes errors from the fine-tuned model."""
categories = {
"format": [], # Incorrect response format
"tone": [], # Inappropriate tone
"factual": [], # Incorrect information
"incomplete": [], # Response too short or missing elements
"off_topic": [], # Does not answer the question
"hallucination": [] # Invents information
}
for r in results:
if r.get("score", 5) < 3:
# Classify the error (can be done manually or by an LLM)
category = classify_error(r)
categories[category].append(r)
print("Error distribution:")
for cat, errors in categories.items():
if errors:
print(f" {cat}: {len(errors)} cases")
return categories
Následne preskúmaj prípady v rámci tej istej kategórie, aby si našiel spoločného menovateľa. Zakaždým si polož rovnaké otázky: zlyháva model pri špecifickom type otázok, zhlukujú sa chyby okolo určitých tém a pramení problém z dát alebo z hyperparametrov? Zlyhania rozptýlené vo všetkých témach, ale vždy rovnakej povahy, poukazujú na nedostatok príkladov; zlyhania sústredené v jednej doméne naznačujú medzeru v pokrytí; a odpovede, ktoré sa príliš držia tvojich trénovacích príkladov bez ohľadu na otázku, signalizujú pretrénovanie (overfitting), ktoré treba korigovať na strane epoch.
Rozpoznanie, kedy iterovať
Určité signály jednoznačne volajú po novej verzii a každá si vyžaduje inú reakciu. Model, ktorý halucinuje na určitú tému, neopravíš tým, že mu ukážeš viac správnych odpovedí na túto tému, ale tým, že ho naučíš zdvorilo odmietnuť, keď niečo nevie.
| Signál | Akcia |
|---|---|
| Opakujúce sa chyby vo formáte | Pridaj viac príkladov so správnym formátom |
| Model halucinuje na určité témy | Pridaj príklady, kde zdvorilo odmietne |
| Zistené pretrénovanie (overfitting) | Zníž počet epoch, diverzifikuj dáta |
| Nové prípady použitia na pokrytie | Pridaj príklady pre tieto prípady |
| Cielená negatívna spätná väzba od používateľov | Preveď spätnú väzbu na opravené príklady |
Naopak, niekoľko situácií by ťa malo odradiť od ďalšieho trénovania. Keď sú chyby zriedkavé a nesystematické, úprava promptu ich vyrieši rýchlejšie a lacnejšie. Keď sa sťažnosti týkajú latencie alebo čakacích dôb, problém leží v tvojej infraštruktúre a žiadne množstvo trénovania ho neopraví. Keď si od poslednej verzie nazbieral len hŕstku nových príkladov, očakávaný zisk nepokryje náklady na spustenie úlohy. A keď sa stane dostupný nový základný model, najprv ho otestuj tak, ako je: niekedy dosiahne sám o sebe, bez trénovania, to, s čím mala tvoja predchádzajúca verzia problémy.
Obohacuj, namiesto toho, aby si začínal od nuly
Inkrementálna iterácia znamená pridanie cielených príkladov do existujúcej datasety bez toho, aby si sa dotkol zvyšku. Toto je najčastejšia a najjednoduchšia operácia: načítaš aktuálny súbor, spojíš nové prípady a všetko prepíšeš do formátu JSONL. Konečný počet slúži ako kontrola – súčet, ktorý nezodpovedá očakávanej sume, indikuje chybu pri čítaní súboru alebo stratené riadky.
import json
def enrich_dataset(
existing_dataset: str,
new_examples: list[dict],
output: str
):
"""Adds new examples to the existing dataset."""
# Load existing data
with open(existing_dataset, "r") as f:
existing = [json.loads(l) for l in f]
# Merge
combined = existing + new_examples
# Save
with open(output, "w") as f:
for ex in combined:
f.write(json.dumps(ex, ensure_ascii=False) + "\n")
print(f"Enriched dataset: {len(existing)} + {len(new_examples)} = {len(combined)}")
Korektívna iterácia je ešte cennejšia, pretože mení tvoje zlyhania na surovinu. Každá chyba zaznamenaná v produkcii poskytuje skutočnú otázku; stačí, ak napíšeš odpoveď, ktorú by si chcel vidieť, a pár sa stane trénovacím príkladom. Všimni si, že zlá odpoveď sa nedostane do finálneho príkladu: pomáha zdokumentovať prípad a rozhodnúť, či stojí za námahu ju opraviť, ale model sa učí len zo správnej verzie.
def error_to_example(
question: str,
bad_response: str,
good_response: str,
system_msg: str
) -> dict:
"""Transforms an error into a training example."""
return {
"messages": [
{"role": "system", "content": system_msg},
{"role": "user", "content": question},
{"role": "assistant", "content": good_response}
]
}
# Transform a batch of errors
corrections = []
for error in detected_errors:
correction = error_to_example(
question=error["question"],
bad_response=error["model_response"],
good_response=error["corrected_response"],
system_msg=SYSTEM_PROMPT
)
corrections.append(correction)
Nepretržité doladzovanie a jeho limity
Nič ti nebráni doladiť už raz doladený model: stačí, ak do parametra model zadáš jeho plné ID namiesto názvu základného modelu. Táto operácia je lákavá, pretože trénuje len na nových dátach.
# Fine-tune from an already fine-tuned model
job_v2 = client.fine_tuning.jobs.create(
training_file=new_file.id,
model="ft:gpt-5.6-luna:org::suffix-v1:xxxxxxxx", # v1 model as base
suffix="my-assistant-v2"
)
Upozornenie: nepretržité doladzovanie akumuluje skreslenia (bias). Po 2–3 po sebe idúcich iteráciách je často lepšie začať odznova so základným modelom s kompletnou, obohatenou datasetou. Každá vrstva zosilňuje zvláštnosti tej predchádzajúcej, vrátane tých, ktoré si nezamýšľal, a model nakoniec odpovedá s rigiditou, ktorú ho nikto explicitne neučil.
Celý cyklus
Nižšie uvedené kroky tvoria slučku, ktorú budeš opakovať pre každú verziu. Ak sa najprv pustíš do najčastejších chýb, ďalšia verzia vykážeme merateľné zlepšenia na tvojej testovacej sade; riešenie ich v nesprávnom poradí prináša len difúzne zlepšenia, ktoré sa ťažko obhajujú pred tímom.
Zber chýb
Identifikuj prípady, kde model zlyháva v produkcii alebo počas evaluácie.
Kategorizácia a prioritizácia
Klasifikuj chyby podľa typu a najprv rieš tie najčastejšie.
Vytvorenie korektívnych príkladov
Preveď každú chybu na trénovací príklad so správnou odpoveďou.
Pretrénovanie a opätovné vyhodnotenie
Natrénuj novú verziu a porovnajte ju s predchádzajúcou na rovnakej testovacej sade.
Dokumentuj každú iteráciu
Po štyroch či piatich verziách si už nikto nepamätá, čo odlišovalo v2 od v3 alebo prečo bola v4 zamietnutá. Systematické zaznamenávanie každého behu – zloženie datasety, zdroj nových príkladov, hyperparametre, výsledky a prijaté rozhodnutie – ti poskytne tieto informácie v momente, keď ťa regresia donúti vrátiť sa späť. Venovať osobitnú pozornosť zdroju nových príkladov: len to ti o mesiace neskôr povie, či degradácia prišla zle zvolenej dávky dát.
iteration_log = {
"version": "v3",
"date": "2026-04-02",
"base_model": "gpt-5.6-luna",
"dataset": {
"train": 350,
"validation": 45,
"new_examples": 50,
"new_examples_source": "production errors week 12"
},
"hyperparameters": {
"n_epochs": 3,
"learning_rate_multiplier": "auto",
"batch_size": "auto"
},
"results": {
"validation_loss": 0.42,
"precision_test": 0.91,
"avg_csat": 4.3,
"improvement_vs_v2": "+5% precision, +0.2 CSAT"
},
"decision": "Deployed to production on 2026-04-03"
}
Kľúčové poznatky
- Doladzovanie je iteratívne – plánuj viacero cyklov
- Pred opravou v dátach chyby kategorizuj
- Mení spätnú väzbu od používateľov na trénovacie príklady
- Po 2–3 po sebe idúcich iteráciách začni odznova so základným modelom
- Dokumentuj každú iteráciu, aby si udržal jasnú históriu