Iterace: Kdy model znovu doladit
Na této stránce
Aktualizace 2. listopadu 2026 — Dostupnost doladění. Služba vlastního doladění (fine-tuning) od OpenAI se postupně ukončuje: od 7. května 2026 nemohou organizace, které nikdy nespustily úlohu doladění, žádnou novou vytvořit; od 2. července musíte mít doladěný model použitý během posledních 60 dnů; a počínaje 6. lednem 2027 nebude žádný zákazník schopen spustit nové úlohy. Již natrénované modely zůstávají použitelné až do vyřazení jejich základního modelu. Tento kurz je stále užitečný pro pochopení a využití stávajícího modelu; u nových projektů však dejte přednost inženýrství promptů (prompt engineering), RAG a evaluacím.
Doladění je iterativní proces
Váš první pokus o doladění bude jen zřídka dokonalý. Zlepšení přichází díky iterativním cyklům: analyzujte chyby, obohaťte svá data, přeškolte model a znovu jej vyhodnoťte. Tato lekce vás naučí, jak rozpoznat, kdy a jak efektivně iterovat – a stejně tak důležité je naučit se poznat situace, kdy by další trénink byl zbytečný.
Než chyby opravíte, analyzujte je
Přirozenou reakcí po neuspokojivém vyhodnocení je náhodné přidávání příkladů v naději, že objem problém vyřeší. To je nejrychlejší způsob, jak spálit rozpočet na trénink bez jakéhokoli pokroku. Začněte tím, že každé selhání zařadíte do kategorie: nesprávné formátování, nevhodný tón, faktická chyba, neúplná odpověď, odpověď mimo téma nebo čistá halucinace. Výsledné rozložení vám řekne, kam soustředit úsilí, a často odhalí překvapení – to, co jste považovali za problém se stylem, se ukáže být problémem s úplností.
def analyze_errors(results: list[dict]) -> dict:
"""Categorizes errors from the fine-tuned model."""
categories = {
"format": [], # Incorrect response format
"tone": [], # Inappropriate tone
"factual": [], # Incorrect information
"incomplete": [], # Response too short or missing elements
"off_topic": [], # Does not answer the question
"hallucination": [] # Invents information
}
for r in results:
if r.get("score", 5) < 3:
# Classify the error (can be done manually or by an LLM)
category = classify_error(r)
categories[category].append(r)
print("Error distribution:")
for cat, errors in categories.items():
if errors:
print(f" {cat}: {len(errors)} cases")
return categories
Dále si v rámci stejné kategorie projděte jednotlivé případy a hledejte společného jmenovatele. Ptejte se pokaždé na stejné otázky: selhává model u specifického typu otázek? Shlukují se chyby kolem určitých témat? Pramení problém z dat, nebo z hyperparametrů? Selhání rozptýlená napříč všemi tématy, ale vždy stejné povahy, ukazují na nedostatek příkladů; selhání soustředěná do jedné domény signalizují mezeru v pokrytí; a odpovědi, které se příliš drží vašich tréninkových příkladů bez ohledu na otázku, naznačují přeučení (overfitting), které je třeba napravit na straně epoch.
Jak poznat, kdy iterovat
Určité signály jednoznačně volají po nové verzi a každá vyžaduje jinou reakci. Model, který halucinuje u určitého tématu, neopravíte tím, že mu ukážete více správných odpovědí na toto téma, ale tím, že ho naučíte zdvořile odmítnout, když něco neví.
| Signál | Akce |
|---|---|
| Opakující se chyby ve formátu | Přidejte více příkladů se správným formátem |
| Model halucinuje u určitých témat | Přidejte příklady, kde zdvořile odmítne |
| Zjištěno přeučení (overfitting) | Snižte počet epoch, diverzifikujte data |
| Nové případy použití k pokrytí | Přidejte příklady pro tyto případy |
| Cílená negativní zpětná vazba od uživatelů | Převeďte zpětnou vazbu na opravené příklady |
Naopak existuje několik situací, které by vás měly odradit od dalšího tréninku. Když jsou chyby vzácné a nesystematické, úprava promptu je vyřeší rychleji a levněji. Když si stížnosti stěžují na latenci nebo dobu čekání, problém leží ve vaší infrastruktuře a žádná míra tréninku ji neopraví. Když jste od poslední verze nasbírali jen hrstku nových příkladů, očekávaný zisk nepokryje náklady na běh. A když se objeví nový základní model, nejprve jej otestujte tak, jak je: někdy sám o sobě, bez tréninku, dosáhne toho, s čím měla vaše předchozí verze potíže.
Obohacujte, nezačínejte od nuly
Inkrementální iterace znamená přidání cílených příkladů do existující datové sady, aniž byste se dotkli zbytku. Toto je nejčastější a nejjednodušší operace: načtete aktuální soubor, spojíte nové případy a vše znovu zapíšete ve formátu JSONL. Konečný počet slouží jako kontrola – pokud se celkový součet neshoduje s očekávaným, došlo k chybě při čtení souboru nebo ke ztrátě řádků.
import json
def enrich_dataset(
existing_dataset: str,
new_examples: list[dict],
output: str
):
"""Adds new examples to the existing dataset."""
# Load existing data
with open(existing_dataset, "r") as f:
existing = [json.loads(l) for l in f]
# Merge
combined = existing + new_examples
# Save
with open(output, "w") as f:
for ex in combined:
f.write(json.dumps(ex, ensure_ascii=False) + "\n")
print(f"Enriched dataset: {len(existing)} + {len(new_examples)} = {len(combined)}")
Korektivní iterace je ještě cennější, protože proměňuje vaše selhání v surovinu. Každá chyba zaznamenaná v produkci představuje skutečnou otázku; stačí napsat odpověď, kterou jste chtěli vidět, a pár se stane tréninkovým příkladem. Všimněte si, že špatná odpověď se do finálního příkladu nedostává: pomáhá zdokumentovat případ a rozhodnout, zda se oprava vyplatí, ale model se učí pouze ze správné verze.
def error_to_example(
question: str,
bad_response: str,
good_response: str,
system_msg: str
) -> dict:
"""Transforms an error into a training example."""
return {
"messages": [
{"role": "system", "content": system_msg},
{"role": "user", "content": question},
{"role": "assistant", "content": good_response}
]
}
# Transform a batch of errors
corrections = []
for error in detected_errors:
correction = error_to_example(
question=error["question"],
bad_response=error["model_response"],
good_response=error["corrected_response"],
system_msg=SYSTEM_PROMPT
)
corrections.append(correction)
Průběžné doladění a jeho limity
Nic vám nebrání doladit již jednou doladěný model: stačí předat jeho úplné ID v parametru model místo názvu základního modelu. Tato operace láká, protože se trénuje pouze na nových datech.
# Fine-tune from an already fine-tuned model
job_v2 = client.fine_tuning.jobs.create(
training_file=new_file.id,
model="ft:gpt-5.6-luna:org::suffix-v1:xxxxxxxx", # v1 model as base
suffix="my-assistant-v2"
)
Upozornění: průběžné doladění akumuluje zkreslení (bias). Po 2–3 po sobě jdoucích iteracích je často lepší začít znovu od základního modelu s kompletní, obohacenou datovou sadou. Každá vrstva zesiluje zvláštnosti té předchozí, včetně těch, které jste nezamýšleli, a model nakonec odpovídá s rigiditou, kterou ho nikdo explicitně neučil.
Celý cyklus
Níže uvedené kroky tvoří smyčku, kterou budete opakovat pro každou verzi. Pokud se nejprve pustíte do nejčastějších chyb, příští verze vykazuje měřitelné zlepšení na vaší testovací sadě; řešení mimo pořadí přináší pouze difúzní zlepšení, které je těžké obhájit před týmem.
Shromáždění chyb
Identifikujte případy, kdy model selhává v produkci nebo během evaluace.
Kategorizace a prioritizace
Roztřiďte chyby podle typu a nejprve řešte ty nejčastější.
Vytvoření korektivních příkladů
Proměňte každou chybu v tréninkový příklad se správnou odpovědí.
Přeškolení a nové vyhodnocení
Natrénujte novou verzi a porovnejte ji s předchozí na stejné testovací sadě.
Dokumentujte každou iteraci
Po čtyřech či pěti verzích si už nikdo nepamatuje, čím se lišila v2 od v3 nebo proč byla v4 opuštěna. Systematické zaznamenávání každého běhu – složení datové sady, zdroj nových příkladů, hyperparametry, výsledky a učiněné rozhodnutí – vám tyto informace poskytne, když vás regrese donutí vrátit se o krok zpět. Zvláštní pozornost věnujte zdroji nových příkladů: pouze ten vám měsíce poté řekne, zda degradace přišla ze špatně vybrané dávky dat.
iteration_log = {
"version": "v3",
"date": "2026-04-02",
"base_model": "gpt-5.6-luna",
"dataset": {
"train": 350,
"validation": 45,
"new_examples": 50,
"new_examples_source": "production errors week 12"
},
"hyperparameters": {
"n_epochs": 3,
"learning_rate_multiplier": "auto",
"batch_size": "auto"
},
"results": {
"validation_loss": 0.42,
"precision_test": 0.91,
"avg_csat": 4.3,
"improvement_vs_v2": "+5% precision, +0.2 CSAT"
},
"decision": "Deployed to production on 2026-04-03"
}
Klíčové poznatky
- Doladění je iterativní – počítejte s více cykly
- Před opravou v datech chyby kategorizujte
- Přeměňte zpětnou vazbu od uživatelů na tréninkové příklady
- Po 2–3 po sobě jdoucích iteracích začněte znovu od základního modelu
- Dokumentujte každou iteraci, abyste udrželi přehlednou historii