Iterálás: mikor érdemes újra finomhangolni
Ezen az oldalon
Frissítés: 2026. november 2. – A finomhangolás elérhetősége. Az OpenAI megszünteti az önálló finomhangolási szolgáltatást: 2026. május 7. óta azok a szervezetek, amelyek még sosem futtattak finomhangolási feladatot, már nem hozhatnak létre újat; július 2. óta pedig az elmúlt 60 napban használnod kellett egy finomhangolt modellt. 2027. január 6-tól kezdve egyetlen ügyfél sem indíthat új feladatokat. A már betanított modellek addig használhatók maradnak, amíg az alapmodelljüket ki nem vonják. Ez a tananyag továbbra is hasznos egy meglévő modell megértéséhez és kiaknázásához; új projektek esetén azonban előnyben részesítsd a prompt-mérnökséget, a RAG-rendszereket és az értékeléseket.
A finomhangolás iteratív folyamat
Az első finomhangolási futtatásod ritkán lesz tökéletes. A fejlődés iteratív ciklusokból származik: elemezd a hibákat, gazdagítsd az adataidat, tanítsd újra a modellt, majd értékeld újra. Ez a lecke megtanít arra, hogyan ismerd fel, mikor és hogyan iterálj hatékonyan – és ami ugyanilyen fontos, hogyan vedd észre azokat a helyzeteket, amikor az újratanítás értelmetlen lenne.
Elemezd a hibákat, mielőtt javítanád őket
A természetes reflex egy csalódást keltő értékelés után az, hogy véletlenszerűen adj hozzá példákat, abban bízva, hogy a mennyiség megoldja a problémát. Ez a leggyorsabb út arra, hogy elégesd a képzési költségkeretedet anélkül, hogy előrelépést érnél el. Kezd azzal, hogy minden egyes kudarcot egy kategóriába sorolsz: helytelen formázás, nem megfelelő hangnem, ténybeli hiba, hiányos válasz, témától eltérő válasz vagy tiszta hallucináció. Az így kapott eloszlás megmutatja, hová érdemes összpontosítanod az erőfeszítéseidet, és gyakran meglepetést tár fel: amit stílusproblémának hittél, az valójában teljességi probléma.
def analyze_errors(results: list[dict]) -> dict:
"""Categorizes errors from the fine-tuned model."""
categories = {
"format": [], # Incorrect response format
"tone": [], # Inappropriate tone
"factual": [], # Incorrect information
"incomplete": [], # Response too short or missing elements
"off_topic": [], # Does not answer the question
"hallucination": [] # Invents information
}
for r in results:
if r.get("score", 5) < 3:
# Classify the error (can be done manually or by an LLM)
category = classify_error(r)
categories[category].append(r)
print("Error distribution:")
for cat, errors in categories.items():
if errors:
print(f" {cat}: {len(errors)} cases")
return categories
Ezután vizsgáld felül az ugyanabba a kategóriába tartozó eseteket, hogy megtaláld a közös nevezőt. Minden alkalommal tedd fel magadnak ugyanazokat a kérdéseket: a modell egy adott típusú kérdésnél bukik meg? A hibák bizonyos témák körül csoportosulnak? A probléma az adatokból vagy a hiperparaméterekből ered? Ha a kudarcok minden témára szétszóródnak, de mindig ugyanolyan jellegűek, az példák hiányára utal; ha egy adott területre koncentrálódnak, az lefedettségi rést jelez; ha pedig a válaszok a kérdéstől függetlenül túlságosan ragaszkodnak a tanítási példákhoz, az túlillesztést (overfitting) jelez, amit az epochok oldalán kell korrigálni.
Mikor érdemes iterálni?
Bizonyos jelek egyértelműen egy új verzió szükségességét jelzik, és mindegyik másféle reakciót igényel. Ha egy modell egy témában hallucinál, azt nem úgy javítod ki, hogy több helyes választ mutatsz neki erről a témáról, hanem úgy, hogy megtanítod udvariasan visszautasítani a választ, amikor nem tudja a választ.
| Jel | Teendő |
|---|---|
| Ismétlődő formázási hibák | Adj hozzá több példát a helyes formátummal |
| A modell bizonyos témákban hallucinál | Adj hozzá példákat, ahol udvariasan visszautasítja a választ |
| Túlillesztés (overfitting) észlelhető | Csökkentsd az epochok számát, diverzifikáld az adatokat |
| Új használati esetek lefedése | Adj hozzá példákat ezekre az esetekre |
| Célzott negatív felhasználói visszajelzés | Alakítsd át a visszajelzést javított példákká |
Ezzel szemben több olyan helyzet is van, amikor le kell állnod az újratanítással. Ha a hibák ritkák és nem szisztematikusak, egy prompt-beállítás gyorsabban és olcsóbban kezeli őket. Ha a panaszok a késleltetésre vagy a várakozási időkre vonatkoznak, a probléma az infrastruktúrádban rejlik, és semennyi tanítás nem fogja ezt megoldani. Ha az utolsó verzió óta csak maroknyi új példát gyűjtöttél össze, a várható nyereség nem fedezi a futtatás költségét. Végül, ha elérhetővé válik egy új alapmodell, először teszteld azt változatlan állapotában: néha önmagában is elér azt, amit a korábbi verziód csak nehezen tudott teljesíteni, tanítás nélkül is.
Gazdagíts, ne kezdj elölről
Az inkrementális iteráció azt jelenti, hogy célzott példákat adsz hozzá egy meglévő adathalmazhoz anélkül, hogy a többit érintenéd. Ez a leggyakoribb és legegyszerűbb művelet: betöltöd a jelenlegi fájlt, összefűzöd az új esetekkel, majd mindent újra írsz JSONL formátumban. A végső darabszám szolgál ellenőrzésként – ha az összeg nem egyezik a várttal, az fájlolvasási hibára vagy elveszett sorokra utal.
import json
def enrich_dataset(
existing_dataset: str,
new_examples: list[dict],
output: str
):
"""Adds new examples to the existing dataset."""
# Load existing data
with open(existing_dataset, "r") as f:
existing = [json.loads(l) for l in f]
# Merge
combined = existing + new_examples
# Save
with open(output, "w") as f:
for ex in combined:
f.write(json.dumps(ex, ensure_ascii=False) + "\n")
print(f"Enriched dataset: {len(existing)} + {len(new_examples)} = {len(combined)}")
A korrekciós iteráció még értékesebb, mert a kudarcaidat nyersanyaggá alakítja. Minden gyártásban észlelt hiba egy valós kérdést jelent; neked csak meg kell írnod azt a választ, amit látni szerettél volna, és a párosból tanítási példa lesz. Vegyed figyelembe, hogy a rossz válasz nem kerül bele a végső példába: segít dokumentálni az esetet és eldönteni, megéri-e a javítás fáradságát, de a modell csak a helyes verzióból tanul.
def error_to_example(
question: str,
bad_response: str,
good_response: str,
system_msg: str
) -> dict:
"""Transforms an error into a training example."""
return {
"messages": [
{"role": "system", "content": system_msg},
{"role": "user", "content": question},
{"role": "assistant", "content": good_response}
]
}
# Transform a batch of errors
corrections = []
for error in detected_errors:
correction = error_to_example(
question=error["question"],
bad_response=error["model_response"],
good_response=error["corrected_response"],
system_msg=SYSTEM_PROMPT
)
corrections.append(correction)
Folyamatos finomhangolás és korlátai
Semmi sem akadályozza meg, hogy egy már finomhangolt modellt újra finomhangolj: ehhez csak add meg a teljes azonosítóját a model paraméterben az alapmodell neve helyett. A művelet csábító, mivel csak az új adatokon történik a tanítás.
# Fine-tune from an already fine-tuned model
job_v2 = client.fine_tuning.jobs.create(
training_file=new_file.id,
model="ft:gpt-5.6-luna:org::suffix-v1:xxxxxxxx", # v1 model as base
suffix="my-assistant-v2"
)
Figyelmeztetés: a folyamatos finomhangolás felhalmozza a torzításokat. 2–3 egymást követő iteráció után gyakran jobb, ha tiszta lappal indulsz az alapmodellből egy teljes, gazdagított adathalmazzal. Minden réteg felerősíti az előző sajátosságait, beleértve azokat is, amelyeket nem szándékosan okoztál, és a modell végül olyan merevséggel válaszol, amit senki sem tanított neki explicit módon.
A teljes ciklus
Az alábbi lépések alkotják azt a hurkot, amelyet minden egyes verzió esetén megismételsz. Ha először a leggyakoribb hibákat kezeled, a következő verzió mérhető javulást mutat majd a tesztadathalmazon; ha sorrendet tévesztesz, az csak diffúz javulást eredményez, amelyet nehéz megvédeni a csapatod előtt.
Hibák gyűjtése
Azonosítsd azokat az eseteket, amikor a modell gyártásban vagy értékelés során hibázik.
Osztályozás és prioritás
Osztályozd a hibákat típus szerint, és először a leggyakoribbakat kezeld.
Korrekciós példák létrehozása
Alakíts át minden hibát tanítási példává a helyes válasszal.
Újratanítás és újraértékelés
Tanítsd be az új verziót, és hasonlítsd össze az előzővel ugyanazon a tesztadathalmazon.
Dokumentáld minden iterációt
Négy-öt verzió után már senki nem emlékszik arra, mi különböztette meg a v2-t a v3-tól, vagy miért hagyták el a v4-et. Minden egyes futtatás szisztematikus rögzítése – az adathalmaz összetétele, az új példák forrása, a hiperparaméterek, az eredmények és a hozott döntés – biztosítja, hogy rendelkezésedre álljon ez az információ, ha egy regresszió miatt vissza kellene lépned. Különös figyelmet fordíts az új példák forrására: csak ez mondja meg hónapokkal később, hogy a romlás egy rosszul megválasztott adatcsomagból eredt-e.
iteration_log = {
"version": "v3",
"date": "2026-04-02",
"base_model": "gpt-5.6-luna",
"dataset": {
"train": 350,
"validation": 45,
"new_examples": 50,
"new_examples_source": "production errors week 12"
},
"hyperparameters": {
"n_epochs": 3,
"learning_rate_multiplier": "auto",
"batch_size": "auto"
},
"results": {
"validation_loss": 0.42,
"precision_test": 0.91,
"avg_csat": 4.3,
"improvement_vs_v2": "+5% precision, +0.2 CSAT"
},
"decision": "Deployed to production on 2026-04-03"
}
Főbb megállapítások
- A finomhangolás iteratív – tervezz több ciklussal
- A hibák javítása előtt osztályozd őket az adatokban
- Alakítsd át a felhasználói visszajelzéseket tanítási példákká
- 2–3 egymást követő iteráció után indulj újra az alapmodellből
- Dokumentáld minden iterációt az átlátható történet érdekében