Kartojimas: kada iš naujo derinti modelį
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 2 d. — Derinimo prieinamumas. „OpenAI“ savitarnos derinimo paslauga yra nutraukiama: nuo 2026 m. gegužės 7 d. organizacijos, kurios niekada nevykdė derinimo užduoties, jos sukurti nebegali; nuo liepos 2 d. privalote būti naudoję derintą modelį per pastaruosius 60 dienų; o nuo 2027 m. sausio 6 d. joks klientas nebegalės paleisti naujų užduočių. Jau apmokyti modeliai išlieka naudojami, kol jų bazinis modelis bus nutrauktas. Šis kursas vis dar naudingas norint suprasti ir išnaudoti esamą modelį; naujiems projektams teikite pirmenybę raginimų inžinerijai (prompt engineering), RAG ir įvertinimams.
Derinimas yra iteracinis procesas
Jūsų pirmasis derinimo bandymas retai būna tobulas. Tobulėjimas ateina per kartojamus ciklus: analizuokite klaidas, praturtinkite duomenis, apmokykite iš naujo ir įvertinkite dar kartą. Šioje pamokoje sužinosite, kaip nustatyti, kada ir kaip efektyviai kartoti procesą, ir, kas vienodai svarbu, kaip atpažinti situacijas, kai mokymas iš naujo būtų beprasmis.
Prieš taisydami klaidas, jas išanalizuokite
Natūralus refleksas po nuviliančio įvertinimo – atsitiktinai pridėti pavyzdžių, tikintis, kad kiekis išspręs problemą. Tai greičiausias būdas iššvaistyti mokymo biudžetą nepadarant jokios pažangos. Pradėkite nuo kiekvienos nesėkmės priskyrimo kategorijai: neteisingas formatavimas, netinkamas tonas, faktinė klaida, neišsamus atsakymas, atsakymas ne tema arba visiška haliucinacija. Gautas pasiskirstymas parodo, kur reikia sutelkti pastangas, ir dažnai atskleidžia netikėtumų – tai, ką manėte esant stiliaus problema, iš tikrųjų yra išsamumo trūkumas.
def analyze_errors(results: list[dict]) -> dict:
"""Categorizes errors from the fine-tuned model."""
categories = {
"format": [], # Incorrect response format
"tone": [], # Inappropriate tone
"factual": [], # Incorrect information
"incomplete": [], # Response too short or missing elements
"off_topic": [], # Does not answer the question
"hallucination": [] # Invents information
}
for r in results:
if r.get("score", 5) < 3:
# Classify the error (can be done manually or by an LLM)
category = classify_error(r)
categories[category].append(r)
print("Error distribution:")
for cat, errors in categories.items():
if errors:
print(f" {cat}: {len(errors)} cases")
return categories
Toliau peržiūrėkite tos pačios kategorijos atvejus, kad rastumėte bendrą vardiklį. Kiekvieną kartą užduokite sau tuos pačius klausimus: ar modelis stringa ties specifiniu klausimo tipu, ar klaidos grupuojasi aplink tam tikras temas ir ar problema kyla iš duomenų, ar iš hiperparametrų? Klaidos, išsibarsčiusios visomis temomis, bet visada tokio pat pobūdžio, rodo pavyzdžių trūkumą; klaidos, sutelktos vienoje srityje, rodo aprėpties spragą; o atsakymai, kurie per daug laikosi jūsų mokymo pavyzdžių nepaisant klausimo, signalizuoja apie per didelį pritaikymą (overfitting), kurį reikia taisyti keičiant epochų skaičių.
Kada reikia kartoti procesą
Tam tikri signalai nedviprasmiškai reikalauja naujos versijos kūrimo, ir kiekvienas jų reikalauja skirtingo veiksmo. Modelio, kuris haliucinuoja tam tikra tema, nepataisysite rodydami daugiau teisingų atsakymų ta tema; vietoj to turite išmokyti jį mandagiai atsisakyti atsakyti, kai jis nežino.
| Signalas | Veiksmas |
|---|---|
| Pasikartojančio formato klaidos | Pridėkite daugiau pavyzdžių su teisingu formatu |
| Modelis haliucinuoja tam tikromis temomis | Pridėkite pavyzdžių, kuriuose jis mandagiai atsisako atsakyti |
| Nustatytas per didelis pritaikymas (overfitting) | Sumažinkite epochų skaičių, įvairinkite duomenis |
| Nauji naudojami atvejai, kuriuos reikia aprėpti | Pridėkite pavyzdžių šiems atvejams |
| Tikslinis neigiamas naudotojų grįžtamasis ryšys | Paverskite grįžtamąjį ryšį taisomaisiais pavyzdžiais |
Priešingai, yra keletas situacijų, kurios turėtų jus sulaikyti nuo pakartotinio mokymo. Kai klaidos retos ir nesisteminės, raginimo (prompt) koregavimas jas išsprendžia greičiau ir pigiau. Kai skundai susiję su delsos laiku ar laukimu, problema slypi jūsų infrastruktūroje, ir joks mokymo kiekis jos neištaisys. Kai nuo paskutinės versijos surinkote tik saują naujų pavyzdžių, tikėtina nauda nepadengs užduoties vykdymo kainos. Ir kai pasirodo naujas bazinis modelis, pirmiausia išbandykite jį tokį, koks yra: kartais jis pats pasiekia tai, ką jūsų ankstesnė versija vargu ar galėjo suteikti be papildomo mokymo.
Praturtinkite, o ne pradėkite nuo nulio
Prieaugio iteracija reiškia tikslinių pavyzdžių pridėjimą prie esamo duomenų rinkinio neliečiant likusios dalies. Tai dažniausia ir paprasčiausia operacija: įkeliate dabartinį failą, sujungiate naujus atvejus ir viską iš naujo įrašote JSONL formatu. Galutinis skaičius tarnauja kaip kontrolė – jei suma nesutampa su lėktu rezultatu, vadinasi, įvyko failo nuskaitymo klaida arba dingo eilutės.
import json
def enrich_dataset(
existing_dataset: str,
new_examples: list[dict],
output: str
):
"""Adds new examples to the existing dataset."""
# Load existing data
with open(existing_dataset, "r") as f:
existing = [json.loads(l) for l in f]
# Merge
combined = existing + new_examples
# Save
with open(output, "w") as f:
for ex in combined:
f.write(json.dumps(ex, ensure_ascii=False) + "\n")
print(f"Enriched dataset: {len(existing)} + {len(new_examples)} = {len(combined)}")
Taisomoji iteracija yra dar vertingesnė, nes ji paverčia jūsų nesėkmes žaliava. Kiekviena gamyboje pastebėta klaida suteikia tikrą klausimą; jums tereikia parašyti atsakymą, kurio norėjote sulaukti, ir pora tampa mokymo pavyzdžiu. Atkreipkite dėmesį, kad blogas atsakymas nepatenka į galutinį pavyzdį: jis padeda dokumentuoti atvejį ir nuspręsti, ar taisymas vertas efforto, tačiau modelis mokosi tik iš teisingos versijos.
def error_to_example(
question: str,
bad_response: str,
good_response: str,
system_msg: str
) -> dict:
"""Transforms an error into a training example."""
return {
"messages": [
{"role": "system", "content": system_msg},
{"role": "user", "content": question},
{"role": "assistant", "content": good_response}
]
}
# Transform a batch of errors
corrections = []
for error in detected_errors:
correction = error_to_example(
question=error["question"],
bad_response=error["model_response"],
good_response=error["corrected_response"],
system_msg=SYSTEM_PROMPT
)
corrections.append(correction)
Nuolatinis derinimas ir jo ribos
Niekas netrukdo derinti jau once derinto modelio: tiesiog parametre model nurodykite visą jo ID vietoj bazinio modelio pavadinimo. Operacija viliojanti, nes mokoma tik iš naujų duomenų.
# Fine-tune from an already fine-tuned model
job_v2 = client.fine_tuning.jobs.create(
training_file=new_file.id,
model="ft:gpt-5.6-luna:org::suffix-v1:xxxxxxxx", # v1 model as base
suffix="my-assistant-v2"
)
Įspėjimas: nuolatinis derinimas kaupia šališkumus. Po 2–3 nuoseklių iteracijų dažnai geriau pradėti iš naujo nuo bazinio modelio su pilnu, praturtintu duomenų rinkiniu. Kiekvienas sluoksnis sustiprina ankstesniojo ypatumus, įskaitant tuos, kurių neplanavote, ir modelis galiausiai pradeda atsakinėti tokia standumu, kurio niekas jo tiesiogiai nemokė.
Pilnas ciklas
Toliau pateikti žingsniai sudaro kilpą, kurią kartosite kiekvienai versijai. Jei pirmiausia spręsite dažniausiai pasitaikančias klaidas, kita versija parodys išmatuojamą pažangą jūsų testų rinkinyje; sprendžiant jas netvarkingai, gaunamas tik difuzinis pagerėjimas, kurį sunku pagrįsti savo komandai.
Surinkite klaidas
Nustatykite atvejus, kai modelis stringa gamyboje arba vertinimo metu.
Susiekite kategorijomis ir nustatykite prioritetus
Suskirstykite klaidas pagal tipą ir pirmiausia spręskite dažniausiai pasitaikančias.
Sukurkite taisomuosius pavyzdžius
Paverskite kiekvieną klaidą mokymo pavyzdžiu su teisingu atsakymu.
Mokykite iš naujo ir įvertinkite
Apmokykite naują versiją ir palyginkite ją su ankstesne naudojant tą patį testų rinkinį.
Dokumentuokite kiekvieną iteraciją
Po keturių ar penkių versijų niekas nebeprisimena, kuo v2 skyrėsi nuo v3 arba kodėl v4 buvo atsisakyta. Sistemingas kiekvieno paleidimo fiksavimas – duomenų rinkinio sudėtis, naujų pavyzdžių šaltinis, hiperparametrai, rezultatai ir priimtas sprendimas – suteikia jums šią informaciją, kai regresija priverčia jus grįžti atgal. Ypatingą dėmesį skirkite naujų pavyzdžių šaltiniui: tik tai po kelių mėnesių jums pasakys, ar degradacija kilo iš blogai parinkto duomenų segmento.
iteration_log = {
"version": "v3",
"date": "2026-04-02",
"base_model": "gpt-5.6-luna",
"dataset": {
"train": 350,
"validation": 45,
"new_examples": 50,
"new_examples_source": "production errors week 12"
},
"hyperparameters": {
"n_epochs": 3,
"learning_rate_multiplier": "auto",
"batch_size": "auto"
},
"results": {
"validation_loss": 0.42,
"precision_test": 0.91,
"avg_csat": 4.3,
"improvement_vs_v2": "+5% precision, +0.2 CSAT"
},
"decision": "Deployed to production on 2026-04-03"
}
Svarbiausi punktai
- Derinimas yra iteracinis – planuokite kelis ciklus
- Prieš taisydami klaidas duomenyse, jas susiekite kategorijomis
- Paverskite naudotojų grįžtamąjį ryšį mokymo pavyzdžiais
- Po 2–3 nuoseklių iteracijų pradėkite iš naujo nuo bazinio modelio
- Dokumentuokite kiekvieną iteraciją, kad išlaikytumėte aiškią istoriją