Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Kartojimas: kada iš naujo derinti modelį

Paskaita 13 iš 16 Atnaujinta 2026 m. lapkričio 2 d. Pažengusiems
Šiame puslapyje
  1. Derinimas yra iteracinis procesas
  2. Prieš taisydami klaidas, jas išanalizuokite
  3. Kada reikia kartoti procesą
  4. Praturtinkite, o ne pradėkite nuo nulio
  5. Nuolatinis derinimas ir jo ribos
  6. Pilnas ciklas
  7. Dokumentuokite kiekvieną iteraciją
  8. Svarbiausi punktai

Atnaujinta 2026 m. lapkričio 2 d. — Derinimo prieinamumas. „OpenAI“ savitarnos derinimo paslauga yra nutraukiama: nuo 2026 m. gegužės 7 d. organizacijos, kurios niekada nevykdė derinimo užduoties, jos sukurti nebegali; nuo liepos 2 d. privalote būti naudoję derintą modelį per pastaruosius 60 dienų; o nuo 2027 m. sausio 6 d. joks klientas nebegalės paleisti naujų užduočių. Jau apmokyti modeliai išlieka naudojami, kol jų bazinis modelis bus nutrauktas. Šis kursas vis dar naudingas norint suprasti ir išnaudoti esamą modelį; naujiems projektams teikite pirmenybę raginimų inžinerijai (prompt engineering), RAG ir įvertinimams.

Derinimas yra iteracinis procesas

Jūsų pirmasis derinimo bandymas retai būna tobulas. Tobulėjimas ateina per kartojamus ciklus: analizuokite klaidas, praturtinkite duomenis, apmokykite iš naujo ir įvertinkite dar kartą. Šioje pamokoje sužinosite, kaip nustatyti, kada ir kaip efektyviai kartoti procesą, ir, kas vienodai svarbu, kaip atpažinti situacijas, kai mokymas iš naujo būtų beprasmis.

Prieš taisydami klaidas, jas išanalizuokite

Natūralus refleksas po nuviliančio įvertinimo – atsitiktinai pridėti pavyzdžių, tikintis, kad kiekis išspręs problemą. Tai greičiausias būdas iššvaistyti mokymo biudžetą nepadarant jokios pažangos. Pradėkite nuo kiekvienos nesėkmės priskyrimo kategorijai: neteisingas formatavimas, netinkamas tonas, faktinė klaida, neišsamus atsakymas, atsakymas ne tema arba visiška haliucinacija. Gautas pasiskirstymas parodo, kur reikia sutelkti pastangas, ir dažnai atskleidžia netikėtumų – tai, ką manėte esant stiliaus problema, iš tikrųjų yra išsamumo trūkumas.

def analyze_errors(results: list[dict]) -> dict:
    """Categorizes errors from the fine-tuned model."""
    categories = {
        "format": [],       # Incorrect response format
        "tone": [],         # Inappropriate tone
        "factual": [],      # Incorrect information
        "incomplete": [],   # Response too short or missing elements
        "off_topic": [],    # Does not answer the question
        "hallucination": [] # Invents information
    }

    for r in results:
        if r.get("score", 5) < 3:
            # Classify the error (can be done manually or by an LLM)
            category = classify_error(r)
            categories[category].append(r)

    print("Error distribution:")
    for cat, errors in categories.items():
        if errors:
            print(f"  {cat}: {len(errors)} cases")

    return categories

Toliau peržiūrėkite tos pačios kategorijos atvejus, kad rastumėte bendrą vardiklį. Kiekvieną kartą užduokite sau tuos pačius klausimus: ar modelis stringa ties specifiniu klausimo tipu, ar klaidos grupuojasi aplink tam tikras temas ir ar problema kyla iš duomenų, ar iš hiperparametrų? Klaidos, išsibarsčiusios visomis temomis, bet visada tokio pat pobūdžio, rodo pavyzdžių trūkumą; klaidos, sutelktos vienoje srityje, rodo aprėpties spragą; o atsakymai, kurie per daug laikosi jūsų mokymo pavyzdžių nepaisant klausimo, signalizuoja apie per didelį pritaikymą (overfitting), kurį reikia taisyti keičiant epochų skaičių.

Kada reikia kartoti procesą

Tam tikri signalai nedviprasmiškai reikalauja naujos versijos kūrimo, ir kiekvienas jų reikalauja skirtingo veiksmo. Modelio, kuris haliucinuoja tam tikra tema, nepataisysite rodydami daugiau teisingų atsakymų ta tema; vietoj to turite išmokyti jį mandagiai atsisakyti atsakyti, kai jis nežino.

SignalasVeiksmas
Pasikartojančio formato klaidosPridėkite daugiau pavyzdžių su teisingu formatu
Modelis haliucinuoja tam tikromis temomisPridėkite pavyzdžių, kuriuose jis mandagiai atsisako atsakyti
Nustatytas per didelis pritaikymas (overfitting)Sumažinkite epochų skaičių, įvairinkite duomenis
Nauji naudojami atvejai, kuriuos reikia aprėptiPridėkite pavyzdžių šiems atvejams
Tikslinis neigiamas naudotojų grįžtamasis ryšysPaverskite grįžtamąjį ryšį taisomaisiais pavyzdžiais

Priešingai, yra keletas situacijų, kurios turėtų jus sulaikyti nuo pakartotinio mokymo. Kai klaidos retos ir nesisteminės, raginimo (prompt) koregavimas jas išsprendžia greičiau ir pigiau. Kai skundai susiję su delsos laiku ar laukimu, problema slypi jūsų infrastruktūroje, ir joks mokymo kiekis jos neištaisys. Kai nuo paskutinės versijos surinkote tik saują naujų pavyzdžių, tikėtina nauda nepadengs užduoties vykdymo kainos. Ir kai pasirodo naujas bazinis modelis, pirmiausia išbandykite jį tokį, koks yra: kartais jis pats pasiekia tai, ką jūsų ankstesnė versija vargu ar galėjo suteikti be papildomo mokymo.

Praturtinkite, o ne pradėkite nuo nulio

Prieaugio iteracija reiškia tikslinių pavyzdžių pridėjimą prie esamo duomenų rinkinio neliečiant likusios dalies. Tai dažniausia ir paprasčiausia operacija: įkeliate dabartinį failą, sujungiate naujus atvejus ir viską iš naujo įrašote JSONL formatu. Galutinis skaičius tarnauja kaip kontrolė – jei suma nesutampa su lėktu rezultatu, vadinasi, įvyko failo nuskaitymo klaida arba dingo eilutės.

import json

def enrich_dataset(
    existing_dataset: str,
    new_examples: list[dict],
    output: str
):
    """Adds new examples to the existing dataset."""
    # Load existing data
    with open(existing_dataset, "r") as f:
        existing = [json.loads(l) for l in f]

    # Merge
    combined = existing + new_examples

    # Save
    with open(output, "w") as f:
        for ex in combined:
            f.write(json.dumps(ex, ensure_ascii=False) + "\n")

    print(f"Enriched dataset: {len(existing)} + {len(new_examples)} = {len(combined)}")

Taisomoji iteracija yra dar vertingesnė, nes ji paverčia jūsų nesėkmes žaliava. Kiekviena gamyboje pastebėta klaida suteikia tikrą klausimą; jums tereikia parašyti atsakymą, kurio norėjote sulaukti, ir pora tampa mokymo pavyzdžiu. Atkreipkite dėmesį, kad blogas atsakymas nepatenka į galutinį pavyzdį: jis padeda dokumentuoti atvejį ir nuspręsti, ar taisymas vertas efforto, tačiau modelis mokosi tik iš teisingos versijos.

def error_to_example(
    question: str,
    bad_response: str,
    good_response: str,
    system_msg: str
) -> dict:
    """Transforms an error into a training example."""
    return {
        "messages": [
            {"role": "system", "content": system_msg},
            {"role": "user", "content": question},
            {"role": "assistant", "content": good_response}
        ]
    }

# Transform a batch of errors
corrections = []
for error in detected_errors:
    correction = error_to_example(
        question=error["question"],
        bad_response=error["model_response"],
        good_response=error["corrected_response"],
        system_msg=SYSTEM_PROMPT
    )
    corrections.append(correction)

Nuolatinis derinimas ir jo ribos

Niekas netrukdo derinti jau once derinto modelio: tiesiog parametre model nurodykite visą jo ID vietoj bazinio modelio pavadinimo. Operacija viliojanti, nes mokoma tik iš naujų duomenų.

# Fine-tune from an already fine-tuned model
job_v2 = client.fine_tuning.jobs.create(
    training_file=new_file.id,
    model="ft:gpt-5.6-luna:org::suffix-v1:xxxxxxxx",  # v1 model as base
    suffix="my-assistant-v2"
)

Įspėjimas: nuolatinis derinimas kaupia šališkumus. Po 2–3 nuoseklių iteracijų dažnai geriau pradėti iš naujo nuo bazinio modelio su pilnu, praturtintu duomenų rinkiniu. Kiekvienas sluoksnis sustiprina ankstesniojo ypatumus, įskaitant tuos, kurių neplanavote, ir modelis galiausiai pradeda atsakinėti tokia standumu, kurio niekas jo tiesiogiai nemokė.

Pilnas ciklas

Toliau pateikti žingsniai sudaro kilpą, kurią kartosite kiekvienai versijai. Jei pirmiausia spręsite dažniausiai pasitaikančias klaidas, kita versija parodys išmatuojamą pažangą jūsų testų rinkinyje; sprendžiant jas netvarkingai, gaunamas tik difuzinis pagerėjimas, kurį sunku pagrįsti savo komandai.

1

Surinkite klaidas

Nustatykite atvejus, kai modelis stringa gamyboje arba vertinimo metu.

2

Susiekite kategorijomis ir nustatykite prioritetus

Suskirstykite klaidas pagal tipą ir pirmiausia spręskite dažniausiai pasitaikančias.

3

Sukurkite taisomuosius pavyzdžius

Paverskite kiekvieną klaidą mokymo pavyzdžiu su teisingu atsakymu.

4

Mokykite iš naujo ir įvertinkite

Apmokykite naują versiją ir palyginkite ją su ankstesne naudojant tą patį testų rinkinį.

Dokumentuokite kiekvieną iteraciją

Po keturių ar penkių versijų niekas nebeprisimena, kuo v2 skyrėsi nuo v3 arba kodėl v4 buvo atsisakyta. Sistemingas kiekvieno paleidimo fiksavimas – duomenų rinkinio sudėtis, naujų pavyzdžių šaltinis, hiperparametrai, rezultatai ir priimtas sprendimas – suteikia jums šią informaciją, kai regresija priverčia jus grįžti atgal. Ypatingą dėmesį skirkite naujų pavyzdžių šaltiniui: tik tai po kelių mėnesių jums pasakys, ar degradacija kilo iš blogai parinkto duomenų segmento.

iteration_log = {
    "version": "v3",
    "date": "2026-04-02",
    "base_model": "gpt-5.6-luna",
    "dataset": {
        "train": 350,
        "validation": 45,
        "new_examples": 50,
        "new_examples_source": "production errors week 12"
    },
    "hyperparameters": {
        "n_epochs": 3,
        "learning_rate_multiplier": "auto",
        "batch_size": "auto"
    },
    "results": {
        "validation_loss": 0.42,
        "precision_test": 0.91,
        "avg_csat": 4.3,
        "improvement_vs_v2": "+5% precision, +0.2 CSAT"
    },
    "decision": "Deployed to production on 2026-04-03"
}

Svarbiausi punktai

  • Derinimas yra iteracinis – planuokite kelis ciklus
  • Prieš taisydami klaidas duomenyse, jas susiekite kategorijomis
  • Paverskite naudotojų grįžtamąjį ryšį mokymo pavyzdžiais
  • Po 2–3 nuoseklių iteracijų pradėkite iš naujo nuo bazinio modelio
  • Dokumentuokite kiekvieną iteraciją, kad išlaikytumėte aiškią istoriją