Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Iterointi: Milloin hienosäätö kannattaa tehdä uudelleen

Oppitunti 13 / 16 Päivitetty 2. marraskuuta 2026 Edistynyt
Tällä sivulla
  1. Hienosäätö on iteratiivinen prosessi
  2. Analysoi virheet ennen korjaamista
  3. Milloin iterointi kannattaa
  4. Rikasta äläkä aloita alusta
  5. Jatkuva hienosäätö ja sen rajat
  6. Koko sykli
  7. Dokumentoi jokainen iterointi
  8. Keskeiset asiat

Päivitys 2. marraskuuta 2026 — Hienosäädön saatavuus. OpenAI:n itsepalveluhienosäätö on poistumassa käytöstä: 7. toukokuuta 2026 lähtien organisaatiot, jotka eivät ole koskaan suorittaneet hienosäätötyötä, eivät voi enää luoda sellaista; 2. heinäkuuta lähtien sinun on täytynyt käyttää hienosäädettyä mallia viimeisen 60 päivän aikana; ja 6. tammikuuta 2027 alkaen mikään asiakas ei voi enää käynnistää uusia töitä. Jo koulutetut mallit pysyvät käytettävissä, kunnes niiden pohjamalli poistetaan käytöstä. Tämä kurssi on edelleen hyödyllinen olemassa olevan mallin ymmärtämiseen ja hyödyntämiseen; uusissa projekteissa priorisoi kehotetekniikkaa (prompt engineering), RAG:ia ja arviointia.

Hienosäätö on iteratiivinen prosessi

Ensimmäinen hienosäätökertasi on harvoin täydellinen. Parannus syntyy toistuvista sykleistä: analysoi virheet, rikasta dataa, kouluta uudelleen ja arvioi uudelleen. Tässä oppitunnissa opit tunnistamaan, milloin ja miten iteroida tehokkaasti – ja yhtä tärkeää, miten tunnistaa tilanteet, joissa uudelleenkoulutus olisi turhaa.

Analysoi virheet ennen korjaamista

Luonnollinen refleksi pettymystä tuottaneen arvioinnin jälkeen on lisätä esimerkkejä satunnaisesti toivoen, että määrä ratkaisee ongelman. Tämä on nopein tapa polttaa koulutusbudjettisi tekemättä edistystä. Aloita lajittelemalla jokainen epäonnistuminen kategoriaan: väärä muotoilu, sopimaton sävy, faktuaalinen virhe, puutteellinen vastaus, aiheen vierestä oleva vastaus tai puhdas hallusinaatio. Syntynyt jakauma kertoo, mihin sinun kannattaa keskittyä, ja se paljastaa usein yllätyksen – mitä luulit tyyliongelmaksi, osoittautuukin puutteellisuusongelmaksi.

def analyze_errors(results: list[dict]) -> dict:
    """Categorizes errors from the fine-tuned model."""
    categories = {
        "format": [],       # Incorrect response format
        "tone": [],         # Inappropriate tone
        "factual": [],      # Incorrect information
        "incomplete": [],   # Response too short or missing elements
        "off_topic": [],    # Does not answer the question
        "hallucination": [] # Invents information
    }

    for r in results:
        if r.get("score", 5) < 3:
            # Classify the error (can be done manually or by an LLM)
            category = classify_error(r)
            categories[category].append(r)

    print("Error distribution:")
    for cat, errors in categories.items():
        if errors:
            print(f"  {cat}: {len(errors)} cases")

    return categories

Seuraavaksi tarkastele saman kategorian tapauksia löytääksesi yhteisen nimittäjän. Kysy itseltäsi joka kerta samat kysymykset: epäonnistuuko malli tietyntyyppisissä kysymyksissä, klusteroituvatko virheet tiettyjen aiheiden ympärille ja johtuuko ongelma datasta vai hyperparametreista? Kaikille aiheille hajautuneet mutta luonteeltaan aina samat epäonnistumiset viittaavat esimerkkien puutteeseen; yhdelle alueelle keskittyneet epäonnistumiset kertovat kattavuusaukosta; ja vastaukset, jotka pitäytyvät liian tiukasti koulutesimerkeissäsi kysymyksestä riippumatta, signaloivat ylisovittumista (overfitting), joka vaatii korjausta epochien puolella.

Milloin iterointi kannattaa

Tietyt signaalit vaativat yksiselitteisesti uutta versiota, ja kukin niistä vaatii erilaisen reagoinnin. Mallia, joka hallusinoi tietyssä aiheessa, ei korjata näyttämällä sille lisää oikeita vastauksia kyseisestä aiheesta, vaan opettamalla se kieltäytymään kohteliaasti, kun se ei tiedä.

SignaaliToimenpide
Toistuvat muotovirheetLisää enemmän esimerkkejä oikealla muodolla
Malli hallusinoi tietyissä aiheissaLisää esimerkkejä, joissa se kieltäytyy kohteliaasti
Ylisovittuminen havaittuVähennä epocheja, monipuolista dataa
Uusia käyttötapauksia katettavaksiLisää esimerkkejä näille tapauksille
Kohdennettu negatiivinen käyttäjäpalauteMuuta palaute korjatuiksi esimerkeiksi

Päinvastoin, useat tilanteet sollten estää sinua kouluttamasta uudelleen. Kun virheet ovat harvinaisia ja ei-systemaattisia, kehotteen (prompt) säätäminen hoitaa ne nopeammin ja halvemmalla. Kun valitukset koskevat latenssia tai odotusaikoja, ongelma on infrastruktuurissasi, eikä mikään määrä koulutusta korjaa sitä. Kun olet kerännyt vain kourallisen uusia esimerkkejä edellisen version jälkeen, odotettu hyöty ei kata ajon kustannuksia. Ja kun uusi pohjamalli tulee saataville, testaa se ensin sellaisenaan: joskus se saavuttaa itsestään, ilman koulutusta, sen mitä edellinen versiosi kamppaili tuottaakseen.

Rikasta äläkä aloita alusta

Inkrementaalinen iterointi tarkoittaa kohdennettujen esimerkkien lisäämistä olemassa olevaan datajoukkoon koskematta muuhun. Tämä on yleisin ja yksinkertaisin operaatio: lataat nykyisen tiedoston, liität uudet tapaukset perään ja kirjoitat kaiken uudelleen JSONL-muodossa. Lopullinen määrä toimii tarkistuksenasi – summaa, joka ei täsmää odotettuun, viittaa tiedostonlukuvirheeseen tai kadonneisiin riveihin.

import json

def enrich_dataset(
    existing_dataset: str,
    new_examples: list[dict],
    output: str
):
    """Adds new examples to the existing dataset."""
    # Load existing data
    with open(existing_dataset, "r") as f:
        existing = [json.loads(l) for l in f]

    # Merge
    combined = existing + new_examples

    # Save
    with open(output, "w") as f:
        for ex in combined:
            f.write(json.dumps(ex, ensure_ascii=False) + "\n")

    print(f"Enriched dataset: {len(existing)} + {len(new_examples)} = {len(combined)}")

Korjaava iterointi on vielä arvokkaampaa, koska se muuttaa epäonnistumisesi raaka-aineeksi. Jokainen tuotannossa havaittu virhe tarjoaa todellisen kysymyksen; sinun tarvitsee vain kirjoittaa vastaus, jonka olisit toivonut näkeväsi, ja parista tulee koulutesimerkki. Huomaa, että huono vastaus ei päädy lopulliseen esimerkkiin: se auttaa dokumentoimaan tapauksen ja päättämään, kannattaako korjaus vaivan, mutta malli oppii vain oikeasta versiosta.

def error_to_example(
    question: str,
    bad_response: str,
    good_response: str,
    system_msg: str
) -> dict:
    """Transforms an error into a training example."""
    return {
        "messages": [
            {"role": "system", "content": system_msg},
            {"role": "user", "content": question},
            {"role": "assistant", "content": good_response}
        ]
    }

# Transform a batch of errors
corrections = []
for error in detected_errors:
    correction = error_to_example(
        question=error["question"],
        bad_response=error["model_response"],
        good_response=error["corrected_response"],
        system_msg=SYSTEM_PROMPT
    )
    corrections.append(correction)

Jatkuva hienosäätö ja sen rajat

Mikään ei estä sinua hienosäätämästä jo hienosäädettyä mallia: välitä vain sen koko ID model-parametriin pohjamallin nimen sijaan. Operaatio on houkutteleva, koska se kouluttaa vain uudella datalla.

# Fine-tune from an already fine-tuned model
job_v2 = client.fine_tuning.jobs.create(
    training_file=new_file.id,
    model="ft:gpt-5.6-luna:org::suffix-v1:xxxxxxxx",  # v1 model as base
    suffix="my-assistant-v2"
)

Varoitus: jatkuva hienosäätö kumuloi vinoumia. 2–3 peräkkäisen iteration jälkeen on usein parempi aloittaa alusta pohjamallista täydellisellä, rikkaammalla datajoukolla. Jokainen kerros vahvistaa edellisen omituisuuksia, myös niitä joita et tarkoittanut, ja malli päätyy vastaamaan jäykkyydellä, jota kukaan ei sille eksplisiittisesti opettanut.

Koko sykli

Alla olevat vaiheet muodostavat silmukan, jonka toistat jokaista versiota varten. Jos hyökkäät yleisimpien virheiden kimppuun ensin, seuraava versio näyttää mitattavia parannuksia testijoukossasi; niiden käsittely väärässä järjestyksessä tuottaa vain hajanaista parannusta, jota on vaikea perustella tiimillesi.

1

Kerää virheet

Tunnista tapaukset, joissa malli epäonnistuu tuotannossa tai arvioinnin aikana.

2

Luokittele ja priorisoi

Luokittele virheet tyypin mukaan ja käsittele yleisimmät ensin.

3

Luo korjaavia esimerkkejä

Muuta jokainen virhe koulutesimerkiksi oikealla vastauksella.

4

Kouluta ja arvioi uudelleen

Kouluta uusi versio ja vertaa sitä edelliseen samalla testijoukolla.

Dokumentoi jokainen iterointi

Neljän tai viiden version jälkeen kukaan ei muista, mikä erotti version 2 versiosta 3 tai miksi versio 4 hylättiin. Jokaisen ajon systemaattinen kirjaaminen – datajoukon koostumus, uusien esimerkkien lähde, hyperparametrit, tulokset ja tehty päätös – antaa sinulle nämä tiedot, kun regressio pakottaa sinut palaamaan askelia taaksepäin. Kiinnitä erityistä huomiota uusien esimerkkien lähteeseen: vain se kertoo kuukausia myöhemmin, johtuiko heikkeneminen huonosti valitusta dataerästä.

iteration_log = {
    "version": "v3",
    "date": "2026-04-02",
    "base_model": "gpt-5.6-luna",
    "dataset": {
        "train": 350,
        "validation": 45,
        "new_examples": 50,
        "new_examples_source": "production errors week 12"
    },
    "hyperparameters": {
        "n_epochs": 3,
        "learning_rate_multiplier": "auto",
        "batch_size": "auto"
    },
    "results": {
        "validation_loss": 0.42,
        "precision_test": 0.91,
        "avg_csat": 4.3,
        "improvement_vs_v2": "+5% precision, +0.2 CSAT"
    },
    "decision": "Deployed to production on 2026-04-03"
}

Keskeiset asiat

  • Hienosäätö on iteratiivista – varaudu useisiin sykleihin
  • Luokittele virheet ennen niiden korjaamista datassa
  • Muuta käyttäjäpalaute koulutesimerkeiksi
  • 2–3 peräkkäisen iteration jälkeen aloita alusta pohjamallista
  • Dokumentoi jokainen iterointi selkeän historian ylläpitämiseksi