Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Valmistele koulutusdatasi

Oppitunti 2 / 16 Päivitetty 2. marraskuuta 2026 Edistynyt
Tällä sivulla
  1. Datan merkitys
  2. Datalähteet
  3. Kuinka paljon dataa tarvitset?
  4. Esimerkkien rakentaminen
  5. Parhaat käytännöt valmistelussa
  6. Keskeiset asiat

Päivitys 2. marraskuuta 2026 — Hienosäädön saatavuus. OpenAI:n itsepalveluhienosäätö on poistumassa: 7. toukokuuta 2026 lähtien organisaatiot, jotka eivät ole koskaan käyttäneet sitä, eivät voi enää luoda tehtäviä; 2. heinäkuuta lähtien sinun on täytynyt käyttää hienosäädettyä mallia viimeisen 60 päivän aikana; ja 6. tammikuuta 2027 alkaen mikään asiakas ei voi käynnistää uusia tehtäviä. Jo koulutetut mallit pysyvät käytössä, kunnes niiden perusmalli poistetaan käytöstä. Tämä kurssi on edelleen hyödyllinen olemassa olevan mallin ymmärtämiseen ja hyödyntämiseen; uusissa projekteissa priorisoi kehotetekniikkaa (prompt engineering), RAG:ia ja arviointia.

Datan merkitys

Hienosäädetyn mallisi laatu riippuu suoraan koulutusdatasi laadusta. Huonolla datalla koulutettu malli tuottaa huonoja tuloksia riippumatta valittujen epochien tai hyperparametrien määrästä: koulutus ei korjaa tekstikorpuksia, se vahvistaa niitä. Siksi tämä oppitunti tulee ennen kaikkia API:n teknisiä näkökohtia.

Seuraamme datajoukon todellista polkua: mistä sitä löytää, miten puuttuvat kohdat täytetään, mihin määrään tulisi tähdätä ja miten jokainen esimerkki rakennetaan ennen kuin se muotoillaan JSONL-muotoon seuraavassa oppitunnissa.

Datalähteet

Ensimmäinen lähde, joka kannattaa tutkia, on oma historiasi, ja sitä lähes aina aliarvioidaan. Jos sinulla on jo käytössä chatbot tai avustaja, keskustelulokisi sisältävät todellisia vuorovaikutustilanteita käyttäjiesi sanastolla ja kömpelöillä formuloinneilla – materiaali, joka on paljon hyödyllisempää kuin kokouksessa keksityt kysymykset. Tukipyyntösi tarjoavat saman rikkauden, ja bonuksena saat vielä vahvistetut ratkaisut keskustelun lopussa. Sisäiset dokumenttisi – tyylioppaat, menettelytavat, vastausmallit – antavat sinulle odotetun vastausmuodon, elleivät itse kysymyksiä. Lopuksi ihmisten tekemät arvioinnit, eli tiemiesi validoimat tai korjaamat vastaukset, ovat arvokkaimpia esimerkkejä, sillä niihin sisältyy jo laatuarviointi.

Kun nämä lähteet eivät riitä, voit generoida synteettistä dataa kattamaan puuttuvat tapaukset:

from openai import OpenAI

client = OpenAI()

def generate_example(topic: str, style: str) -> dict:
    """Generates a synthetic training example."""
    response = client.responses.create(
        model="gpt-5.6-sol",
        input=f"""Generate a realistic conversation between a user
        and an assistant specialized in {topic}.
        The assistant must respond in a {style} style.
        Format: one user message, then the ideal response."""
    )
    return response

Varoitus: Synteettinen data on tarkistettava ihmisen toimesta. Älä käytä sitä sokeasti – generaattori, joka ymmärtää väärin liiketoiminnan vivahde, tuottaa viisikymmentä virheellistä esimerkkiä yhtä itsevarmasti kuin viisikymmentä oikeaa.

Kuinka paljon dataa tarvitset?

50
Elinkelpoinen minimi
100-500
Vakaat tulokset
500+
Korkea laatu
80/20
Koulutus / Validointi

OpenAI suosittelee vähintään 10 esimerkkiä, mutta käytännössä 50 on ehdoton minimi eron havaitsemiseksi. 100–500 esimerkin välillä saat luotettavia tuloksia. Tämän jälkeen hyöty ei tule niinkään määrästä kuin monimuotoisuudesta: tuhat uudelleenformulointia samasta kysymyksestä ei opeta mallille enempää kuin viisikymmentä hyvin valittua esimerkkiä.

Esimerkkien rakentaminen

Jokaisen esimerkin on edustettava täydellistä vuorovaikutusta, eli kaikkea sitä, mitä malli näkee tuotantoympäristössä, plus odottamasi vastaus. Järjestelmäviesti on valinnainen: se määrittelee avustajan roolin ja rajoitukset, ja jos päätät käyttää sitä, sen on esiinnyttävä kaikissa esimerkeissäsi. Käyttäjäviesti sisältää pyynnön sellaisena kuin se todellisuudessa saapuu, puutteineen kaikkineen. Avustajan viesti puolestaan on ihanteellinen vastaus – ei vain hyväksyttävä, vaan se, jonka haluaisit nähdä tarjottavan asiakkaalle.

example = {
    "messages": [
        {
            "role": "system",
            "content": "You are a legal assistant specialized in French labor law."
        },
        {
            "role": "user",
            "content": "What is the notice period for a permanent contract?"
        },
        {
            "role": "assistant",
            "content": "The notice period for a permanent contract depends on your seniority and your collective bargaining agreement. As a general rule: less than 6 months seniority, the notice period is set by the collective agreement; between 6 months and 2 years, it is 1 month; beyond 2 years, it is 2 months. Always check your collective agreement, which may provide for different durations."
        }
    ]
}

Parhaat käytännöt valmistelussa

Monimuotoisuus vaatii tietoista panostusta. Kata kaikki kohdistamasi käyttötapaukset, sisällytä rajatapaukset ja epäselvät kysymykset, vaihtele kysymysten ja vastausten pituutta sekä edusta eri vaikeustasoja. Pelkästään helppoja kysymyksiä sisältävä korpus tuottaa mallin, joka änkyttää ensimmäisen mutkikkaan pyynnön edessä.

Johdonmukaisuus on vastakkainen mutta yhtä tärkeä vaatimus. Kaikkien vastausten on noudatettava samaa tyyliä ja muotoa; jos käytät järjestelmäviestiä, käytä sitä jokaisessa esimerkissä; ja vastausten on oltava sitä, mitä todella odotat tuotannossa, ei tilaisuutta varten kiillotettuja versioita. Malli oppii keskiarvon siitä, mitä sille näytät, epäröinnit mukaan lukien.

Lopuksi on vielä koulutus- ja validointijako. 20 % esimerkeistä varaaminen ennen koulutusta on se, mikä mahdollistaa myöhemmin sen tietämisen, onko mallisi oppinut vai ainoastaan ulkolukemalla muistanut. Tee se kerran, tallenna kaksi tiedostoa, äläkä sekoita niitä enää uudelleen.

import json
import random

# Load your data
with open("complete_data.jsonl", "r") as f:
    examples = [json.loads(line) for line in f]

# Shuffle
random.shuffle(examples)

# Split 80/20
split = int(len(examples) * 0.8)
train = examples[:split]
validation = examples[split:]

# Save
for name, data in [("train.jsonl", train), ("validation.jsonl", validation)]:
    with open(name, "w") as f:
        for ex in data:
            f.write(json.dumps(ex, ensure_ascii=False) + "\n")

print(f"Train: {len(train)} examples, Validation: {len(validation)} examples")

Keskeiset asiat

  • Laatu ennen määrää – 100 erinomaista esimerkkiä on parempi kuin 1 000 keskinkertaista
  • Tarkista synteettinen data manuaalisesti
  • Varaa aina validointijoukko (20 %) objektiivista arviointia varten
  • Varmista tyylin ja muodon johdonmukaisuus kaikissa esimerkeissäsi