Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Valmistage oma koolitusandmed ette

Õppetund 2 / 16 Värskendatud 2. november 2026 Edasijõudnutele
Sellel lehel
  1. Andmete tähtsus
  2. Andmeallikad
  3. Kui palju andmeid vajate?
  4. Näidete struktureerimine
  5. Ettevalmistuse parimad tavad
  6. Peamised punktid

Uuendus 2. novembril 2026 — Häälestamise kättesaadavus. OpenAI iseteeninduslik häälestamine kaotatakse järk-järgult: alates 7. maist 2026 ei saa organisatsioonid, kes seda varem kasutanud pole, enam uusi ülesandeid luua; alates 2. juulist peate olema häälestatud mudelit kasutanud viimase 60 päeva jooksul; ja alates 6. jaanuarist 2027 ei saa ükski klient uusi ülesandeid käivitada. Juba treenitud mudeleid saab kasutada seni, kuni nende baasmudel on kasutuselt kõrvaldatud. See kursus on endiselt kasulik olemasoleva mudeli mõistmiseks ja ärakasutamiseks; uute projektide puhul seadke esikohale vihjeinseneria (prompt engineering), RAG ja hindamine.

Andmete tähtsus

Teie häälestatud mudeli kvaliteet sõltub otseselt teie koolitusandmete kvaliteedist. Halvadel andmetel treenitud mudel annab halbu tulemusi, sõltumata valitud epohhide arvust või hüperparameetritest: koolitus ei paranda korpust, vaid võimendab seda. Seetõttu eelneb see tund kõigile API tehnilistele kaalutlustele.

Järgime andmestiku tegelikku teekonda: kust seda leida, kuidas täita lüngad, millist mahtu taotleda ja kuidas struktureerida iga näidet enne selle vormindamist JSONL-formaati järgmises tunnis.

Andmeallikad

Esimene allikas, mida uurida, on teie enda ajalugu, ja seda alahinnatakse peaaegu alati. Kui teil juba töötab vestlusbot või assistent, sisaldavad teie vestluslogid tegelikke interaktsioone koos teie kasutajate sõnavara ja kohmakate väljenditega – materjal, mis on palju kasulikum kui koosolekul välja mõeldud küsimused. Teie tugipiletid pakuvad sama rikkust, lisaboonusena vahetuse lõpus kinnitatud lahendused. Teie sisemised dokumendid – stiilijuhendid, protseduurid, vastusemallid – annavad teile oodatava vastuse vormi, kui mitte küsimusi. Lõpuks on teie inimhindamised, ehk teie meeskondade kinnitatud või parandatud vastused, kõige väärtuslikumad näited, kuna need kannavad juba kvaliteediotsust.

Kui nendest allikatest ei piisa, saate puuduvate juhtumite katmiseks genereerida sünteetilisi andmeid:

from openai import OpenAI

client = OpenAI()

def generate_example(topic: str, style: str) -> dict:
    """Generates a synthetic training example."""
    response = client.responses.create(
        model="gpt-5.6-sol",
        input=f"""Generate a realistic conversation between a user
        and an assistant specialized in {topic}.
        The assistant must respond in a {style} style.
        Format: one user message, then the ideal response."""
    )
    return response

Hoiatus: Sünteetilisi andmeid peab inimene kontrollima. Ärge kasutage neid pimesi – generaator, mis ajab äri nüansi sassi, toodab sama kindlusega viiskümmend vale näidet kui viiskümmend õiget.

Kui palju andmeid vajate?

50
Minimaalne elujõuline
100-500
Tugevad tulemused
500+
Kõrge kvaliteet
80/20
Treening / Valideerimine

OpenAI soovitab miinimumina 10 näidet, kuid praktikas on 50 absoluutne miinimum, et erinevust märgata. 100 ja 500 näite vahel saate usaldusväärseid tulemusi. Sellest enam ei tulene võit nii palju mahust kui mitmekesisusest: tuhat sama küsimuse ümberformuleerimist ei õpeta mudelile midagi enamat kui viiskümmend hästi valitud näidet.

Näidete struktureerimine

Iga näide peab esindama terviklikku interaktsiooni, mis tähendab kõike, mida mudel tootmises näeb, pluss teie oodatav vastus. Süsteemisõnum on valikuline: see määratleb assistendi rolli ja piirangud ning kui otsustate seda kasutada, peab see ilmuma kõigis teie näidetes. Kasutaja sõnum sisaldab päringut nii, nagu see tegelikult saabub, koos oma ebatäiuslikkustega. Assistendi sõnum on lõpuks ideaalne vastus – mitte lihtsalt vastuvõetav, vaid see, mida sooviksite kliendile esitada.

example = {
    "messages": [
        {
            "role": "system",
            "content": "You are a legal assistant specialized in French labor law."
        },
        {
            "role": "user",
            "content": "What is the notice period for a permanent contract?"
        },
        {
            "role": "assistant",
            "content": "The notice period for a permanent contract depends on your seniority and your collective bargaining agreement. As a general rule: less than 6 months seniority, the notice period is set by the collective agreement; between 6 months and 2 years, it is 1 month; beyond 2 years, it is 2 months. Always check your collective agreement, which may provide for different durations."
        }
    ]
}

Ettevalmistuse parimad tavad

Mitmekesisus nõuab tahtlikku pingutust. Katke kõik sihitavad kasutusjuhtumid, lisage piirjuhtumeid ja ebaselgeid küsimusi, varieerige küsimuste ja vastuste pikkust ning esindage erinevaid raskusastmeid. Ainult lihtsatest küsimustest koosnev korpus toodab mudeli, which hakkab esimese keerulisema päringu korral takerduma.

Järjepidevus on vastupidine tingimus ja sama oluline. Kõik vastused peavad järgima sama stiili ja formaati; kui kasutate süsteemisõnumit, kasutage seda igas näites; ja vastused peavad olema need, mida tegelikult tootmises ootate, mitte selleks puhuks loodud lihvitud versioonid. Mudel õpib keskmist sellest, mida talle näitate, kaasa arvatud kõhklused.

Lõpuks on olemas treening/valideerimine jaotus. 20% näidete kõrvalepanek enne treenimist võimaldab teil hiljem teada saada, kas teie mudel on õppinud või lihtsalt meelde jätnud. Tehke seda üks kord, salvestage kaks faili ja ärge segage neid enam kunagi.

import json
import random

# Load your data
with open("complete_data.jsonl", "r") as f:
    examples = [json.loads(line) for line in f]

# Shuffle
random.shuffle(examples)

# Split 80/20
split = int(len(examples) * 0.8)
train = examples[:split]
validation = examples[split:]

# Save
for name, data in [("train.jsonl", train), ("validation.jsonl", validation)]:
    with open(name, "w") as f:
        for ex in data:
            f.write(json.dumps(ex, ensure_ascii=False) + "\n")

print(f"Train: {len(train)} examples, Validation: {len(validation)} examples")

Peamised punktid

  • Kvaliteet on tähtsam kui kvantiteet – 100 suurepärast näidet on paremad kui 1000 keskpärast
  • Kontrollige oma sünteetilisi andmeid käsitsi
  • Eraldage alati valideerimiskomplekt (20%), et hinnata objektiivselt
  • Tagage stiili ja formaadi järjepidevus kõigis oma näidetes