Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Paruoškite savo mokymo duomenis

Paskaita 2 iš 16 Atnaujinta 2026 m. lapkričio 2 d. Pažengusiems
Šiame puslapyje
  1. Duomenų svarba
  2. Duomenų šaltiniai
  3. Kiek duomenų jums reikia?
  4. Pavyzdžių struktūravimas
  5. Geriausios paruošimo praktikos
  6. Svarbiausi punktai

Atnaujinimas 2026 m. lapkričio 2 d. — Derinimo prieinamumas. „OpenAI“ savitarnos derinimo paslauga yra nutraukiama: nuo 2026 m. gegužės 7 d. organizacijos, kurios jos niekada nenaudojo, nebegali kurti užduočių; nuo liepos 2 d. turite būti naudoję derintą modelį per pastaruosius 60 dienų; o nuo 2027 m. sausio 6 d. joks klientas nebegalės paleisti naujų užduočių. Jau apmokyti modeliai išlieka naudojami, kol jų bazinis modelis bus nutrauktas. Šis kursas vis dar naudingas norint suprasti ir išnaudoti esamą modelį; naujiems projektams teikite pirmenybę raginimų inžinerijai (prompt engineering), RAG ir vertinimams.

Duomenų svarba

Jūsų derinto modelio kokybė tiesiogiai priklauso nuo mokymo duomenų kokybės. Modelis, apmokytas prastais duomenimis, duos prastus rezultatus, nesvarbu, kiek epochų ar hiperparametrų pasirinksite: mokymas netaisyklės korpuso, jis jį tik sustiprina. Štai kodėl ši pamoka eina prieš bet kokius techninius svarstymus apie API.

Mes eisime tikruoju duomenų rinkinio keliu: kur jį rasti, kaip užpildyti trūkstamas dalis, kokio dydžio siekti ir kaip struktūruoti kiekvieną pavyzdį prieš formatuojant jį į JSONL kitoje pamokoje.

Duomenų šaltiniai

Pirmasis šaltinis, kurį verta ištirti, yra jūsų pačių istorija, ir ji beveik visada yra nuvertinama. Jei jau turite pokalbių botą ar asistentą, jūsų pokalbių žurnalai („conversation logs“) turi tikrų sąveikų su jūsų vartotojų žodynu ir nesklandžiomis frazėmis – tai medžiaga, daug naudingesnė nei susirinkime sugalvoti klausimai. Jūsų pagalbos bilietai („support tickets“) siūlo tą patį turtingumą, su papildomu privalumu – patvirtintais sprendimais keitimosi pabaigoje. Jūsų vidiniai dokumentai – stiliaus gidai, procedūros, atsakymų šablonai – suteikia jums pageidaujamą atsakymų formą, jei ne pačius klausimus. Galiausiai, jūsų žmogaus vertinimai, tai yra atsakymai, kuriuos jūsų komandos patvirtino arba ištaisė, yra vertingiausi pavyzdžiai iš visų, nes jie jau turi kokybės įvertinimą.

Kai šių šaltinių nepakanka, galite generuoti sintetinius duomenis, kad padengtumėte trūkstamus atvejus:

from openai import OpenAI

client = OpenAI()

def generate_example(topic: str, style: str) -> dict:
    """Generates a synthetic training example."""
    response = client.responses.create(
        model="gpt-5.6-sol",
        input=f"""Generate a realistic conversation between a user
        and an assistant specialized in {topic}.
        The assistant must respond in a {style} style.
        Format: one user message, then the ideal response."""
    )
    return response

Įspėjimas: Sintetinius duomenis turi patikrinti žmogus. Nenaudokite jų aklai – generatorius, kuris neteisingai supranta verslo niuansus, su tokiu pačiu pasitikėjimu sugeneruos penkiasdešimt klaidingų pavyzdžių, kaip ir penkiasdešimt teisingų.

Kiek duomenų jums reikia?

50
Mažiausias gyvybingas kiekis
100-500
Patikimi rezultatai
500+
Aukšta kokybė
80/20
Mokymas / Validavimas

„OpenAI“ rekomenduoja mažiausiai 10 pavyzdžių, tačiau praktiškai 50 yra absoliutus minimumas, norint pastebėti skirtumą. Tarp 100 ir 500 pavyzdžių gausite patikimus rezultatus. Viršijus šią ribą, nauda ateina ne tiek iš apimties, kiek iš įvairovės: tūkstantis to paties klausimo performuluočių modelio neišmoko nieko daugiau nei penkiasdešimt gerai parinktų.

Pavyzdžių struktūravimas

Kiekvienas pavyzdys turi atspindėti pilną sąveiką, tai yra viską, ką modelis matys gamyboje, plius jūsų laukiamą atsakymą. Sistemos žinutė („system message“) yra neprivaloma: ji apibrėžia asistento vaidmenį ir apribojimus, ir jei nuspręsite ją naudoti, ji turi atsirasti visuose jūsų pavyzdžiuose. Naudotojo žinutė („user message“) turi prašymą tokį, koks jis iš tikrųjų atkeliauja, su visomis jo netobulumomis. Asistento žinutė („assistant message“), galiausiai, yra idealus atsakymas – ne tiesiog priimtinas, o tas, kurį norėtumėte matyti pateiktą klientui.

example = {
    "messages": [
        {
            "role": "system",
            "content": "You are a legal assistant specialized in French labor law."
        },
        {
            "role": "user",
            "content": "What is the notice period for a permanent contract?"
        },
        {
            "role": "assistant",
            "content": "The notice period for a permanent contract depends on your seniority and your collective bargaining agreement. As a general rule: less than 6 months seniority, the notice period is set by the collective agreement; between 6 months and 2 years, it is 1 month; beyond 2 years, it is 2 months. Always check your collective agreement, which may provide for different durations."
        }
    ]
}

Geriausios paruošimo praktikos

Įvairovė reikalauja sąmoningų pastangų. Aprėpkite visus tikslinius naudojimo atvejus, įtraukite ribinius atvejus ir dviprasmiškus klausimus, keiskite klausimų ir atsakymų ilgį bei atspindėkite skirtingus sunkumo lygius. Korpusas, sudarytas tik iš lengvų klausimų, sukurs modelį, kuris strigs pirmojo sudėtingo prašymo akivaizdoje.

Nuoseklumas yra priešingas reikalavimas, ir toks pat svarbus. Visi atsakymai turi laikytis to paties stiliaus ir formato; jei naudojate sistemos žinutę, naudokite ją kiekviename pavyzdyje; ir atsakymai turi būti tokie, kokius iš tikrųjų tikitės gamyboje, o ne specialiai proga sukurtos išpuoselėtos versijos. Modelis išmoks tai, ką jam rodote vidutiniškai, įskaitant ir abejones.

Galiausiai, yra mokymo ir validavimo padalijimas („train/validation split“). Atidėjus 20 % pavyzdžių prieš mokymą, vėliau galėsite sužinoti, ar jūsų modelis išmoko, ar tiesiog įsiminė. Padarykite tai vieną kartą, išsaugokite abu failus ir daugiau jų nemaišykite.

import json
import random

# Load your data
with open("complete_data.jsonl", "r") as f:
    examples = [json.loads(line) for line in f]

# Shuffle
random.shuffle(examples)

# Split 80/20
split = int(len(examples) * 0.8)
train = examples[:split]
validation = examples[split:]

# Save
for name, data in [("train.jsonl", train), ("validation.jsonl", validation)]:
    with open(name, "w") as f:
        for ex in data:
            f.write(json.dumps(ex, ensure_ascii=False) + "\n")

print(f"Train: {len(train)} examples, Validation: {len(validation)} examples")

Svarbiausi punktai

  • Kokybė svarbesnė už kiekį – 100 puikių pavyzdžių yra geriau nei 1 000 vidutiniškų
  • Rankiniu būdu patikrinkite savo sintetinius duomenis
  • Visada atskirkite validavimo rinkinį (20 %), kad galėtumėte objektyviai įvertinti
  • Užtikrinkite stiliaus ir formato nuoseklumą visuose savo pavyzdžiuose