Az betanítási adatok előkészítése
Ezen az oldalon
Frissítés: 2026. november 2. – A finomhangolás elérhetősége. Az OpenAI megszünteti az önálló finomhangolási szolgáltatását: 2026. május 7. óta azok a szervezetek, amelyek még sosem használták, már nem hozhatnak létre új feladatokat; július 2. óta pedig az elmúlt 60 napban használnod kellett egy finomhangolt modellt. 2027. január 6-tól kezdve egyetlen ügyfél sem indíthat új feladatokat. A már betanított modellek addig használhatók maradnak, amíg az alapmodelljük ki nem vonják a forgalomból. Ez a tananyag továbbra is hasznos egy meglévő modell megértéséhez és kiaknázásához; új projektek esetén azonban előnyben részesítsd a prompt-mérnökséget, a RAG-ot és az értékeléseket.
Az adatok jelentősége
A finomhangolt modelled minősége közvetlenül függ a betanítási adataid minőségétől. Egy gyenge adatokon betanított modell gyenge eredményeket produkál, függetlenül az epochok számától vagy a választott hiperparaméterektől: a tanulás nem javítja a korpuszt, hanem felerősíti azt. Éppen ezért ez a lecke megelőz minden, az API-val kapcsolatos technikai megfontolást.
Végigkövetjük egy adathalmaz valós útját: hol találjuk meg, hogyan pótoljuk a hiányzó részeket, mekkora mennyiségre kell törekednünk, és hogyan strukturáljuk az egyes példákat, mielőtt a következő leckében JSONL formátumba rendeznénk őket.
Adatforrások
Az első feltárandó forrás a saját előzményeid, amelyet szinte mindig alábecsülnek. Ha már üzemeltetsz chatbotot vagy asszisztenst, a beszélgetési naplóid valódi interakciókat tartalmaznak, a felhasználóid szókincsével és ügyetlen megfogalmazásaival – ez az anyag sokkal hasznosabb, mint egy értekezleten kitalált kérdések. A ügyfélszolgálati jegyeid ugyanezt a gazdagságot kínálják, azzal a bónusszal, hogy a beszélgetés végén ellenőrzött megoldások is rendelkezésre állnak. A belső dokumentumaid – stílusútmutatók, eljárásrendek, válaszsablonok – megadják a válaszok elvárt formáját, ha nem is magát a kérdést. Végül a humán értékelések, vagyis a csapataid által jóváhagyott vagy kijavított válaszok a legértékesebb példák közé tartoznak, mivel ezek már eleve hordozzák a minőségi ítéletet.
Amikor ezek a források nem elegendőek, szintetikus adatokat generálhatsz a hiányzó esetek lefedésére:
from openai import OpenAI
client = OpenAI()
def generate_example(topic: str, style: str) -> dict:
"""Generates a synthetic training example."""
response = client.responses.create(
model="gpt-5.6-sol",
input=f"""Generate a realistic conversation between a user
and an assistant specialized in {topic}.
The assistant must respond in a {style} style.
Format: one user message, then the ideal response."""
)
return response
Figyelmeztetés: A szintetikus adatokat embernek kell ellenőriznie. Ne használd őket vakon – egy generátor, amely elront egy üzleti árnyalatot, ugyanolyan magabiztossággal gyárt ötven hamis példát, mint ötven helyeset.
Mennyi adatra van szükséged?
Az OpenAI legalább 10 példát javasol, de a gyakorlatban az 50 az abszolút minimum ahhoz, hogy különbséget észlelj. 100 és 500 példa között megbízható eredményeket kapsz. Efelett a nyereség már kevésbé a mennyiségből, inkább a sokszínűségből fakad: ezer átfogalmazása ugyanannak a kérdésnek semmit sem tanít a modellnek többet, mint ötven jól megválasztott példa.
A példák strukturálása
Minden példának egy teljes interakciót kell reprezentálnia, vagyis mindazt, amit a modell éles környezetben látni fog, plusz a tőled elvárt választ. A rendszerüzenet (system message) opcionális: ez határozza meg az asszisztens szerepét és korlátait; ha úgy döntesz, hogy használod, akkor minden egyes példában meg kell jelennie. A felhasználói üzenet (user message) tartalmazza a kérést olyannak, ahogy az valójában beérkezik, a maga tökéletlenségeivel. Végül az asszisztens üzenet (assistant message) az ideális válasz – nem egy elfogadható, hanem az a válasz, amit szívesen látnál viszontadni egy ügyfélnek.
example = {
"messages": [
{
"role": "system",
"content": "You are a legal assistant specialized in French labor law."
},
{
"role": "user",
"content": "What is the notice period for a permanent contract?"
},
{
"role": "assistant",
"content": "The notice period for a permanent contract depends on your seniority and your collective bargaining agreement. As a general rule: less than 6 months seniority, the notice period is set by the collective agreement; between 6 months and 2 years, it is 1 month; beyond 2 years, it is 2 months. Always check your collective agreement, which may provide for different durations."
}
]
}
A legjobb gyakorlatok az előkészítéshez
A sokszínűség tudatos erőfeszítést igényel. Fedd le az összes célzott használati esetet, vonj be perem eseteket és félreérthető kérdéseket, változtasd a kérdések és válaszok hosszát, és jelenítsd meg a különböző nehézségi szinteket. Egy csak könnyű kérdésekből álló korpusz olyan modellt eredményez, amely az első csavaros kérésnél elakad.
A konzisztencia az ellenkező követelmény, és ugyanolyan fontos. Minden válasznak követnie kell ugyanazt a stílust és formátumot; ha használsz rendszerüzenetet, azt minden példában alkalmazd; a válaszoknak pedig olyannak kell lenniük, amit valójában éles környezetben elvársz, nem pedig az alkalomra kreált, csiszolt változatoknak. A modell azt tanulja meg, amit átlagosan mutatsz neki, beleértve a habozásokat is.
Végül ott van a tanító/validáló felosztás. A példák 20%-ának félretétele a tanítás előtt teszi lehetővé, hogy később tudd: a modelled tanult-e, vagy csupán bemagolt. Csináld meg egyszer, mentsd el a két fájlt, és többé ne keverd őket össze.
import json
import random
# Load your data
with open("complete_data.jsonl", "r") as f:
examples = [json.loads(line) for line in f]
# Shuffle
random.shuffle(examples)
# Split 80/20
split = int(len(examples) * 0.8)
train = examples[:split]
validation = examples[split:]
# Save
for name, data in [("train.jsonl", train), ("validation.jsonl", validation)]:
with open(name, "w") as f:
for ex in data:
f.write(json.dumps(ex, ensure_ascii=False) + "\n")
print(f"Train: {len(train)} examples, Validation: {len(validation)} examples")
Főbb megállapítások
- Minőség a mennyiség helyett – 100 kiváló példa többet ér, mint 1000 közepes
- Manuálisan ellenőrizd a szintetikus adataidat
- Mindig tarts félre egy validáló készletet (20%) az objektív értékeléshez
- Biztosítsd a stílus és formátum konzisztenciáját az összes példád között