Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Ποιότητα Δεδομένων: Καθαρισμός και Επικύρωση

Μάθημα 4 / 16 Ενημερώθηκε 2 Νοεμβρίου 2026 Προχωρημένος
Σε αυτήν τη σελίδα
  1. Γιατί ο καθαρισμός είναι κρίσιμος
  2. Τεχνική επικύρωση αρχείου
  3. Καθαρισμός περιεχομένου
  4. Έλεγχοι συνέπειας
  5. Χρήση του API επικύρωσης της OpenAI
  6. Λίστα ελέγχου πριν το Fine-tuning
  7. Βασικά σημεία

Ενημέρωση 2 Νοεμβρίου 2026 — Διαθεσιμότητα Fine-tuning. Η αυτοεξυπηρετούμενη λειτουργία fine-tuning της OpenAI καταργείται σταδιακά: από τις 7 Μαΐου 2026, οι οργανισμοί που δεν είχαν εκτελέσει ποτέ εργασία fine-tuning δεν μπορούν πλέον να δημιουργήσουν μία· από τις 2 Ιουλίου, πρέπει να έχετε χρησιμοποιήσει ένα μοντέλο fine-tuned μέσα στις τελευταίες 60 ημέρες· και ξεκινώντας από τις 6 Ιανουαρίου 2027, κανένας πελάτης δεν θα μπορεί να ξεκινήσει νέες εργασίες. Τα ήδη εκπαιδευμένα μοντέλα παραμένουν usable μέχρι να αποσυρθεί το βασικό τους μοντέλο. Αυτό το μάθημα παραμένει χρήσιμο για την κατανόηση και αξιοποίηση ενός υπάρχοντος μοντέλου· για νέα έργα, δώστε προτεραιότητα στη μηχανική εντολών (prompt engineering), στο RAG και στις αξιολογήσεις.

Γιατί ο καθαρισμός είναι κρίσιμος

Ένα τεχνικά έγκυρο αρχείο JSONL δεν εγγυάται καλό fine-tuning. Θορυβώδη, ασυνεπή ή κακώς μορφοποιημένα δεδομένα θα υποβαθμίσουν την απόδοση του μοντέλου αντί να τη βελτιώσουν—και το χειρότερο είναι ότι δεν θα προκαλέσουν κανένα σφάλμα. Η εργασία θα ολοκληρωθεί επιτυχώς, το μοντέλο θα είναι έτοιμο και θα ανακαλύψετε το πρόβλημα μόνο στην παραγωγή. Αυτό το μάθημα καλύπτει τις τεχνικές καθαρισμού και επικύρωσης που πρέπει να εκτελέσετε πριν από τη μεταφόρτωση.

Τεχνική επικύρωση αρχείου

Ξεκινήστε με τα μηχανικά μέρη: επαληθεύστε ότι το αρχείο σας είναι συντακτικά σωστό και ότι κάθε γραμμή σέβεται την αναμενόμενη σύμβαση. Η παρακάτω συνάρτηση διατρέχει το αρχείο γραμμή προς γραμμή, συσσωρεύοντας σφάλματα αντί να σταματά στο πρώτο (θέλετε την πλήρη λίστα, όχι μια διαδικασία πήγαινε-έλα για κάθε θέμα) και επιστρέφει ορισμένα χρήσιμα στατιστικά στοιχεία στη διαδικασία, όπως η παρουσία μηνυμάτων συστήματος και συνομιλιών πολλαπλών γύρων.

import json

def validate_jsonl(path: str) -> dict:
    """Validates a JSONL file and returns statistics."""
    errors = []
    stats = {"total": 0, "with_system": 0, "multi_turn": 0}
    valid_roles = {"system", "user", "assistant"}

    with open(path, "r", encoding="utf-8") as f:
        for i, line in enumerate(f, 1):
            stats["total"] += 1
            try:
                obj = json.loads(line.strip())
            except json.JSONDecodeError as e:
                errors.append(f"Line {i}: Invalid JSON — {e}")
                continue

            if "messages" not in obj:
                errors.append(f"Line {i}: Missing 'messages' key")
                continue

            messages = obj["messages"]
            if not isinstance(messages, list) or len(messages) < 2:
                errors.append(f"Line {i}: Minimum 2 messages required")
                continue

            for j, msg in enumerate(messages):
                role = msg.get("role")
                if role not in valid_roles:
                    errors.append(f"Line {i}, msg {j}: Invalid role")
                if not msg.get("content", "").strip():
                    errors.append(f"Line {i}, msg {j}: Empty content")

            if not any(m["role"] == "assistant" for m in messages):
                errors.append(f"Line {i}: No assistant message")

            if messages[0]["role"] == "system":
                stats["with_system"] += 1
            user_turns = sum(1 for m in messages if m["role"] == "user")
            if user_turns > 1:
                stats["multi_turn"] += 1

    return {"errors": errors, "stats": stats}

result = validate_jsonl("training_data.jsonl")
if result["errors"]:
    print(f"Errors: {len(result['errors'])}")
    for err in result["errors"][:10]:
        print(f"  - {err}")
else:
    print(f"File valid — {result['stats']['total']} examples")

Καθαρισμός περιεχομένου

Οι ακριβείς ή σχεδόν πανομοιότυπες καταχωρήσεις προκαλούν μεροληψία στην εκπαίδευση, υπερ-εκπροσωπώντας ορισμένα μοτίβα. Αυτό συμβαίνει φυσικά όταν συγκεντρώνετε πολλαπλά εξαγόμενα: η ίδια συχνή ερώτηση εμφανίζεται τριάντα φορές στα αρχεία καταγραφής σας και το μοντέλο συμπεραίνει ότι αξίζει τριάντα φορές περισσότερη προσοχή από άλλες. Ένας κατακερματισμός (hash) του συγχωνευμένου περιεχομένου των μηνυμάτων αρκεί για την εξάλειψή τους.

import hashlib

def deduplicate(examples: list[dict]) -> list[dict]:
    """Removes duplicates based on message content."""
    seen = set()
    unique = []

    for ex in examples:
        content = "|".join(
            f"{m['role']}:{m['content']}" for m in ex["messages"]
        )
        h = hashlib.md5(content.encode()).hexdigest()

        if h not in seen:
            seen.add(h)
            unique.append(ex)

    print(f"Duplicates removed: {len(examples) - len(unique)}")
    return unique

Στη συνέχεια έρχεται η κανονικοποίηση κειμένου, η οποία αντιμετωπίζει τέσσερα distinct ζητήματα. Πολλαπλά κενά και περιττές αλλαγές γραμμής, που προέρχονται από αντιγραφή-επικόλληση, πρέπει να αφαιρεθούν. Η κωδικοποίηση πρέπει να κανονικοποιηθεί σε UTF-8 με αφαίρεση των χαρακτήρων ελέγχου—αόρατοι αλλά συχνά παρόντες σε εξαγωγές βάσεων δεδομένων. Η στίξη deserves έλεγχο: μια απάντηση που διακόπτεται στη μέση διδάσκει στο μοντέλο να διακόπτει τον εαυτό του. Τέλος, διασφαλίστε τη συνέπεια της γλώσσας—αν θέλετε επίσημο ύφος, επαληθεύστε ότι κανένα παράδειγμα δεν χρησιμοποιεί ανεπίσημο ύφος, επειδή το μοντέλο θα αναπαράγει πιστά το μείγμα.

import re
import unicodedata

def normalize_text(text: str) -> str:
    """Normalizes text for training."""
    text = unicodedata.normalize("NFC", text)
    text = re.sub(r"[\x00-\x09\x0b-\x0c\x0e-\x1f\x7f]", "", text)
    text = re.sub(r"[ \t]+", " ", text)
    text = re.sub(r"\n{3,}", "\n\n", text)
    return text.strip()

Έλεγχοι συνέπειας

Αν χρησιμοποιείτε μήνυμα συστήματος, αυτό πρέπει να είναι αυστηρά ίδιο σε όλα τα παραδείγματά σας. Δύο παραλλαγές που διαφέρουν κατά μία μόνο λέξη αρκούν για να αραιώσουν το σήμα: το μοντέλο σταματά να μαθαίνει μια συγκεκριμένη οδηγία και αρχίζει να μαθαίνει μια ασαφή οικογένεια οδηγιών. Ο έλεγχος είναι τετριμμένος και το αποτέλεσμα είναι συχνά εκπληκτικό σε ένα σώμα κειμένου που δημιουργήθηκε από πολλά άτομα.

def check_system_messages(examples: list[dict]):
    """Checks consistency of system messages."""
    system_msgs = set()
    for ex in examples:
        for msg in ex["messages"]:
            if msg["role"] == "system":
                system_msgs.add(msg["content"].strip())

    if len(system_msgs) > 1:
        print(f"Warning: {len(system_msgs)} different system messages")
        for sm in system_msgs:
            print(f"  - {sm[:80]}...")
    elif len(system_msgs) == 1:
        print("System message consistent")
    else:
        print("No system message used")

Η κατανομή των μηκών των απαντήσεων αφηγείται την ίδια ιστορία από μια άλλη οπτική γωνία. Ιδιαίτερα ετερογενείς απαντήσεις σηματοδοτούν ότι πολλά άτομα έγραψαν το σώμα κειμένου με διαφορετικές ιδέες για το πώς φαίνεται μια καλή απάντηση, ή ότι ένα ακραίο σημείο (outlier) slipped στη δέσμη. Το όριο που χρησιμοποιείται εδώ—ένα μέγιστο μεγαλύτερο από πέντε φορές τον μέσο όρο—δεν είναι απόλυτο, αλλά τραβά την προσοχή σας στο σωστό σημείο.

def analyze_lengths(examples: list[dict]):
    """Analyzes the distribution of response lengths."""
    lengths = []
    for ex in examples:
        for msg in ex["messages"]:
            if msg["role"] == "assistant":
                lengths.append(len(msg["content"]))

    if lengths:
        avg = sum(lengths) / len(lengths)
        mini, maxi = min(lengths), max(lengths)
        print(f"Response length — Avg: {avg:.0f} | Min: {mini} | Max: {maxi}")
        if maxi > avg * 5:
            print("High dispersion — check for outliers")

Χρήση του API επικύρωσης της OpenAI

Αφού εκτελέσετε τους δικούς σας ελέγχους, μεταφορτώστε το αρχείο και αφήστε την OpenAI να το επικυρώσει επίσης. Είναι δωρεάν, άμεσο και σας γλιτώνει από την ανακάλυψη ενός ζητήματος μορφής όταν ξεκινά η εργασία.

from openai import OpenAI

client = OpenAI()

file = client.files.create(
    file=open("training_data.jsonl", "rb"),
    purpose="fine-tune"
)

print(f"File uploaded: {file.id}")
print(f"Status: {file.status}")

Εάν το αρχείο περιέχει σφάλματα, η κατάσταση θα αλλάξει σε error με ένα λεπτομερές μήνυμα. Διορθώστε τα αναφερόμενα ζητήματα πριν δοκιμάσετε ξανά.

Λίστα ελέγχου πριν το Fine-tuning

Περνάτε από αυτή τη λίστα με σειρά πριν δημιουργήσετε την εργασία—κάθε στοιχείο αντιστοιχεί σε έναν έλεγχο που καλύφθηκε παραπάνω, εκτός από το τελευταίο, το οποίο κανένα script δεν μπορεί να αντικαταστήσει:

  • Το αρχείο JSONL είναι συντακτικά έγκυρο
  • Χωρίς διπλότυπα
  • Κείμενο κανονικοποιημένο (UTF-8, κενά, στίξη)
  • Τα μηνύματα συστήματος είναι συνεπή
  • Τουλάχιστον 50 παραδείγματα (ιδανικά 100+)
  • Πραγματοποιήθηκε διαχωρισμός εκπαίδευσης/επικύρωσης
  • Εύλογη κατανομή μηκών
  • Ανθρώπινη αναθεώρηση ενός τυχαίου δείγματος

Βασικά σημεία

  • Επικυρώνετε πάντα τη σύνταξη JSONL πριν τη μεταφόρτωση
  • Αφαιρείτε τα διπλότυπα για να αποφύγετε την υπερπροσαρμογή (overfitting)
  • Η συνέπεια του μηνύματος συστήματος είναι απαραίτητη
  • Ελέγχετε την κατανομή των μηκών των απαντήσεων
  • Ζητήστε από άνθρωπο να αναθεωρήσει ένα δείγμα—είναι αναντικατάστατο