Αξιολόγηση του Μοντέλου σας μετά το Fine-Tuning
Σε αυτήν τη σελίδα
Ενημέρωση 2 Νοεμβρίου 2026 — Διαθεσιμότητα Fine-Tuning. Η αυτοεξυπηρετούμενη διαδικασία fine-tuning της OpenAI καταργείται σταδιακά: από τις 7 Μαΐου 2026, οι οργανισμοί που δεν την έχουν χρησιμοποιήσει ποτέ δεν μπορούν πλέον να δημιουργήσουν εργασίες· από τις 2 Ιουλίου, πρέπει να έχετε χρησιμοποιήσει ένα μοντέλο με fine-tuning τις τελευταίες 60 ημέρες· και ξεκινώντας από τις 6 Ιανουαρίου 2027, κανένας πελάτης δεν θα μπορεί να ξεκινήσει νέες εργασίες. Τα ήδη εκπαιδευμένα μοντέλα παραμένουν usable μέχρι να αποσυρθεί το βασικό τους μοντέλο. Αυτό το μάθημα παραμένει χρήσιμο για την κατανόηση και την αξιοποίηση ενός υπάρχοντος μοντέλου· για νέα έργα, δώστε προτεραιότητα στη μηχανική εντολών (prompt engineering), στο RAG και στις αξιολογήσεις.
Γιατί η Αξιολόγηση είναι Απαραίτητη
Ένα επιτυχημένο fine-tuning δεν μετριέται μόνο από την απώλεια (loss). Το πραγματικό ερώτημα είναι: είναι το μοντέλο σας με fine-tuning πραγματικά καλύτερο από το βασικό μοντέλο για τη δική σας περίπτωση χρήσης; Μια καθαρά φθίνουσα καμπύλη αποδεικνύει μόνο ότι το μοντέλο έμαθε να αναπαράγει τα παραδείγματά σας· δεν λέει τίποτα για τη συμπεριφορά του σε αιτήματα που δεν έχει ξαναδεί. Αυτό το μάθημα σας δείχνει πώς να δομήσετε ένα αυστηρό πρωτόκολλο αξιολόγησης, συνδυάζοντας αυτοματοποιημένες μετρικές, κρίση από LLM και ανθρώπινη αναθεώρηση.
Δημιουργία ενός Συνόλου Δοκιμής
Το σύνολο δοκιμής σας πρέπει να είναι ξεχωριστό τόσο από τα δεδομένα εκπαίδευσης όσο και από τα δεδομένα επικύρωσης. Η διάκριση έχει σημασία: το σύνολο επικύρωσης παρακολουθεί την εκπαίδευση και επομένως επηρεάζει τις αποφάσεις σας για τις υπερπαραμέτρους, κάτι που σταδιακά το μολύνει. Το σύνολο δοκιμής, αντιθέτως, ανοίγει μόνο όταν το μοντέλο έχει «παγώσει». Αντιπροσωπεύει τις πραγματικές καταστάσεις που θα συναντήσει το μοντέλο σας στην παραγωγή, με τις ίδιες αναλογίες απλών και δύσκολων περιπτώσεων. Ένας διαχωρισμός 80/10/10 σε ένα προηγουμένως ανακατεμένο σώμα κειμένου είναι μια λογική αρχή.
import json
import random
def prepare_datasets(file: str, ratios: tuple = (0.8, 0.1, 0.1)):
"""Splits data into train/validation/test."""
with open(file, "r") as f:
examples = [json.loads(l) for l in f]
random.shuffle(examples)
n = len(examples)
i1 = int(n * ratios[0])
i2 = int(n * (ratios[0] + ratios[1]))
datasets = {
"train": examples[:i1],
"validation": examples[i1:i2],
"test": examples[i2:]
}
for name, data in datasets.items():
with open(f"{name}.jsonl", "w") as f:
for ex in data:
f.write(json.dumps(ex, ensure_ascii=False) + "\n")
print(f"{name}: {len(data)} examples")
return datasets
prepare_datasets("all_data.jsonl")
Αυτοματοποιημένη Αξιολόγηση
Αξιολόγηση Βάσει Μετρικών
Η αρχή είναι απλή: για κάθε παράδειγμα δοκιμής, αφαιρέστε το μήνυμα του assistant —αυτή είναι η αναμενόμενη απάντηση, την οποία το μοντέλο δεν πρέπει να δει— υποβάλετε τα υπόλοιπα και κρατήστε την είσοδο, την απάντηση αναφοράς και τη δημιουργημένη απάντηση δίπλα-δίπλα. Αυτή η δομή τριών στηλών αποτελεί τη βάση για όλα όσα ακολουθούν· η χρήση της για τον υπολογισμό μετρικών ή για ποιοτική κρίση είναι απλώς θέμα μεταγενέστερης επεξεργασίας.
from openai import OpenAI
client = OpenAI()
def evaluate_model(model: str, test_examples: list[dict]) -> dict:
"""Evaluates a model on a test set."""
results = []
for ex in test_examples:
# Extract the question (without the expected answer)
input_messages = [
m for m in ex["messages"] if m["role"] != "assistant"
]
expected_answer = next(
m["content"] for m in ex["messages"] if m["role"] == "assistant"
)
# Get the model's response
response = client.responses.create(
model=model,
input=input_messages
)
model_answer = response.output_text
results.append({
"input": input_messages[-1]["content"],
"expected": expected_answer,
"obtained": model_answer
})
return results
Αξιολόγηση «LLM-as-a-Judge»
Μια ισχυρή τεχνική είναι η χρήση ενός μοντέλου υψηλής απόδοσης για την κρίση της ποιότητας των απαντήσεων. Η σύγκριση λέξη προς λέξη με την αναφορά καθίσταται άχρηστη μόλις γίνονται αποδεκτές πολλαπλές διατυπώσεις· ένας κριτής, ωστόσο, εκτιμά την ουσία. Η ποιότητα της ετυμηγορίας του εξαρτάται αποκλειστικά από την ακρίβεια της εντολής (prompt): τέσσερα κριτήρια βαθμολογημένα από 1 έως 5, μια υποχρεωτική έξοδος JSON και ένα σχόλιο ελεύθερου κειμένου που θα χρησιμοποιήσετε αργότερα για να κατανοήσετε τις αστοχίες. Προβλέψτε περιπτώσεις όπου η έξοδος δεν είναι αναγνώσιμη, αντί να αφήσετε μια εξαίρεση να διακόψει την εκστρατεία.
def evaluate_with_judge(results: list[dict]) -> list[dict]:
"""Uses gpt-5.6-sol as a judge to evaluate responses."""
evaluations = []
for r in results:
judge_prompt = f"""Evaluate the quality of the obtained response compared to the expected response.
Question: {r['input']}
Expected response: {r['expected']}
Obtained response: {r['obtained']}
Criteria (rate each from 1 to 5):
1. Accuracy: Is the information correct?
2. Completeness: Are all important points covered?
3. Style: Is the tone and format appropriate?
4. Conciseness: Is the response an appropriate length?
Respond in JSON: {{"accuracy": N, "completeness": N, "style": N, "conciseness": N, "comment": "..."}}"""
response = client.responses.create(
model="gpt-5.6-sol",
input=judge_prompt
)
try:
evaluation = json.loads(response.output_text)
evaluations.append(evaluation)
except json.JSONDecodeError:
evaluations.append({"error": "Response not parseable"})
return evaluations
Εξειδικευμένες Μετρικές
Οι δύο προηγούμενες προσεγγίσεις λειτουργούν καλά για γραπτές απαντήσεις. Μόλις η έξοδος του μοντέλου σας έχει σταθερή δομή, γίνονται δυνατές πιο άμεσες μετρήσεις που σας γλιτώνουν την παράκαμψη μέσω ενός κριτή.
Για Ταξινόμηση
Όταν η αναμενόμενη έξοδος ανήκει σε ένα κλειστό σύνολο —μια κατηγορία ticket, ένα συναίσθημα, ένας κωδικός προϊόντος— η ακριβής αντιστοιχία (exact match) γίνεται και πάλι σχετική. Κανονικοποιήστε τα πεζά/κεφαλαία και τα κενά πριν τη σύγκριση· διαφορετικά, το «Urgent» έναντι του «urgent» θα μετρηθεί ως σφάλμα και θα στρεβλώσει το ποσοστό σας.
def classification_metrics(results: list[dict]) -> dict:
"""Calculates precision, recall, and F1 for a classification task."""
correct = sum(
1 for r in results
if r["expected"].strip().lower() == r["obtained"].strip().lower()
)
total = len(results)
precision = correct / total if total > 0 else 0
print(f"Precision: {precision:.2%} ({correct}/{total})")
return {"precision": precision, "correct": correct, "total": total}
Για Κλήση Συνάρτησης (Function Calling)
Η κλήση συνάρτησης κρίνεται σε δύο άξονες που πρέπει να μετρηθούν ξεχωριστά. Ένα μοντέλο που επιλέγει τη σωστή συνάρτηση αλλά παίρνει λάθος την παράμετρο αποτυγχάνει διαφορετικά από ένα που καλεί εντελώς λάθος εργαλείο: το πρώτο πρόβλημα λύνεται με παραδείγματα εξαγωγής, το δεύτερο με παραδείγματα διάκρισης. Ένα μοναδικό γενικό σκορ θα έκρυβε αυτή τη διάκριση και θα σας άφηνε να εργάζεστε στα τυφλά.
def function_calling_metrics(results: list[dict]) -> dict:
"""Evaluates the quality of function calls."""
stats = {"correct_function": 0, "correct_params": 0, "total": 0}
for r in results:
stats["total"] += 1
if r.get("expected_function") == r.get("obtained_function"):
stats["correct_function"] += 1
if r.get("expected_params") == r.get("obtained_params"):
stats["correct_params"] += 1
print(f"Correct function: {stats['correct_function']}/{stats['total']}")
print(f"Correct parameters: {stats['correct_params']}/{stats['total']}")
return stats
Ανθρώπινη Αξιολόγηση
Η αυτοματοποιημένη αξιολόγηση δεν καταγράφει τα πάντα. Ένας ελαφρώς υπεροπτικός τόνος, μια φράση που δεν ταιριάζει στους πελάτες σας, μια τεχνικά σωστή αλλά μη χρησιμοποιήσιμη απάντηση: αυτά τα ελαττώματα εμφανίζονται μόνο υπό ανθρώπινο βλέμμα. Το πρωτόκολλο είναι απλό. Δειγματοληψήστε είκοσι έως πενήντα απαντήσεις τυχαία, ποτέ τις περιπτώσεις που έχετε ήδη επισημάνει ως προβληματικές, διαφορετικά θα μετράτε απλώς τη δική σας μεροληψία επιλογής. Στη συνέχεια, ορίστε σαφή, μετρήσιμα κριτήρια και τυποποιήστε τα σε μια τυποποιημένη κλίμακα βαθμολόγησης, ώστε δύο αξιολογητές να κρίνουν το ίδιο πράγμα.
Τέλος, ζητήστε από πολλά άτομα να αξιολογήσουν και υπολογίστε τη συμφωνία μεταξύ των αξιολογητών. Η έντονη διαφωνία δεν σηματοδοτεί απαραίτητα ένα κακό μοντέλο: τις περισσότερες φορές, αποκαλύπτει ότι η κλίμακα βαθμολόγησής σας παραμένει ασαφής και χρειάζεται διευκρίνιση πριν μπορέσετε να βγάλετε οποιοδήποτε συμπέρασμα.
Δείγμα Κλίμακας Αξιολόγησης
| Κριτήριο | 1 (Κακό) | 3 (Αποδεκτό) | 5 (Εξαιρετικό) |
|---|---|---|---|
| Συνάφεια | Εκτός θέματος | Μερικώς συναφές | Απόλυτα στοχευμένο |
| Τόνος | Ακατάλληλος | Αποδεκτός αλλά επίπεδος | Απόλυτα ευθυγραμμισμένος |
| Μορφή | Δεν ακολουθήθηκε | Μερικώς ακολουθήθηκε | Απόλυτα ακολουθήθηκε |
Έκθεση Αξιολόγησης
Ένας τελευταίος αντανακλαστικός έλεγχος χωρίζει μια αξιολόγηση από μια απόφαση: καταγράψτε και τις δύο οικογένειες αποτελεσμάτων σε μια ενιαία έκθεση, συνοδευόμενη από μια ρητή σύσταση. Το όριο που ορίζετε —εδώ ένας ανθρώπινος μέσος όρος 4 για μετάβαση στην παραγωγή, 3 για επανάληψη στα δεδομένα— πρέπει να επιλεγεί πριν ξεκινήσετε την εκστρατεία. Αν αποφασιστεί εκ των υστέρων, πάντα προσαρμόζεται στο αποτέλεσμα που ελπίζατε να δείτε.
def evaluation_report(auto_results: dict, human_results: dict):
"""Generates a combined evaluation report."""
print("=" * 60)
print("FINE-TUNED MODEL EVALUATION REPORT")
print("=" * 60)
print(f"\nAutomated metrics:")
for k, v in auto_results.items():
print(f" {k}: {v}")
print(f"\nHuman evaluation:")
for k, v in human_results.items():
print(f" {k}: {v}")
print(f"\nRecommendation:")
average_score = sum(human_results.values()) / len(human_results)
if average_score >= 4:
print(" Model is ready for production")
elif average_score >= 3:
print(" Improvements needed—iterate on data")
else:
print(" Insufficient results—rethink your approach")
Βασικά σημεία
- Διαχωρίζετε πάντα ένα ανεξάρτητο σύνολο δοκιμής (ούτε εκπαίδευση ούτε επικύρωση)
- Συνδυάστε την αυτοματοποιημένη και την ανθρώπινη αξιολόγηση
- Η αξιολόγηση «LLM-as-a-judge» αποτελεί μια καλή συμβιβαστική λύση μεταξύ των δύο
- Ορίστε μετρήσιμα κριτήρια πριν ξεκινήσετε
- Ένα χαμηλό σκορ απώλειας (loss) δεν εγγυάται ποιότητα παραγωγής