Αξιολογήστε τα prompts σας: Μέθοδοι, Graders και μετανάστευση στο Promptfoo
Σε αυτήν τη σελίδα
Μάθημα ενημερώθηκε στις 3 Νοεμβρίου 2026 βάσει της τεκμηρίωσης της OpenAI: τα
temperatureκαιtop_pγίνονται δεκτά μόνο με reasoning effortnone, ενώ τα μοντέλα GPT-5.6 συλλογίζονται από προεπιλογή (medium). Οι κλήσεις που ορίζουν αυτές τις παραμέτρους πρέπει λοιπόν να καθορίζουνreasoning={"effort": "none"}(Responses API) ήreasoning_effort="none"(Chat Completions). Πηγές: Χρήση του GPT-6 · GPT-5.6 Terra.
Ενημέρωση 2 Νοεμβρίου 2026 — Πλατφόρμα Evals. Η OpenAI ανακοίνωσε το τέλος της πλατφόρμας Evals: οι υπάρχουσες αξιολογήσεις είναι μόνο για ανάγνωση από τις 31 Οκτωβρίου 2026, και ο πίνακας ελέγχου μαζί με το API θα κλείσουν στις 30 Νοεμβρίου 2026, συμπεριλαμβανομένων των graders. Η OpenAI δημοσίευσε έναν οδηγό μετανάστευσης προς το Promptfoo. Οι αρχές αξιολόγησης αυτού του μαθήματος παραμένουν έγκυρες· αλλάζει μόνο το εργαλείο.
Γιατί πρέπει να αξιολογείτε συστηματικά
Δεν μπορείτε να βελτιώσετε ό,τι δεν μετράτε. Όταν αλλάζετε ένα prompt, ένα μοντέλο ή μια παράμετρο, από πού γνωρίζετε ότι η ποιότητα βελτιώθηκε πραγματικά; Η αυθόρμητη μέθοδος είναι να δοκιμάσετε τρία-τέσσερα παραδείγματα, να βρείτε τις καλύτερες απαντήσεις και να κάνετε deployment. Αυτό αποτυγχάνει τακτικά, γιατί τα παραδείγματα που δοκιμάζετε είναι ακριβώς αυτά που δημιούργησαν προβλήματα την περασμένη εβδομάδα: μετράτε βελτίωση εκεί που την αναζητήσατε και χάνετε παλινδρομίσεις σε περιπτώσεις που ήδη δούλευαν.
Οι αξιολογήσεις (evals) μετατρέπουν αυτή τη διαίσθηση σε αντικειμενική μέτρηση. Μέχρι το 2026, η OpenAI προσέφερε μια ολοκληρωμένη πλατφόρμα γι’ αυτό, το Evals· είναι μόνο για ανάγνωση από τις 31 Οκτωβρίου 2026 και κλείνει στις 30 Νοεμβρίου. Πλέον, η OpenAI συνιστά το Promptfoo, ένα εργαλείο ανοιχτού κώδικα για αξιολόγηση και red teaming. Το καλό νέο είναι ότι τα δύο μοιράζονται τα ίδια δομικά στοιχεία—δοκιμαστικά δεδομένα, prompts, μοντέλα και κριτήρια βαθμολόγησης. Ό,τι μαθαίνετε εδώ σε κώδικα Python μεταφράζεται απευθείας, και το τελευταίο μέρος του μαθήματος δείχνει τη μετάβαση στο Promptfoo.
Τρεις έννοιες δομούν όλη τη διαδικασία. Το dataset είναι ένα σύνολο περιπτώσεων δοκιμής με εισόδους και αναμενόμενα εξόδους: είναι η αναφορά σας, το ισοδύναμο μιας σουίτας unit test. Ο grader είναι ένα κριτήριο αξιολόγησης—ακριβής ταύτιση, LLM-as-judge, score—που αποφασίζει αν μια δεδομένη απόκριση είναι καλή. Το run είναι μια εκτέλεση αξιολόγησης σε ένα dataset με συγκεκριμένο μοντέλο και prompt· είναι η μονάδα που συγκρίνετε από έκδοση σε έκδοση.
Χτίστε ένα dataset που μοιάζει με τον πραγματικό σας κόσμο
Μια περίπτωση δοκιμής αποτελείται από μια είσοδο, ένα αναμενόμενο αποτέλεσμα και metadata. Τα τελευταία δεν είναι διακοσμητικά: είναι αυτά που θα σας επιτρέψουν να ανακαλύψετε εκ των υστέρων ότι ένας συνολικός score 87% κρύβει κατάρρευση στην κατηγορία «code», αντισταθμισμένη από εξαιρετικά αποτελέσματα στη γεωγραφία. Χωρίς κατηγορία ή δυσκολία, έχετε μόνο έναν συγκεντρωτικό αριθμό, κι ένας συγκεντρωτικός αριθμός δεν σας λέει ποτέ πού να επέμβετε.
import json
# A dataset is a list of test cases
dataset = [
{
"input": "What is the capital of France?",
"expected": "Paris",
"metadata": {"category": "geography", "difficulty": "easy"},
},
{
"input": "Explain Bayes' theorem in one sentence.",
"expected": "Bayes' theorem calculates the probability "
"of an event based on known conditional probabilities.",
"metadata": {"category": "mathematics", "difficulty": "medium"},
},
{
"input": "Write a Python function that reverses a list.",
"expected": "def reverse_list(lst): return lst[::-1]",
"metadata": {"category": "code", "difficulty": "easy"},
},
]
# Save as JSONL
with open("eval_dataset.jsonl", "w") as f:
for case in dataset:
f.write(json.dumps(case, ensure_ascii=False) + "\n")
Ένα dataset επινοημένο στο γραφείο αξιολογεί τη φαντασία σας, όχι την εφαρμογή σας. Οι χρήστες σας διατυπώνουν τα αιτήματά τους διαφορετικά από εσάς: τυπογραφικά λάθη, ημιτελή ερωτήματα, σιωπηρό πλαίσιο. Άρα η καλύτερη πηγή περιπτώσεων δοκιμής είναι τα δικά σας δεδομένα παραγωγής, αρκεί ένας άνθρωπος να εγκρίνει τις απαντήσεις αναφοράς—διαφορετικά παγώνετε τα τρέχοντα σφάλματα ως κανόνα.
import openai
import random
client = openai.OpenAI()
def create_dataset_from_logs(
production_logs: list[dict],
sample_size: int = 100,
) -> list[dict]:
"""Creates an evaluation dataset from production logs."""
# Sample
sample = random.sample(
production_logs,
min(sample_size, len(production_logs)),
)
dataset = []
for log in sample:
dataset.append({
"input": log["prompt"],
"expected": log["validated_response"], # Response validated by a human
"metadata": {
"source": "production",
"date": log["date"],
"original_model": log["model"],
},
})
return dataset
Επιλέξτε τον κατάλληλο grader
Ο grader ακριβούς ταύτισης είναι ο πιο αυστηρός και ο πιο γρήγορος. Ταιριάζει μόνο σε εργασίες όπου το αποτέλεσμα είναι περιορισμένο: ταξινόμηση σε τρεις κατηγορίες, εξαγωγή αριθμού τιμολογίου, απάντηση ναι-ή-όχι. Χρησιμοποιημένος σε ελεύθερο κείμενο, θα έδινε μηδενικό score σε μια τέλεια απάντηση απλώς διατυπωμένη διαφορετικά από την αναφορά.
def exact_grader(response: str, expected: str) -> dict:
"""Evaluates if the response matches exactly."""
score = 1.0 if response.strip().lower() == expected.strip().lower() else 0.0
return {"score": score, "type": "exact"}
Ο grader ένταξης χαλαρώνει τον περιορισμό: ελέγχει την παρουσία αναμενόμενων keywords και επιστρέφει μερικό score. Είναι το κατάλληλο εργαλείο για αποκρίσεις που πρέπει να καλύπτουν υποχρεωτικά σημεία χωρίς να μετράει η διατύπωση—μια απάντηση υποστήριξης που πρέπει να αναφέρει την περίοδο υπαναχώρησης και τη διεύθυνση επιστροφής, για παράδειγμα. Η αδυναμία του είναι γνωστή: ένα κείμενο με τις σωστές λέξεις σε παράλογη σειρά θα έπαιρνε άψογο score.
def inclusion_grader(response: str, keywords: list[str]) -> dict:
"""Checks that the response contains the expected keywords."""
response_lower = response.lower()
found = sum(1 for word in keywords if word.lower() in response_lower)
score = found / len(keywords) if keywords else 0.0
return {
"score": score,
"found": found,
"total": len(keywords),
"type": "inclusion",
}
Στη συνέχεια υπάρχει ο πιο δυνατός: ένα άλλο LLM αξιολογεί την ποιότητα της απόκρισης. Ο grader LLM-as-Judge εκτιμά ό,τι δεν μπορεί κανένας μηχανικός κανόνας—σαφήνεια, πληρότητα, καταλληλότητα τόνου. Δύο λεπτομέρειες υλοποίησης τον καθιστούν πρακτικό. Πρώτον, temperature=0.0: χωρίς αυτό, ο ίδιος judge θα έδινε διαφορετικά scores στην ίδια απάντηση από το ένα run στο επόμενο, και το benchmark σας θα έχανε κάθε συγκριτική αξία. Δεύτερον, η fallback για το json.JSONDecodeError: ένας judge που σχολιάζει αντί να επιστρέφει JSON δεν πρέπει να καταστρέψει ολόκληρη την εκστρατεία.
def llm_judge_grader(
question: str,
response: str,
expected: str,
criteria: str = "accuracy, completeness, clarity",
) -> dict:
"""Uses an LLM to evaluate response quality."""
judge_prompt = f"""Rate the quality of this response on a scale of 1 to 5.
Question: {question}
Expected Response: {expected}
Response to Evaluate: {response}
Criteria: {criteria}
Respond ONLY with JSON:
{{"score": <1-5>, "justification": "<short explanation>"}}"""
response_obj = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature requires effort none
input=judge_prompt,
temperature=0.0,
)
import json
try:
result = json.loads(response_obj.output_text)
result["normalized_score"] = result["score"] / 5.0
return result
except json.JSONDecodeError:
return {"score": 0, "justification": "Parsing error", "normalized_score": 0}
Συναρμολογήστε την πλήρη αξιολόγηση
Η ορχήστρωση δεν παρουσιάζει εννοιολογική δυσκολία: διατρέχετε το dataset, καλείτε το μοντέλο με το system prompt προς δοκιμή, εφαρμόζετε τον grader και συγκεντρώνετε τα αποτελέσματα. Το ενδιαφέρον είναι ότι η συνάρτηση βαθμολόγησης έρχεται ως παράμετρος, πράγμα που σας επιτρέπει να επαναλάβετε το ίδιο ακριβώς dataset με διαφορετικά κριτήρια ανάλογα με την εκστρατεία—ένταξη για έναν γρήγορο έλεγχο κατά την ανάπτυξη, LLM judge για επικύρωση πριν την παραγωγή.
async def run_eval(
dataset: list[dict],
model: str,
system_prompt: str,
grader_fn,
) -> dict:
"""Runs a full evaluation on a dataset."""
results = []
for case in dataset:
response = client.responses.create(
model=model,
instructions=system_prompt,
input=case["input"],
)
score = grader_fn(response.output_text, case["expected"])
results.append({
"input": case["input"],
"expected": case["expected"],
"obtained": response.output_text,
**score,
})
# Calculate aggregated metrics
scores = [r["score"] for r in results if "score" in r]
return {
"model": model,
"num_cases": len(dataset),
"average_score": sum(scores) / len(scores) if scores else 0,
"min_score": min(scores) if scores else 0,
"max_score": max(scores) if scores else 0,
"results": results,
}
Η αναφορά διατηρεί το min_score και την αναλυτική εικόνα κάθε περίπτωσης, και αυτό είναι σκόπιμο. Ο μέσος όρος σας λέει αν προχωράτε· οι χειρότερα βαθμολογημένες περιπτώσεις σας λένε γιατί. Κάντε συνήθεια να διαβάζετε τις πέντε χειρότερες αποκρίσεις κάθε run πριν σχολιάσετε το μέσο: εκεί, και σπανίως αλλού, θα βρείτε την επόμενη διόρθωση που πρέπει να κάνετε.
Βιομηχανοποιήστε με το Promptfoo
Το να γράφετε τα evals σας με το χέρι σε Python είναι εκπαιδευτικό· το να τα διατηρείτε χρονικά είναι πιο άνετο με ένα εξειδικευμένο εργαλείο. Ο οδηγός μετανάστευσης της OpenAI περιγράφει τη λογική του Promptfoo: η αξιολόγηση ζει σε ένα αρχείο διαμόρφωσης, το promptfooconfig.yaml, που συνενώνει prompts, μοντέλα, περιπτώσεις δοκιμής και κριτήρια—που εδώ ονομάζονται assertions. Εκτελείται από τη γραμμή εντολών, τοπικά ή στη συνεχή ενοποίηση σας, και ζει δίπλα στον κώδικα της εφαρμογής.
description: Support ticket classification
prompts:
- "Classify this ticket into a single category (billing, technical, account): {{ticket}}"
providers:
- openai:gpt-6.1-sol
tests:
- vars:
ticket: "My card was charged twice this month."
assert:
- type: icontains
value: billing
- vars:
ticket: "The app crashes when I open a PDF."
assert:
- type: icontains
value: technical
promptfoo eval -c promptfooconfig.yaml --no-cache
promptfoo view
promptfoo validate config -c promptfooconfig.yaml # in case of configuration error
Οι graders αυτού του μαθήματος εμφανίζονται ξανά ως assertions: ακριβής ταύτιση, ένταξη keyword και κριτική μοντέλου. Η OpenAI προειδοποιεί στο τελευταίο σημείο: ένας grader που αναδημιουργείται, ιδιαίτερα ένας LLM judge, πρέπει να αναεπικυρωθεί πριν χρησιμοποιηθεί για να κρίνει μια παλινδρόμηση, γιατί τα scores δεν θα είναι κατ’ ανάγκη ίδια από το ένα εργαλείο στο άλλο.
Βασικά σημεία
- Τα evals μετατρέπουν τη διαίσθηση σε αντικειμενική μέτρηση ποιότητας
- Δημιουργήστε τα datasets σας από πραγματικές περιπτώσεις παραγωγής, επικυρωμένες από άνθρωπο
- Επιλέξτε τον grader σύμφωνα με την εργασία: ακριβής για περιορισμένες, ένταξη για υποχρεωτικά σημεία, LLM-as-Judge για απόχρωση
- Ορίστε
temperature=0.0στον judge για να κάνετε τα scores επαναπαραγώγιμα - Τρέξτε evals πριν από κάθε αλλαγή prompt ή μοντέλου
- Η πλατφόρμα Evals της OpenAI κλείνει στις 30 Νοεμβρίου 2026: το Promptfoo, συνιστώμενο από την OpenAI, αναλαμβάνει datasets, prompts, μοντέλα και κριτήρια σε ένα αρχείο διαμόρφωσης