Δοκιμές A/B για Prompts
Σε αυτήν τη σελίδα
Μάθημα ενημερώθηκε στις 3 Νοεμβρίου 2026 με βάση την τεκμηρίωση της OpenAI: οι παράμετροι
temperatureκαιtop_pγίνονται δεκτές μόνο με προσπάθεια συλλογισμού (reasoning effort) ίση μεnone, ενώ τα μοντέλα GPT-5.6 κάνουν συλλογισμό από προεπιλογή (medium). Επομένως, οι κλήσεις που ορίζουν αυτές τις παραμέτρους πρέπει να καθορίζουνreasoning={"effort": "none"}(Responses API) ήreasoning_effort="none"(Chat Completions). Πηγές: Using GPT-6 · GPT-5.6 Terra.
Δοκιμές A/B για Prompts
Οι δοκιμές A/B για prompts σας επιτρέπουν να συγκρίνετε αντικειμενικά δύο εκδοχές ενός prompt χρησιμοποιώντας πραγματική κίνηση. Αντί να επιλέγετε ένα prompt με βάση τη διαίσθηση, μετράτε ποιο από τα δύο παράγει καλύτερα αποτελέσματα σύμφωνα με τις επιχειρηματικές σας μετρικές. Αυτό είναι το υποχρεωτικό βήμα μεταξύ του πρωτοτυποποίησης και της παραγωγής.
Αρχή
Η εισερχόμενη κίνηση κατανέμεται τυχαία μεταξύ δύο (ή περισσότερων) παραλλαγών prompt. Κάθε απόκριση αξιολογείται βάσει προκαθορισμένων κριτηρίων και η νικήτρια παραλλαγή αναπτύσσεται στο 100% της κίνησης.
Η δύναμη αυτής της μεθόδου είναι ότι και οι δύο παραλλαγές αντιμετωπίζουν την ίδια κίνηση, υπό τις ίδιες συνθήκες και την ίδια χρονική στιγμή. Όλες οι εξωτερικές πηγές διακύμανσης—εποχικότητα, προβλήματα δικτύου, η άφιξη μιας νέας κατηγορίας αιτημάτων—επηρεάζουν και τις δύο ομάδες εξίσου και αλληλοεξουδετερώνονται κατά τη σύγκριση. Μια διαδοχική δοκιμή δεν μπορεί να εγγυηθεί κάτι τέτοιο: η εκτέλεση του παλιού prompt για μια εβδομάδα και του νέου την επόμενη σας αφήνει ανίκανους να κρίνετε αν η βελτίωση προήλθε από τηεγγραφή εκ νέου σας ή από το ημερολόγιο.
Πλαίσιο Δοκιμών A/B
Η κλάση PromptExperiment έχει τρεις ευθύνες. Η assign_variant αποφασίζει ποια παραλλαγή θα εξυπηρετήσει ένα δεδομένο αίτημα, η run εκτελεί την κλήση και καταγράφει το αποτέλεσμα, και η get_stats συγκεντρώνει τα δεδομένα.
Η ανάθεση αξίζει μια σημείωση. Όταν παρέχεται ένα user_id, η ανάθεση είναι ντετερμινιστική, υπολογιζόμενη από ένα hash του ζεύγους πειράματος-χρήστη. Ο ίδιος χρήστης παραμένει στην ίδια ομάδα από κλήση σε κλήση. Αυτή η συνέχεια δεν είναι μια θεωρητική βελτίωση: ένας πελάτης που λαμβάνει μια θερμή απόκριση και στη συνέχεια, τρία λεπτά αργότερα, μια ψυχρή απόκριση στη συνέχεια του, θα νομίσει ότι πρόκειται για σφάλμα, και η δυσαρέσκειά του θα μολύνει και τις δύο παραλλαγές.
Κάθε εκτέλεση καταγράφει την είσοδο, την έξοδο, τα tokens που καταναλώθηκαν και τη χρονοσφραγίδα. Αυτά τα tokens δεν υπάρχουν για διακόσμηση: μια παραλλαγή μπορεί να κερδίσει σε ποιότητα ενώ διπλασιάζει το μήκος της απόκρισης, και η _estimate_cost μετατρέπει αυτό το κενό σε δολάρια ώστε να μπορείτε να κάνετε μια τεκμηριωμένη ανταλλαγή.
import random
import json
from datetime import datetime
from openai import OpenAI
client = OpenAI()
class PromptExperiment:
"""Πλαίσιο δοκιμών A/B για prompts."""
def __init__(self, name: str, variants: dict[str, dict]):
"""
variants = {
"control": {"system_prompt": "...", "model": "gpt-5.6-terra",
"temperature": 0.3},
"variant_a": {"system_prompt": "...", "model": "gpt-5.6-terra",
"temperature": 0.1},
}
"""
self.name = name
self.variants = variants
self.results = {v: [] for v in variants}
def assign_variant(self, user_id: str = None) -> str:
"""Αναθέτει μια παραλλαγή (σταθερή ανά user_id αν παρέχεται)."""
if user_id:
# Ντετερμινιστική ανάθεση ανά χρήστη
hash_val = hash(f"{self.name}:{user_id}") % 100
keys = sorted(self.variants.keys())
split = 100 // len(keys)
for i, key in enumerate(keys):
if hash_val < (i + 1) * split:
return key
return keys[-1]
return random.choice(list(self.variants.keys()))
def run(self, input_text: str, user_id: str = None,
schema: dict = None) -> dict:
"""Εκτελεί το prompt με την ανατεθειμένη παραλλαγή."""
variant_name = self.assign_variant(user_id)
variant = self.variants[variant_name]
kwargs = {
"model": variant["model"],
"instructions": variant["system_prompt"],
"input": input_text,
"temperature": variant.get("temperature", 0.3)
}
if schema:
kwargs["text"] = {
"format": {
"type": "json_schema",
"name": "response",
"schema": schema,
"strict": True
}
}
response = client.responses.create(**kwargs)
result = {
"variant": variant_name,
"input": input_text,
"output": response.output_text,
"tokens_input": response.usage.input_tokens,
"tokens_output": response.usage.output_tokens,
"timestamp": datetime.now().isoformat()
}
self.results[variant_name].append(result)
return result
def get_stats(self) -> dict:
"""Υπολογίζει στατιστικά ανά παραλλαγή."""
stats = {}
for variant, results in self.results.items():
if not results:
continue
tokens_in = [r["tokens_input"] for r in results]
tokens_out = [r["tokens_output"] for r in results]
stats[variant] = {
"count": len(results),
"avg_tokens_input": sum(tokens_in) / len(tokens_in),
"avg_tokens_output": sum(tokens_out) / len(tokens_out),
"total_cost_estimate": self._estimate_cost(
sum(tokens_in), sum(tokens_out)
)
}
return stats
def _estimate_cost(self, tokens_in: int,
tokens_out: int) -> float:
"""Εκτιμά το κόστος σε USD."""
return (tokens_in * 2.5 + tokens_out * 10) / 1_000_000
Μετρικές Αξιολόγησης
Οι μετρικές εξαρτώνται από τη χρήση σας και δύο οικογένειες καλύπτουν τα περισσότερα σενάρια. Όταν η εργασία έχει μια σωστή απάντηση—ταξινόμηση ενός εισιτηρίου, εξαγωγή ενός πεδίου—η αξιολόγηση ανάγεται στη σύγκριση με μια ετικέτα αναφοράς. Αυτός είναι ο ρόλος της evaluer_classification. Σημειώστε μια διδακτική επιλογή εδώ: οι αποτυχίες ανάλυσης αντιμετωπίζονται ως κενές προβλέψεις αντί να προκαλούν εξαίρεση, επειδή μια παραλλαγή που παράγει άκυρο JSON πρέπει να τιμωρείται στη βαθμολογία, όχι να καταρρέει η μέτρηση.
Όταν η εργασία παράγει ελεύθερο κείμενο, δεν υπάρχει μία μόνο σωστή απάντηση, οπότε ζητάτε από το μοντέλο να διαιτητεύσει. Η evaluer_qualite_texte αναλύει την κρίση σε τέσσερα κριτήρια—συνάφεια, σαφήνεια, πληρότητα, επαγγελματικός τόνος—αντί να ζητά μια άμεση συνολική βαθμολογία. Αυτή η ανάλυση κάνει την αξιολόγηση πιο σταθερή και σας λέει σε ποιον άξονα υπερέχει η νικήτρια παραλλαγή: το να γνωρίζετε ότι το κέρδος προέρχεται από τον τόνο και όχι από την πληρότητα είναι ακριβώς η πληροφορία που χρειάζεστε για να γράψετε την επόμενη έκδοση.
def evaluer_classification(result: dict,
label_attendu: str) -> dict:
"""Αξιολογεί μια απόκριση ταξινόμησης."""
try:
output = json.loads(result["output"])
prediction = output.get("category", "")
except json.JSONDecodeError:
prediction = ""
return {
"correct": prediction == label_attendu,
"prediction": prediction,
"attendu": label_attendu
}
def evaluer_qualite_texte(result: dict) -> dict:
"""Αξιολογεί την ποιότητα μιας απόκρισης κειμένου χρησιμοποιώντας το LLM."""
eval_response = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # το temperature απαιτεί effort none
instructions="You are a text quality evaluator. "
"Rate out of 10 based on: relevance, clarity, "
"completeness, professional tone.",
input=f"Question: {result['input']}\n\n"
f"Answer: {result['output']}",
text={
"format": {
"type": "json_schema",
"name": "evaluation",
"schema": {
"type": "object",
"properties": {
"pertinence": {"type": "integer"},
"clarte": {"type": "integer"},
"completude": {"type": "integer"},
"ton": {"type": "integer"},
"note_globale": {"type": "number"},
"commentaire": {"type": "string"}
},
"required": ["pertinence", "clarte",
"completude", "ton",
"note_globale", "commentaire"],
"additionalProperties": False
},
"strict": True
}
},
temperature=0.1
)
return json.loads(eval_response.output_text)
Πλήρες Παράδειγμα: Δοκιμή Δύο Στυλ Prompt
Το παρακάτω πείραμα αντιπαραβάλλει δύο προσεγγίσεις στην υποστήριξη πελατών. Το control χρησιμοποιεί μια ελάχιστη, επαγγελματική και ουδέτερη οδηγία. Η παραλλαγή «empathetic» επιβάλλει μια δομή τριών βημάτων: αναγνωρίστε το πρόβλημα, εκφράστε ενσυναίσθηση και στη συνέχεια προτείνετε μια συγκεκριμένη λύση με βήματα. Όλα τα άλλα είναι ίδια, από το μοντέλο έως τη θερμοκρασία. Αυτή η συμμετρία είναι η προϋπόθεση για να αποδοθεί οποιοδήποτε μετρήσιμο κενό στο prompt. Η αλλαγή τόσο του τόνου όσο και της θερμοκρασίας ταυτόχρονα θα απέδιδε ένα μη ερμηνεύσιμο αποτέλεσμα.
Τα πέντε εισιτήρια δοκιμής καλύπτουν σκόπιμα διαφορετικά μητρώα: ένα συναισθηματικά φορτισμένο περιστατικό παράδοσης, ένα λειτουργικό σφάλμα, μια ουδέτερη ερώτηση κωδικού πρόσβασης, ένα αμφιλεγόμενο αίτημα επιστροφής χρημάτων και μια διακοπή API που αναφέρθηκε από ένα τεχνικό προφίλ. Αναμένετε η ενσυναισθητική παραλλαγή να κυριαρχήσει στα δύο πρώτα και να τιμωρηθεί στο τελευταίο, όπου ο συνομιλητής θέλει μια κατάσταση και έναν εκτιμώμενο χρόνο άφιξης (ETA), όχι συμπόνια. Αυτή είναι η απόχρωση που μια παγκόσμια μέση τιμή αποκρύπτει και που μια εξέταση εισιτήριο προς εισιτήριο αποκαλύπτει—συχνά οδηγώντας στην πραγματική απόφαση: δρομολόγηση βάσει τύπου αιτήματος αντί για επιλογή ενός μόνο τόνου.
experiment = PromptExperiment(
name="customer-support-style",
variants={
"control": {
"system_prompt": "You are a support agent. "
"Respond professionally.",
"model": "gpt-5.6-terra",
"temperature": 0.3
},
"empathique": {
"system_prompt": "You are a caring support agent. "
"Start by acknowledging the customer's problem, "
"show empathy, then propose a concrete solution "
"with steps.",
"model": "gpt-5.6-terra",
"temperature": 0.3
}
}
)
# Προσομοίωση κίνησης
test_tickets = [
"My package hasn't arrived in 2 weeks.",
"The app crashes when I click on Settings.",
"How do I change my password?",
"I want a refund, the product is defective.",
"Your API has been returning a 500 error since this morning.",
]
for ticket in test_tickets:
result = experiment.run(ticket)
quality = evaluer_qualite_texte(result)
print(f"Variant: {result['variant']} | "
f"Score: {quality['note_globale']}/10")
print("\nStatistics:")
print(json.dumps(experiment.get_stats(), indent=2))
Στατιστική Σημαντικότητα
Μην βγάζετε συμπεράσματα πολύ γρήγορα. Με λίγα δεδομένα, τα αποτελέσματα είναι θορυβώδη και το κλασικό λάθος είναι να βλέπετε 7,4 έναντι 6,9 σε δώδεκα παρατηρήσεις και να ανακηρύσσετε έναν νικητή. Ο έλεγχος t του Student παρακάτω απαντά στο μόνο ερώτημα που έχει σημασία: είναι το παρατηρούμενο κενό μεγαλύτερο από αυτό που θα παρήγαγε φυσικά η τύχη μεταξύ δύο ισοδύναμων σειρών;
Μια τιμή p_value κάτω από 0,05 σημαίνει ότι ένα τέτοιο κενό θα ήταν απίθανο αν οι δύο παραλλαγές ήταν ίσες. Πάνω από αυτό, δεν έχετε αποδείξει τίποτα—που δεν είναι το ίδιο με το να αποδεικνύετε την ισότητα. Τις περισσότερες φορές, απλώς σας λείπουν δεδομένα. Υπολογίστε σε ένα ελάχιστο εκατό παρατηρήσεων ανά παραλλαγή πριν καταλήξετε και προσέξτε την παρόρμηση να ελέγχετε τα αποτελέσματα κάθε πρωί. Αν κοιτάζετε αρκετά συχνά, θα βρείτε πάντα μια στιγμή όπου το κενό φαίνεται ουσιαστικό.
from scipy import stats
def test_significativite(scores_a: list[float],
scores_b: list[float]) -> dict:
"""Έλεγχος t του Student για σύγκριση δύο παραλλαγών."""
t_stat, p_value = stats.ttest_ind(scores_a, scores_b)
return {
"moyenne_a": sum(scores_a) / len(scores_a),
"moyenne_b": sum(scores_b) / len(scores_b),
"p_value": p_value,
"significatif": p_value < 0.05,
"recommandation": (
"Significant difference, deploy the winning variant"
if p_value < 0.05
else "Not enough data or no significant difference"
)
}
Εκτέλεση του Πρώτου σας Πειράματος
Πάρτε μια εργασία που γνωρίζετε καλά και στήστε ένα PromptExperiment με δύο παραλλαγές, αλλάζοντας μόνο ένα πράγμα μεταξύ του control και της παραλλαγής: έναν τόνο, μια επιβαλλόμενη δομή ή μια πρόσθετη οδηγία. Ορίστε δύο ή τρεις μετρικές πριν ξεκινήσετε οτιδήποτε, επειδή η επιλογή της μετρικής αφού δείτε τα αποτελέσματα είναι σαν να επιλέγετε τον νικητή εκ των προτέρων, και αποτελεί την πιο κοινή μεροληψία σε οικιακές δοκιμές.
Εκτελέστε το πείραμα σε είκοσι εισόδους και στη συνέχεια αναλύστε. Κοιτάξτε τον μέσο όρο, αλλά κυρίως ανοίξτε τις περιπτώσεις όπου οι δύο παραλλαγές αποκλίνουν περισσότερο: αυτές εξηγούν το κενό. Είκοσι παρατηρήσεις προφανώς δεν θα επαρκούν για να επιτευχθεί σημαντικότητα, και το να το συνειδητοποιήσετε μόνοι σας είναι καλύτερο από το να το διαβάσετε εδώ. Τέλος, τεκμηριώστε την απόφαση και αρχειοθετήστε τα ακατέργαστα αποτελέσματα με την ημερομηνία και την ακριβή διαμόρφωση της παραλλαγής—αυτό το αρχείο είναι αυτό που θα σας εμποδίσει να εκτελέσετε ξανά το ίδιο πείραμα σε ένα χρόνο.
Βασικά σημεία
- Οι δοκιμές A/B αντικαθιστούν τη διαίσθηση με μετρήσιμα δεδομένα
- Αναθέστε παραλλαγές ντετερμινιστικά ανά χρήστη
- Μετρήστε επιχειρηματικές μετρικές, όχι μόνο την αντιληπτή ποιότητα
- Περιμένετε τη στατιστική σημαντικότητα πριν καταλήξετε
- Τεκμηριώστε κάθε πείραμα και τα αποτελέσματά του