Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Δοκιμές A/B και Επιχειρηματικοί Δείκτες

Μάθημα 12 / 16 Ενημερώθηκε 2 Νοεμβρίου 2026 Προχωρημένος
Σε αυτήν τη σελίδα
  1. Πέρα από την Απώλεια: Μέτρηση του Επιχειρηματικού Αντίκτυπου
  2. Ρύθμιση μιας Δοκιμής A/B
  3. Επιλογή των Σωστών Επιχειρηματικών Δεικτών
  4. Συλλογή Μετρήσεων
  5. Αναμονή για Στατιστική Σημαντικότητα
  6. Σταδιακή Κλιμάκωση
  7. Βασικά σημεία

Ενημέρωση 2 Νοεμβρίου 2026 — Διαθεσιμότητα Fine-tuning. Η αυτοεξυπηρετούμενη διαδικασία fine-tuning της OpenAI καταργείται σταδιακά: από τις 7 Μαΐου 2026, οι οργανισμοί που δεν την έχουν χρησιμοποιήσει ποτέ δεν μπορούν πλέον να δημιουργήσουν εργασίες· από τις 2 Ιουλίου, πρέπει να έχετε χρησιμοποιήσει ένα μοντέλο fine-tuned τις τελευταίες 60 ημέρες· και ξεκινώντας από τις 6 Ιανουαρίου 2027, κανένας πελάτης δεν θα μπορεί να ξεκινήσει νέες εργασίες. Τα ήδη εκπαιδευμένα μοντέλα παραμένουν usable μέχρι να αποσυρθεί το βασικό τους μοντέλο. Αυτό το μάθημα παραμένει χρήσιμο για την κατανόηση και την αξιοποίηση ενός υπάρχοντος μοντέλου· για νέα έργα, δώστε προτεραιότητα στη μηχανική prompts, στο RAG και στις αξιολογήσεις.

Πέρα από την Απώλεια: Μέτρηση του Επιχειρηματικού Αντίκτυπου

Η απώλεια εκπαίδευσης (training loss) και οι βαθμολογίες ποιότητας δεν αρκούν. Αυτό που πραγματικά μετράει είναι ο αντίκτυπος του fine-tuned μοντέλου σας στους βασικούς δείκτες απόδοσης (KPIs) της επιχείρησής σας: ικανοποίηση πελατών, χρόνος επίλυσης, ποσοστό μετατροπής. Ένα μοντέλο μπορεί να παράγει απαντήσεις που οι αναθεωρητές σας βρίσκουν κομψές, ενώ ταυτόχρονα αυξάνει το ποσοστό κλιμάκωσης προς τους ανθρώπινους πράκτορές σας. Ο δεύτερος αριθμός καθορίζει το μέλλον του έργου, όχι ο πρώτος.

Ρύθμιση μιας Δοκιμής A/B

Μια δοκιμή A/B συγκρίνει δύο παραλλαγές υπό πραγματικές συνθήκες με αυθεντική κίνηση. Η Ομάδα Α, η ομάδα ελέγχου, λαμβάνει απαντήσεις από το βασικό μοντέλο με το βελτιστοποιημένο prompt σας· η Ομάδα Β, η ομάδα δοκιμής, λαμβάνει απαντήσεις από το fine-tuned μοντέλο. Οι χρήστες ανατίθενται τυχαία και στις δύο ομάδες και εσείς μετράτε τα αποτελέσματα χρησιμοποιώντας τους ίδιους δείκτες. Η εγκυρότητα ολόκληρης της άσκησης εξαρτάται από αυτή την ανάθεση: αν η Ομάδα Β λάχει να λάβει τα απλούστερα αιτήματα, η φαινομενική υπεροχή της δεν μετράει τίποτα άλλο παρά αυτή την τύχη.

Η συνάρτηση choisir_variante λύνει αυτό το πρόβλημα κατακερματίζοντας (hashing) το ID του χρήστη. Αυτή η προσέγγιση εγγυάται ότι ο ίδιος χρήστης βλέπει πάντα την ίδια παραλλαγή—απαραίτητο, καθώς η εναλλαγή μεταξύ συνεδριών θα εξέθετε το άτομο σε δύο στυλ απάντησης και θα στρέβλωνε τη βαθμολογία ικανοποίησής του. Παράγει μια στατιστικά ισορροπημένη κατανομή μόλις ο όγκος είναι επαρκής και παραμένει αναπαραγώγιμη: η επανεκτέλεση του υπολογισμού αργότερα αποδίδει ακριβώς τις ίδιες ομάδες, επιτρέποντάς σας να επανυπολογίσετε έναν ξεχασμένο δείκτη χωρίς να επανεκκινήσετε τη δοκιμή.

import random
import hashlib
from openai import OpenAI

client = OpenAI()

MODELE_BASE = "gpt-5.6-luna"
MODELE_FT = "ft:gpt-5.6-luna:org::suffix:xxxxxxxx"
PROMPT_BASE = "You are a professional customer support assistant..."

def choisir_variante(user_id: str, pourcentage_test: int = 50) -> str:
    """Assigns a user to group A or B deterministically."""
    h = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
    return "B" if (h % 100) < pourcentage_test else "A"

def repondre(user_id: str, question: str) -> dict:
    """Responds with the correct model based on the A/B group."""
    variante = choisir_variante(user_id)

    if variante == "A":
        response = client.responses.create(
            model=MODELE_BASE,
            instructions=PROMPT_BASE,
            input=question
        )
    else:
        response = client.responses.create(
            model=MODELE_FT,
            input=question
        )

    return {
        "variante": variante,
        "modele": MODELE_BASE if variante == "A" else MODELE_FT,
        "reponse": response.output_text,
        "user_id": user_id
    }

Επιλογή των Σωστών Επιχειρηματικών Δεικτών

Οι δείκτες που πρέπει να παρακολουθείτε εξαρτώνται εξ ολοκλήρου από το τι οφείλει να παραδώσει ο βοηθός σας και κάθε οικογένεια περιπτώσεων χρήσης έχει τους δικούς της.

Για μια υπηρεσία εξυπηρέτησης πελατών, το ποσοστό επίλυσης από την πρώτη επαφή απαντά στην πιο συγκεκριμένη ερώτηση: χρειάστηκε ο χρήστης να επικοινωνήσει ξανά με την υποστήριξη; Η βαθμολογία CSAT, μια κλίμακα ικανοποίησης από 1 έως 5 που συλλέγεται μετά την αλληλεπίδραση, καταγράφει το συναίσθημα που διαφεύγει από τους αυτοματοποιημένους δείκτες. Ο χρόνος επίλυσης μετρά τη συνολική διάρκεια της ανταλλαγής και το ποσοστό κλιμάκωσης—το μέρος των συνομιλιών που μεταφέρονται σε άνθρωπο—διαβάζεται ως παραδοχή αποτυχίας του μοντέλου στις συγκεκριμένες περιπτώσεις. Μια επιτυχής διαδικασία fine-tuning συνήθως μειώνει και τα δύο τελευταία ταυτόχρονα.

Για ένα chatbot πωλήσεων, η συλλογιστική μετατοπίζεται προς τα κάτω. Το ποσοστό μετατροπής μετρά τις συνομιλίες που οδηγούν σε αγορά ή ραντεβού· το ποσοστό εμπλοκής, εκφρασμένο ως ο μέσος αριθμός μηνυμάτων ανά συνομιλία, απαιτεί προσεκτική ερμηνεία καθώς μια μεγαλύτερη ανταλλαγή θα μπορούσε να σηματοδοτεί είτε ενδιαφέρον είτε παρεξήγηση· το ποσοστό εγκατάλειψης (bounce rate) απομονώνει τους χρήστες που φεύγουν μετά το πρώτο μήνυμα, συχνά επειδή η αρχική απάντηση αστόχησε.

Για μια εργασία ταξινόμησης ή εξαγωγής, επιστρέφετε στην κλασική τριάδα. Η ακρίβεια (precision) δίνει το ποσοστό των σωστών ταξινομήσεων, η ανάκληση (recall) το ποσοστό των θετικών περιπτώσεων που εντοπίστηκαν πραγματικά και το σκορ F1, ο αρμονικός μέσος όρος και των δύο, αποτρέπει την ικανοποίηση με ένα μοντέλο που ποτέ δεν προβλέπει τη σπάνια κλάση απλώς για να αποφύγει τα λάθη.

Συλλογή Μετρήσεων

Αυτοί οι δείκτες είναι άχρηστοι αν ζουν σε τρία ξεχωριστά υπολογιστικά φύλλα. Ένας ενιαίος συλλέκτης, που τροφοδοτείται σε κάθε αλληλεπίδραση, διατηρεί την παραλλαγή μαζί με τον δείκτη και επιτρέπει την παραγωγή μιας συγκριτικής αναφοράς με μία μόνο εντολή. Η κλάση ABTracker παρακάτω κάνει αυτή την ελάχιστη εργασία: καταγράφει, ομαδοποιεί ανά παραλλαγή και υπολογίζει μέσους όρους και ποσοστά.

import datetime

class ABTracker:
    """Metric collector for A/B testing."""

    def __init__(self):
        self.events = []

    def log_interaction(
        self,
        user_id: str,
        variante: str,
        question: str,
        reponse: str,
        metriques: dict
    ):
        """Records an interaction with its metrics."""
        self.events.append({
            "timestamp": datetime.datetime.now().isoformat(),
            "user_id": user_id,
            "variante": variante,
            "question": question,
            "reponse": reponse,
            **metriques
        })

    def rapport(self) -> dict:
        """Generates a comparative A vs B report."""
        groupes = {"A": [], "B": []}
        for e in self.events:
            groupes[e["variante"]].append(e)

        rapport = {}
        for variante, events in groupes.items():
            if not events:
                continue
            rapport[variante] = {
                "nb_interactions": len(events),
                "csat_moyen": self._moyenne(events, "csat"),
                "resolution_premier_contact": self._taux(events, "resolu"),
                "temps_moyen_sec": self._moyenne(events, "temps_resolution"),
            }

        return rapport

    def _moyenne(self, events, cle):
        vals = [e[cle] for e in events if cle in e and e[cle] is not None]
        return sum(vals) / len(vals) if vals else None

    def _taux(self, events, cle):
        vals = [e[cle] for e in events if cle in e]
        return sum(vals) / len(vals) * 100 if vals else None

tracker = ABTracker()

Αναμονή για Στατιστική Σημαντικότητα

Μην βγάζετε συμπεράσματα πολύ νωρίς. Μετά από είκοσι αλληλεπιδράσεις ανά ομάδα, ένα χάσμα CSAT 0,4 μονάδων δεν έχει αξία: τρεις ευχαριστημένοι πελάτες αρκούν για να το παράγουν. Χρειάζεστε αρκετές αλληλεπιδράσεις ώστε τα αποτελέσματα να είναι σημαντικά και τα σημεία αναφοράς παρακάτω σας δίνουν την τάξη μεγέθους στην οποία πρέπει να στοχεύσετε πριν καν κοιτάξετε τους αριθμούς.

100
Ελάχιστο ανά ομάδα
500+
Για αξιόπιστα αποτελέσματα
p < 0.05
Όριο σημαντικότητας

Μόλις φτάσετε σε αυτόν τον όγκο, ένα στατιστικό τεστ αποφασίζει για εσάς. Το τεστ Mann-Whitney λειτουργεί καλά για βαθμολογίες ικανοποίησης, οι οποίες είναι τακτικές βαθμολογίες που σπάνια ακολουθούν κανονική κατανομή. Η τιμή p του απαντά σε μια ακριβή ερώτηση: ποια είναι η πιθανότητα να παρατηρηθεί ένα τόσο μεγάλο χάσμα αν τα δύο μοντέλα ήταν στην πραγματικότητα ίσα; Κάτω από 0,05, η υπόθεση της απλής τύχης γίνεται δύσκολο να υπερασπιστεί κανείς.

from scipy import stats

def test_significativite(scores_a: list[float], scores_b: list[float]):
    """Tests whether the difference between A and B is significant."""
    stat, p_value = stats.mannwhitneyu(scores_a, scores_b, alternative="two-sided")

    moy_a = sum(scores_a) / len(scores_a)
    moy_b = sum(scores_b) / len(scores_b)

    print(f"Mean A: {moy_a:.3f}")
    print(f"Mean B: {moy_b:.3f}")
    print(f"p-value: {p_value:.4f}")

    if p_value < 0.05:
        gagnant = "B (fine-tuned)" if moy_b > moy_a else "A (base)"
        print(f"Significant difference — {gagnant} is better")
    else:
        print("No significant difference")

Σταδιακή Κλιμάκωση

Ακόμη και μια επιτυχής δοκιμή δεν δικαιολογεί την εναλλαγή όλης της κίνησης μέσα σε μια νύχτα: ένα ελάττωμα που εμφανίζεται μόνο μία φορά στις χίλιες παραμένει αόρατο σε ένα δείγμα και γίνεται πολύ ορατό σε πλήρη όγκο. Προχωρήστε σε στάδια μίας εβδομάδας, ελέγχοντας τους δείκτες σας σε κάθε βήμα πριν ανοίξετε το επόμενο.

  1. Φάση 1 (1 εβδομάδα): 10% κίνηση στο fine-tuned μοντέλο
  2. Φάση 2 (1 εβδομάδα): 30% αν οι δείκτες είναι θετικοί
  3. Φάση 3 (1 εβδομάδα): 50% για την κύρια δοκιμή A/B
  4. Φάση 4: 100% αν η δοκιμή είναι conclusive

Αν ένα στάδιο υποβαθμίσει τους δείκτες σας, επιστρέψτε στο προηγούμενο αντί να ανοίξετε το επόμενο ελπίζοντας ότι ο αριθμός θα ανακάμψει μόνος του. Μια εβδομάδα που ξοδεύεται για να καταλάβετε το γιατί κοστίζει πάντα λιγότερο από έναν μήνα κίνησης που εξυπηρετείται από ένα απογοητευτικό μοντέλο.

Βασικά σημεία

  • Οι επιχειρηματικοί δείκτες έχουν μεγαλύτερη σημασία από την απώλεια εκπαίδευσης
  • Χρησιμοποιήστε ντετερμινιστικό hashing για την ανάθεση A/B
  • Περιμένετε τη στατιστική σημαντικότητα πριν βγάλετε συμπεράσματα (p < 0,05)
  • Αναπτύξτε σταδιακά: 10%, 30%, 50%, 100%
  • Μετρήστε το κόστος και τον λανθάνοντα χρόνο (latency) επιπλέον της ποιότητας