Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Αξιολόγηση των Πρακτόρων σας: Μετρικές και Κριτήρια Αναφοράς

Μάθημα 22 / 25 Ενημερώθηκε 29 Ιουλίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Αξιολόγηση των Πρακτόρων σας: Μετρικές και Κριτήρια Αναφοράς
  2. Γιατί να Αξιολογήσετε;
  3. Βασικές Μετρικές
  4. Αξιολόγηση με LLM (LLM-as-Judge)
  5. Δομημένα Σύνολα Δοκιμών
  6. Βασικά σημεία

Αξιολόγηση των Πρακτόρων σας: Μετρικές και Κριτήρια Αναφοράς

Ένας πράκτορας που λειτουργεί σωστά κατά την ανάπτυξη μπορεί να αποτύχει στην παραγωγή. Η συστηματική αξιολόγηση είναι ο μόνος τρόπος για να διασφαλίσετε την ποιότητα πριν και μετά την ανάπτυξη. Σε αυτό το μάθημα, θα μάθετε πώς να ορίζετε μετρικές, να δημιουργείτε σύνολα δοκιμών και να αυτοματοποιείτε την αξιολόγηση.

Γιατί να Αξιολογήσετε;

Χωρίς τυπική αξιολόγηση, πετάτε στα τυφλά. Διατυπώνετε εκ νέου μια οδηγία επειδή ένας χρήστης παραπονέθηκε, αλλά τίποτα δεν σας λέει αν ο πράκτορας βελτιώθηκε ή αν απλώς χαλάσατε τρία άλλα σενάρια. Διστάζετε μεταξύ των Terra και Luna για τη χρήση σας—ή μεταξύ δύο επιπέδων συλλογισμού στο ίδιο μοντέλο—και χωρίς μέτρηση, η απόφαση βασίζεται σε μια διαίσθηση μετά από πέντε χειροκίνητες δοκιμές. Αλλάζετε ένα σχήμα εργαλείου, ο πράκτορας σταματά να το καλεί σε μια συγκεκριμένη περίπτωση και κανείς δεν το παρατηρεί μέχρι να εκτοξευθεί ο όγκος των αιτημάτων υποστήριξης. Μια σουίτα αξιολόγησης μετατρέπει κάθε μία από αυτές τις καταστάσεις σε έναν συγκρίσιμο αριθμό από τη μία έκδοση στην επόμενη.

Βασικές Μετρικές

Ακρίβεια

Το πρώτο ερώτημα είναι το πιο άμεσο: δίνει ο πράκτορας τη σωστή απάντηση; Επαναλαμβάνετε ένα σύνολο ερωτήσεων όπου γνωρίζετε την απάντηση και επαληθεύετε την παρουσία της στην έξοδο. Η αντιστοίχιση υποσυμβολοσειράς χωρίς διάκριση πεζών-κεφαλαίων είναι σκόπιμα χονδροειδής—ανέχεται φράσεις όπως «Το laptop Pro κοστίζει 1.299 € συμπεριλαμβανομένου ΦΠΑ» όπου η αυστηρή ισότητα θα απέτυγχε—αλλά αρκεί για επαληθεύσιμα γεγονότα και υπολογίζεται σε δευτερόλεπτα.

from agents import Agent, Runner

async def evaluate_accuracy(agent, test_cases):
    results = []
    for case in test_cases:
        result = await Runner.run(agent, case["question"])
        # Automatic or LLM-based verification
        is_correct = case["expected_answer"].lower() in result.final_output.lower()
        results.append({
            "question": case["question"],
            "answer": result.final_output,
            "expected": case["expected_answer"],
            "correct": is_correct,
        })

    rate = sum(1 for r in results if r["correct"]) / len(results)
    print(f"Accuracy: {rate:.1%} ({sum(1 for r in results if r['correct'])}/{len(results)})")
    return results

# Test suite
test_cases = [
    {"question": "What is the price of the Pro laptop?", "expected_answer": "1299"},
    {"question": "How many laptops are in stock?", "expected_answer": "45"},
    {"question": "What is the cheapest product?", "expected_answer": "tablet"},
]

Σωστή Χρήση Εργαλείων

Μια σωστή απάντηση που επιτεύχθηκε κατά τύχη παραμένει πρόβλημα. Ένας πράκτορας που απαγγέλλει μια απομνημονευμένη τιμή αντί να κάνει ερώτημα στον κατάλογο θα περάσει το τεστ ακρίβειας σήμερα και θα δώσει μια ξεπερασμένη τιμή αύριο. Η δεύτερη μετρική εξετάζει επομένως τη διαδρομή, όχι το αποτέλεσμα: καλεί ο πράκτορας τα σωστά εργαλεία με τα σωστά ορίσματα; Διαβάζετε τις κλήσεις στο raw_responses, φιλτράροντας για εξόδους function_call, και η σύγκριση χρησιμοποιεί σύνολα για να παραμείνει αδιάφορη ως προς τη σειρά.

async def evaluate_tools(agent, test_cases):
    results = []
    for case in test_cases:
        result = await Runner.run(agent, case["question"])

        # Extract called tools from raw responses
        called_tools = []
        for response in result.raw_responses:
            for output in getattr(response, "output", []):
                if hasattr(output, "type") and output.type == "function_call":
                    called_tools.append(output.name)

        tools_correct = set(case["expected_tools"]) == set(called_tools)
        results.append({
            "question": case["question"],
            "called_tools": called_tools,
            "expected_tools": case["expected_tools"],
            "correct": tools_correct,
        })

    rate = sum(1 for r in results if r["correct"]) / len(results)
    print(f"Correct tools: {rate:.1%}")
    return results

tool_cases = [
    {
        "question": "What is the price of the laptop?",
        "expected_tools": ["search_product"],
    },
    {
        "question": "Price of the laptop with 10% discount",
        "expected_tools": ["search_product", "calculate_discount"],
    },
]

Η δεύτερη περίπτωση δοκιμής είναι η πιο διαφωτιστική: η ερώτηση απαιτεί την αλυσιδωτή εκτέλεση δύο εργαλείων και αυτό είναι ακριβώς το είδος της σύνθεσης που μια αλλαγή στην περιγραφή μπορεί να χαλάσει σιωπηλά.

Λανθάνουσα Χρόνος και Κόστος

Τέλος, υπάρχει η επιχειρησιακή διάσταση. Ένας μέσος όρος δεν λέει τίποτα για την πραγματική εμπειρία: είναι η ουρά της κατανομής αυτή που διώχνει τους χρήστες, όταν ένα αίτημα στα εκατό διαρκεί είκοσι δευτερόλεπτα. Επαναλαμβάνοντας κάθε μήνυμα αρκετές φορές, λαμβάνετε μια usable κατανομή και διαβάζετε τη διάμεσο ως την τυπική συμπεριφορά και το P99 ως το κοινό χειρότερο σενάριό σας.

import time

async def evaluate_performance(agent, messages, iterations=10):
    latencies = []
    for message in messages:
        for _ in range(iterations):
            start = time.perf_counter()
            result = await Runner.run(agent, message)
            duration = time.perf_counter() - start
            latencies.append(duration)

    import statistics
    print(f"Average latency: {statistics.mean(latencies):.2f}s")
    print(f"P50 latency: {statistics.median(latencies):.2f}s")
    print(f"P99 latency: {sorted(latencies)[int(len(latencies) * 0.99)]:.2f}s")

Αξιολόγηση με LLM (LLM-as-Judge)

Αυτές οι τρεις μετρικές αφήνουν έξω οτιδήποτε δεν έχει μία μόνο σωστή απάντηση: μια εξήγηση πολιτικής επιστροφών, μια αναδιατύπωση πωλήσεων, ένα μήνυμα συγγνώμης. Για αυτές τις ανοιχτές απαντήσεις, χρησιμοποιήστε ένα μοντέλο για να αξιολογήσετε την ποιότητα. Ο κριτής λαμβάνει την ερώτηση και την απάντηση, εφαρμόζει κριτήρια που έχετε γράψει—ακρίβεια, συνάφεια, επαγγελματισμό—και επιστρέφει μια δομημένη βαθμολογία χάρη σε έναν τύπο εξόδου Pydantic output_type. Ο περιορισμός μορφής είναι αυτός που καθιστά τη διαδικασία χρήσιμη: λαμβάνετε έναν ακέραιο αριθμό που μπορεί να συγκεντρωθεί, όχι ένα σχόλιο για να ξαναδιαβάσετε.

from pydantic import BaseModel

class Evaluation(BaseModel):
    score: int  # 1-5
    reason: str
    is_correct: bool
    is_relevant: bool
    is_professional: bool

evaluator_agent = Agent(
    name="Evaluator",
    instructions="""Evaluate the quality of the agent's response.
    Criteria:
    - Accuracy: Is the response factual and correct?
    - Relevance: Does the response answer the question asked?
    - Professionalism: Is the tone appropriate?
    Score from 1 (very poor) to 5 (excellent).""",
    model="gpt-5.6-sol",
    output_type=Evaluation,
)

async def evaluate_quality(question, agent_response):
    prompt = f"""Question asked: {question}
    Agent response: {agent_response}
    Evaluate this response."""

    result = await Runner.run(evaluator_agent, prompt)
    return result.final_output

Το πεδίο reason αξίζει την προσοχή σας κατά τις αναθεωρήσεις: εδώ είναι όπου ο κριτής εξηγεί γιατί έδωσε 3 στα 5, και συχνά αποτελεί τη διατύπωση ενός ελαττώματος που δεν είχατε καταφέρει να ονομάσετε.

Δομημένα Σύνολα Δοκιμών

Μια αξιολόγηση που δεν είναι αναπαραγώγιμη είναι άχρηστη. Οργανώστε τις περιπτώσεις δοκιμής σας σε μια σταθερή μορφή όπου κάθε καταχώρηση φέρει ένα ID, μια κατηγορία, την ερώτηση, την αναμενόμενη απάντηση, τα αναμενόμενα εργαλεία και ποιοτικά κριτήρια. Η κατηγορία κάνει όλη τη δουλειά εδώ: μια συνολική βαθμολογία 4,2 στα 5 είναι παραπλανητικά καθησυχαστική, ενώ μια λεπτομερής βαθμολογία αποκαλύπτει ότι η κατηγορία «απόθεμα» καταρρέει στο 2,8 ενώ η κατηγορία «τιμή» τραβάει τον μέσο όρο προς τα πάνω.

import json

# evaluation_dataset.json
DATASET = [
    {
        "id": "test_001",
        "category": "price",
        "question": "What is the price of the Pro laptop?",
        "expected_answer": "€1,299",
        "expected_tools": ["search_product"],
        "criteria": ["contains_price", "professional_tone"],
    },
    {
        "id": "test_002",
        "category": "stock",
        "question": "Is the Tablet Air in stock?",
        "expected_answer": "yes",
        "expected_tools": ["search_product"],
        "criteria": ["clear_answer", "stock_information"],
    },
]

async def run_complete_evaluation(agent):
    results = []
    for case in DATASET:
        result = await Runner.run(agent, case["question"])
        eval_result = await evaluate_quality(case["question"], result.final_output)
        results.append({
            **case,
            "agent_response": result.final_output,
            "score": eval_result.score,
            "evaluation": eval_result.reason,
        })

    # Report
    average_score = sum(r["score"] for r in results) / len(results)
    print(f"\nAverage score: {average_score:.1f}/5")
    for cat in set(r["category"] for r in results):
        cat_scores = [r["score"] for r in results if r["category"] == cat]
        print(f"  {cat}: {sum(cat_scores)/len(cat_scores):.1f}/5")

    return results

Εκτελέστε αυτή την αξιολόγηση στον αγωγό συνεχούς ένταξής σας (CI), ακριβώς όπως τα unit tests σας, και ορίστε ένα κατώφλι κάτω από το οποίο η παράδοση αποκλείεται. Από εκεί και πέρα, κάθε αλλαγή—νέο μοντέλο, τροποποιημένες οδηγίες, προστιθέμενο εργαλείο—συγκρίνεται με την προηγούμενη στις ίδιες περιπτώσεις και η συζήτηση παύει να περιστρέφεται γύρω από εντυπώσεις.

Βασικά σημεία

  • Αξιολογήστε την ακρίβεια, τη χρήση εργαλείων, τον λανθάνοντα χρόνο και το κόστος
  • Η αξιολόγηση με LLM (LLM-as-Judge) διαχειρίζεται ανοιχτές απαντήσεις
  • Δημιουργήστε δομημένα και αναπαραγώγιμα σύνολα δοκιμών
  • Αυτοματοποιήστε την αξιολόγηση στο CI/CD σας για τον εντοπισμό παλινδρομήσεων
  • Συγκρίνετε συστηματικά τις αλλαγές (μοντέλο, οδηγίες, εργαλεία)