Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Κριτές: Αυτοματοποιημένη Αξιολόγηση LLM

Μάθημα 13 / 16 Ενημερώθηκε 2 Νοεμβρίου 2026 Προχωρημένος
Σε αυτήν τη σελίδα
  1. Αυτοματοποίηση της Αξιολόγησης Ποιότητας
  2. Δύο Τύποι Κριτών
  3. Συγγραφή Αποτελεσματικών Οδηγιών
  4. Δημιουργία Κριτή Ταξινόμησης μέσω του SDK
  5. Δημιουργία Κριτή Παλινδρόμησης μέσω του SDK
  6. Επικύρωση Πριν την Κλιμάκωση
  7. Βασικά σημεία

Μάθημα ενημερώθηκε στις 2 Νοεμβρίου 2026 με βάση το SDK mistralai 3.7.0 και τη σελίδα Evaluators της Mistral: το judges.create απαιτεί πλέον τα πεδία description και tools (παλαιότερα παραδείγματα θα απέτυγχαν), οι έξοδοι παλινδρόμησης απαιτούν τα min_description και max_description, και μπορείτε να δοκιμάσετε έναν κριτή απευθείας σε μια συνομιλία χρησιμοποιώντας το judge_conversation. Οι μεταβλητές προτύπων και οι «Καμπάνιες» από προηγούμενες εκδόσεις δεν εμφανίζονται πλέον στην τεκμηρίωση. Πηγές: Evaluators · client-python.

Αυτοματοποίηση της Αξιολόγησης Ποιότητας

Η χειροκίνητη αναθεώρηση χιλιάδων συνομιλιών είναι αδύνατη σε κλίμακα παραγωγής. Οι Κριτές (Judges) λύνουν αυτό το πρόβλημα: πρόκειται για αξιολογητές βασισμένους σε LLM, τους οποίους διαμορφώνετε μία φορά—ορίζοντας οδηγίες, μοντέλο και μορφή εξόδου—και στη συνέχεια τους εφαρμόζετε σε συνομιλίες ή εγγραφές συνόλων δεδομένων. Κάθε κρίση παράγει μια ανάλυση και μια ετυμηγορία: μια ετικέτα ή μια βαθμολογία.

Δύο Τύποι Κριτών

Ταξινόμηση

Ένας κριτής ταξινόμησης αναθέτει διακριτές ετικέτες σε κάθε απόκριση. Παραδείγματα περιλαμβάνουν:

  • Δυαδική: helpful / not_helpful
  • Πολλαπλών κλάσεων: excellent / acceptable / poor
  • Κατηγοριοποίηση: code_question / general_knowledge / troubleshooting
  • Ασφάλεια: safe / needs_review / unsafe

Παλινδρόμηση

Ένας κριτής παλινδρόμησης αναθέτει μια αριθμητική βαθμολογία εντός ενός εύρους, όπου εσείς ορίζετε τα όρια:

  • Βαθμολογία χρησιμότητας από 1 έως 5
  • Βαθμολογία συνάφειας από 0 έως 100
  • Επίπεδο εμπιστοσύνης από 0.0 έως 1.0

Συγγραφή Αποτελεσματικών Οδηγιών

Οι οδηγίες του κριτή καθορίζουν ολόκληρη την ποιότητα της αξιολόγησης και η ασάφεια είναι η κύρια αιτία αποτυχίας. Η φράση «Αξιολογήστε την ποιότητα της απόκρισης» δεν σημαίνει τίποτα για ένα μοντέλο—κάθε εκτέλεση θα ερμηνεύει την «ποιότητα» διαφορετικά. Μια λειτουργική εκδοχή ονομάζει παρατηρήσιμα κριτήρια: «Αξιολογήστε εάν η απόκριση απαντά άμεσα στην ερώτηση που τέθηκε, χρησιμοποιώντας πραγματικά σωστές πληροφορίες». Η ίδια αρχή ισχύει για το πλαίσιο: ο κριτής σας δεν γνωρίζει ότι αξιολογεί ένα chatbot υποστήριξης όπου «καλό» σημαίνει «επιλύει το πρόβλημα του πελάτη χωρίς να τον στείλει στην τεκμηρίωση». Αν δεν το δηλώσετε ρητά, θα εφαρμόσει έναν γενικό ορισμό ποιότητας που δεν αντιστοιχεί στον δικό σας.

Οι οριακές περιπτώσεις αξίζουν ιδιαίτερης προσοχής, καθώς εδώ αποκλίνουν οι αξιολογήσεις. Ο καθορισμός ότι «μια βαθμολογία 3 σημαίνει ότι η απόκριση είναι εν μέρει σωστή αλλά λείπει ένα βασικό στοιχείο» σταθεροποιεί το μέσο της κλίμακας σας—χωρίς αυτό το σημείο αναφοράς, η ίδια συνομιλία θα μπορούσε να λάβει 2, 3 ή 4 ανάλογα με την εκτέλεση. Η ύστατη δοκιμή είναι απλή: αν δύο ανθρώπινοι αξιολογητές που διαβάζουν τις οδηγίες σας θα μπορούσαν να διαφωνήσουν για μια δεδομένη περίπτωση, το κριτήριό σας είναι πολύ ασαφές και ο κριτής θα κληρονομήσει αυτή την ασάφεια σε μεγάλη κλίμακα.

Δημιουργία Κριτή Ταξινόμησης μέσω του SDK

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Κριτής ταξινόμησης τριών επιπέδων
classifier = client.beta.observability.judges.create(
    name="Support Response Quality",
    description="Classifies each support chatbot response into three quality levels.",
    model_name="mistral-medium-latest",
    instructions="""
Evaluate the assistant's last response in the provided conversation.

Context: This is a technical support chatbot.

Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?

Classify the response according to the proposed categories.
""",
    output={
        "type": "CLASSIFICATION",
        "options": [
            {"value": "excellent", "description": "Correct, complete, and professional response"},
            {"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
            {"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
        ],
    },
    tools=[],  # No tools for this judge
)

print(f"Judge created: {classifier.id}")

Δημιουργία Κριτή Παλινδρόμησης μέσω του SDK

# Κριτής παλινδρόμησης: Βαθμολογία χρησιμότητας από 1 έως 5
scorer = client.beta.observability.judges.create(
    name="Helpfulness Score",
    description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
    model_name="mistral-small-latest",
    instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.

1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
    output={
        "type": "REGRESSION",
        "min": 1,
        "max": 5,
        "min_description": "Useless response: off-topic, incorrect, or no answer provided",
        "max_description": "Very helpful response: correct, detailed, with clear steps",
    },
    tools=[],
)

print(f"Judge created: {scorer.id}")

Επικύρωση Πριν την Κλιμάκωση

Ένας μη επικυρωμένος κριτής παράγει ψευδείς επισημειώσεις σε μεγάλη κλίμακα. Πριν βασιστείτε σε έναν, δοκιμάστε τον σε συνομιλίες όπου γνωρίζετε τη σωστή απάντηση: το judge_conversation τον εφαρμόζει σε μια λίστα μηνυμάτων και επιστρέφει την ανάλυση και την ετυμηγορία του.

result = client.beta.observability.judges.judge_conversation(
    judge_id=classifier.id,
    messages=[
        {"role": "user", "content": "My printer shows error E04, what should I do?"},
        {"role": "assistant", "content": "Check the documentation."},
    ],
)

print(result.analysis)  # Η συλλογιστική του κριτή
print(result.answer)    # Η ετικέτα ή η βαθμολογία

Στη συνέχεια, προχωρήστε μεθοδικά:

  1. Δοκιμάστε σε 10 έως 20 περιπτώσεις όπου έχετε προκαθορίσει τη σωστή ετυμηγορία
  2. Ελέγξτε τη συμφωνία: Παράγει ο κριτής τα ίδια αποτελέσματα με εσάς;
  3. Δοκιμάστε τη σταθερότητα: Κατά την επανεκτέλεση στις ίδιες περιπτώσεις, είναι τα αποτελέσματα ίδια;
  4. Εντοπίστε μοτίβα αποτυχίας: Σε ποιους τύπους συνομιλιών κάνει λάθη ο κριτής;

Αν η συμφωνία είναι πολύ χαμηλή, βελτιώστε τις οδηγίες πριν από οποιαδήποτε χρήση μεγάλης κλίμακας. Μόλις επικυρωθεί, ένας κριτής εφαρμόζεται σε εγγραφές συνόλων δεδομένων (client.beta.observability.datasets.records.judge) και η ίδια λογική κριτή LLM εμφανίζεται στους αξιολογητές για offline αξιολογήσεις (Μάθημα 14).

Βασικά σημεία

  • Ένας κριτής LLM ταξινομεί (ετικετοποιεί) ή βαθμολογεί συνομιλίες, υποστηριζόμενος από μια ανάλυση
  • Το judges.create απαιτεί τα name, description, model_name, instructions, output και tools
  • Μια έξοδος παλινδρόμησης ορίζει τα όριά της (min_description, max_description)
  • Οι οδηγίες πρέπει να είναι συγκεκριμένες, πλαισιωμένες και σταθεροποιημένες με παραδείγματα βαθμολογίας
  • Επικυρώστε έναν κριτή με το judge_conversation σε γνωστές περιπτώσεις πριν βασιστείτε σε αυτόν