Αξιολόγηση μιας Διαδικασίας RAG
Σε αυτήν τη σελίδα
Στόχοι
- Αξιολογήστε ξεχωριστά την ανάκτηση και τη δημιουργία
- Υλοποιήστε αυτοματοποιημένες μετρικές ποιότητας RAG
- Δημιουργήστε ένα ολοκληρωμένο πλαίσιο αξιολόγησης
Οι Δύο Άξονες Αξιολόγησης
Μια διαδικασία RAG αποτυγχάνει με δύο πολύ διαφορετικούς τρόπους και η σύγχυσή τους θα σας κοστίσει εβδομάδες. Είτε το βήμα της ανάκτησης απέτυχε να βρει τα σωστά έγγραφα—οπότε η απάντηση είναι λανθασμένη για λόγους άσχετους με το μοντέλο δημιουργίας και οι μετρικές από το Μάθημα 10 θα το διαγνώσουν αυτό—είτε τα σωστά έγγραφα ήταν παρόντα, αλλά το βήμα της δημιουργίας ξέφυγε: το μοντέλο επινόησε μια λεπτομέρεια ή απάντησε σε διαφορετική ερώτηση από αυτή που τέθηκε.
Όταν ένας χρήστης αναφέρει ότι «η απάντηση είναι λανθασμένη», δεν θα σας πει ποια από τις δύο αιτίες ευθύνεται. Εξ ου και ο κανόνας: μετρήστε και τα δύο συστατικά ανεξάρτητα με διακριτές μετρικές και προσαρμόστε το ένα μόνο αφού εντοπίσετε ποιο υπολείπεται.
Μετρικές Δημιουργίας
Η Πιστότητα (Faithfulness) απαντά στην ερώτηση που έχει τη μεγαλύτερη σημασία στην παραγωγή: η απάντηση υποστηρίζεται εξ ολοκλήρου από τα παρεχόμενα έγγραφα, ή το μοντέλο πρόσθεσε τη δική του ερμηνεία; Αντί να ζητάτε μια γενική βαθμολογία—την οποία οι κριτές τείνουν να απονέμουν υπερβολικά γενναιόδωρα—ζητήστε από τον κριτή να αναλύσει την απάντηση ισχυρισμό προς ισχυρισμό και να ταξινομήσει τον καθένα ως υποστηριζόμενο, μη υποστηριζόμενο ή αντιφατικό. Αυτή η τελευταία κατηγορία είναι η πιο πολύτιμη: ένας ισχυρισμός που αντιφάσκει με την πηγή σηματοδοτεί ένα πολύ πιο σοβαρό σφάλμα από μια απλή παράλειψη.
from openai import OpenAI
client = OpenAI()
def evaluate_faithfulness(
question: str,
answer: str,
contexts: list[str]
) -> dict:
"""Evaluates whether the answer is faithful to the contexts."""
full_context = "\n\n---\n\n".join(contexts)
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"Evaluate the faithfulness of this answer relative to the "
f"source documents.\n\n"
f"Source documents:\n{full_context}\n\n"
f"Question: {question}\n\n"
f"Answer: {answer}\n\n"
f"For each claim in the answer, indicate:\n"
f"- SUPPORTED: if confirmed by the documents\n"
f"- UNSUPPORTED: if it does not appear in the documents\n"
f"- CONTRADICTED: if it contradicts the documents\n\n"
f"End with a global score from 0 to 1."
)
}],
temperature=0
)
return {"evaluation": response.choices[0].message.content}
Μια απάντηση μπορεί να είναι απόλυτα πιστή αλλά άχρηστη: μπορεί να αντιγράφει πιστά ένα απόσπασμα που αφορά κάτι άλλο. Αυτό μετρά η Συνάφεια Απάντησης (Answer Relevance), συγκρίνοντας αυτή τη φορά την απάντηση μόνο με την ερώτηση, χωρίς τα έγγραφα. Η εντολή ορίζει μια ρητή κλίμακα—1,0 για πλήρη απάντηση, 0,7 για μερική αλλά χρήσιμη απάντηση, 0,3 για περιφερειακή, 0,0 για εκτός θέματος—επειδή ένας κριτής στον οποίο ζητείται απλώς να «βαθμολογήσει από 0 έως 1» παράγει ασταθή σκορ από τη μία εκτέλεση στην άλλη.
def evaluate_relevance(question: str, answer: str) -> float:
"""Relevance score of the answer relative to the question."""
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"On a scale of 0 to 1, how well does this answer "
f"address the question asked?\n\n"
f"Question: {question}\n"
f"Answer: {answer}\n\n"
f"Criteria:\n"
f"- 1.0: complete and precise answer\n"
f"- 0.7: partial but useful answer\n"
f"- 0.3: tangentially related\n"
f"- 0.0: off-topic\n\n"
f"Return only the numeric score."
)
}],
temperature=0,
max_tokens=10
)
try:
return float(response.choices[0].message.content.strip())
except ValueError:
return 0.0
Έπειτα υπάρχει η Ακρίβεια Πλαισίου (Context Precision), η οποία γεφυρώνει τους δύο άξονες: από τα πέντε έγγραφα που εισάγατε στο prompt, πόσα χρησιμοποιήθηκαν πραγματικά; Αν η απάντηση σε μια ερώτηση σχετικά με τις πολιτικές άδειας βασίστηκε μόνο σε ένα από τα πέντε τμήματα, τα άλλα τέσσερα κατανάλωσαν προϋπολογισμό πλαισίου και πρόσθεσαν θόρυβο. Έτσι, ρωτάτε τον κριτή για κάθε πλαίσιο μεμονωμένα, με ένα απλό ναι ή όχι, και υπολογίζετε το ποσοστό αυτών που ήταν χρήσιμα.
def evaluate_context_precision(
question: str,
contexts: list[str],
answer: str
) -> dict:
"""Evaluates which contexts were useful for the answer."""
results = []
for i, ctx in enumerate(contexts):
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"Was this document useful for answering "
f"the question?\n\n"
f"Question: {question}\n"
f"Document: {ctx[:500]}\n"
f"Generated answer: {answer}\n\n"
f"Answer YES or NO."
)
}],
temperature=0,
max_tokens=5
)
useful = "yes" in response.choices[0].message.content.lower()
results.append({"index": i, "useful": useful})
num_useful = sum(1 for r in results if r["useful"])
return {
"details": results,
"precision": num_useful / len(contexts) if contexts else 0
}
Ολοκληρωμένο Πλαίσιο Αξιολόγησης
Αυτές οι τρεις συναρτήσεις είναι άχρηστες όσο παραμένουν χειροκίνητες. Το καθοριστικό βήμα είναι να τις εκτελείτε σε ένα σταθερό σύνολο ερωτήσεων κάθε φορά που τροποποιείτε τη διαδικασία: αυτό είναι που μετατρέπει μια διαίσθηση—«Νομίζω ότι είναι καλύτερο από τότε που άλλαξα το chunking»—σε ένα συγκρίσιμο νούμερο. Η κλάση παρακάτω εκτελεί τη διαδικασία σε κάθε στοιχείο του συνόλου δεδομένων, συλλέγει τις βαθμολογίες και επιστρέφει τους μέσους όρους τους.
Δείτε το παράδειγμα συνόλου δεδομένων: δύο ερωτήσεις HR, καθεμία με μια αναμενόμενη απάντηση και το αναγνωριστικό των εγγράφων που πρέπει να ανακτηθούν. Είκοσι έως πενήντα εγγραφές αυτού του τύπου, γραμμένες μια και καλή από πραγματικές ερωτήσεις χρηστών, αρκούν για να εντοπιστούν υποχωρήσεις στην απόδοση.
class RAGEvaluator:
def __init__(self, rag_pipeline):
self.pipeline = rag_pipeline
self.client = OpenAI()
def evaluate_dataset(self, dataset: list[dict]) -> dict:
"""Evaluates the pipeline on a question-answer dataset.
Each item: {question, expected_answer, relevant_docs}
"""
results = {
"faithfulness": [],
"relevance": [],
"context_precision": [],
}
for item in dataset:
# Execute the pipeline
output = self.pipeline.respond(item["question"])
answer = output["answer"]
contexts = [s["excerpt"] for s in output["sources"]]
# Evaluate
relevance = evaluate_relevance(item["question"], answer)
results["relevance"].append(relevance)
ctx_eval = evaluate_context_precision(
item["question"], contexts, answer
)
results["context_precision"].append(ctx_eval["precision"])
# Averages
import numpy as np
return {
metric: round(float(np.mean(scores)), 4)
for metric, scores in results.items()
}
# Usage
dataset = [
{
"question": "How many leave days do I have?",
"expected_answer": "25 days of paid leave per year",
"relevant_docs": ["leave-policy"]
},
{
"question": "Can I work remotely on Mondays?",
"expected_answer": "Yes, remote work is allowed except on Tuesdays and Thursdays",
"relevant_docs": ["remote-work-policy"]
},
]
evaluator = RAGEvaluator(rag_pipeline)
metrics = evaluator.evaluate_dataset(dataset)
print("Results:")
for k, v in metrics.items():
print(f" {k}: {v}")
Πίνακας Ελέγχου Μετρικών
Ορίστε οι στόχοι που πρέπει να επιδιώξετε σε ένα σύστημα παραγωγής, μαζί με την πραγματική σημασία κάθε αριθμού.
| Μετρική | Στόχος | Τι μετρά |
|---|---|---|
| Recall@5 | > 0.90 | Βρίσκονται τα σωστά έγγραφα στα κορυφαία 5; |
| Precision@5 | > 0.70 | Είναι σχετικά τα επιστρεφόμενα έγγραφα; |
| Faithfulness | > 0.85 | Είναι η απάντηση πιστή στις πηγές; |
| Answer Relevance | > 0.80 | Απαντά η απάντηση στην ερώτηση; |
| Context Precision | > 0.60 | Είναι χρήσιμα τα παρεχόμενα πλαίσια; |
Διαβάστε αυτόν τον πίνακα από πάνω προς τα κάτω ως ένα δέντρο διάγνωσης. Ένα recall κάτω από 0,90 καθιστά άσκοπη οποιαδήποτε ανάλυση των επόμενων γραμμών: διορθώστε πρώτα το chunking ή το ευρετήριο. Αντιστρόφως, ένα εξαιρετικό recall σε συνδυασμό με χαμηλή πιστότητα υποδεικνύει πρόβλημα στο prompt δημιουργίας, όχι στην αναζήτηση.
Βασικά σημεία
- Αξιολογήστε ξεχωριστά την ανάκτηση (recall, precision) και τη δημιουργία (faithfulness, relevance)
- Η Faithfulness εντοπίζει τις παραισθήσεις (hallucinations) των LLM
- Η Relevance επαληθεύει ότι η απάντηση είναι χρήσιμη
- Δημιουργήστε ένα σύνολο δεδομένων δοκιμών και μετρήστε πριν από κάθε αλλαγή