Αξιολόγηση ποιότητας αναζήτησης
Σε αυτήν τη σελίδα
Στόχοι
- Να κατανοήσετε τις τυπικές μετρικές αξιολόγησης αναζήτησης
- Να δημιουργήσετε ένα σύνολο δεδομένων αξιολόγησης
- Να μετρήσετε και να βελτιώσετε την ποιότητα της μηχανής σας
Γιατί να αξιολογήσετε;
Τα προηγούμενα μαθήματα παρουσίασαν μια σειρά επιλογών: μοντέλο ενσωμάτωσης (embedding), αριθμός διαστάσεων, μέγεθος τμήματος (chunk size) και υβριδική στάθμιση. Κάθε επιλογή μπορεί να βελτιώσει ή να υποβαθμίσει το σύστημά σας. Οι υποκειμενικές εντυπώσεις από τον χειροκίνητο έλεγχο τριών ερωτημάτων δεν αρκούν για λήψη αποφάσεων—ειδικά καθώς μια αλλαγή συχνά βελτιώνει μια κατηγορία ερωτημάτων ενώ υποβαθμίζει μια άλλη. Χωρίς μετρικές, πετάτε στα τυφλά.
Βασικές μετρικές
Το Recall@k απαντά στο εξής ερώτημα: από τα σχετικά έγγραφα, πόσα εμφανίζονται στα κορυφαία k αποτελέσματα; Αυτή είναι η χρυσή τομή για το RAG, καθώς ένα έγγραφο που λείπει από το πλαίσιο (context) δεν μπορεί ποτέ να αναφερθεί από το μοντέλο παραγωγής, ανεξάρτητα από το πόσο καλό είναι.
def recall_at_k(pertinents: set[str], resultats: list[str], k: int) -> float:
"""Proportion of relevant documents found in the top-k."""
top_k = set(resultats[:k])
trouves = pertinents & top_k
return len(trouves) / len(pertinents) if pertinents else 0.0
Το Precision@k εξετάζει το αντίστροφο: από τα k αποτελέσματα που επιστρέφονται, πόσα είναι πραγματικά σχετικά; Αυτό έχει σημασία κυρίως όταν το πλαίσιο που αποστέλλεται στο LLM είναι περιορισμένο, καθώς κάθε έγγραφο εκτός θέματος καταλαμβάνει χώρο και αραιώνει την προσοχή του μοντέλου.
def precision_at_k(pertinents: set[str], resultats: list[str], k: int) -> float:
"""Proportion of relevant results in the top-k."""
top_k = resultats[:k]
trouves = sum(1 for r in top_k if r in pertinents)
return trouves / k if k > 0 else 0.0
Το MRR (Mean Reciprocal Rank) μετρά τη θέση του πρώτου σχετικού αποτελέσματος. Ένα έγγραφο στην πρώτη θέση βαθμολογείται με 1, στη δεύτερη με 0,5 και στην πέμπτη με 0,2. Δώστε προτεραιότητα σε αυτή τη μετρική για γραμμές αναζήτησης που προορίζονται για ανθρώπους, οι οποίοι σπάνια κοιτούν πέρα από τις τρεις πρώτες γραμμές.
def mrr(pertinents: set[str], resultats: list[str]) -> float:
"""Reciprocal rank of the first relevant result."""
for i, r in enumerate(resultats):
if r in pertinents:
return 1.0 / (i + 1)
return 0.0
Το NDCG@k (Normalized Discounted Cumulative Gain) πηγαίνει ένα βήμα παραπέρα εγκαταλείποντας τη δυαδική συνάφεια: δέχεται βαθμούς συνάφειας, επιτρέποντάς σας να διακρίνετε μεταξύ ενός εγγράφου που απαντά ακριβώς στην ερώτηση και ενός που την θίγει μόνο επιφανειακά. Ο λογάριθμος στον παρονομαστή εφαρμόζει μια προοδευτική έκπτωση βάσει της κατάταξης, και η κανονικοποίηση έναντι της ιδανικής κατάταξης κλιμακώνει τα πάντα μεταξύ 0 και 1.
import numpy as np
def ndcg_at_k(relevances: list[float], k: int) -> float:
"""NDCG with graded relevance scores."""
dcg = sum(
rel / np.log2(i + 2) for i, rel in enumerate(relevances[:k])
)
ideal = sorted(relevances, reverse=True)[:k]
idcg = sum(
rel / np.log2(i + 2) for i, rel in enumerate(ideal)
)
return dcg / idcg if idcg > 0 else 0.0
Δημιουργία συνόλου δεδομένων αξιολόγησης
Κανένας από αυτούς τους τύπους δεν είναι χρήσιμος χωρίς θεμελιώδη αλήθεια (ground truth). Ένα σύνολο δεδομένων αξιολόγησης συσχετίζει κάθε ερώτημα με τη λίστα των εγγράφων που θα έπρεπε να εμφανιστούν και, προαιρετικά, με εκείνα που σίγουρα δεν θα έπρεπε—τα τελευταία είναι χρήσιμα για την παρακολούθηση γνωστών ψευδώς θετικών αποτελεσμάτων.
import json
# Dataset structure
dataset_eval = [
{
"requête": "comment installer Python sur Windows",
"pertinents": ["doc_install_python", "doc_setup_env"],
"non_pertinents": ["doc_cuisine"]
},
{
"requête": "configurer nginx comme reverse proxy",
"pertinents": ["doc_nginx_proxy", "doc_nginx_config"],
"non_pertinents": ["doc_python_web"]
},
]
# Save
with open("eval_dataset.json", "w") as f:
json.dump(dataset_eval, f, ensure_ascii=False, indent=2)
Τριάντα καλά επιλεγμένα ζεύγη που καλύπτουν τους διαφορετικούς τύπους ερωτήσεων που δέχεται πραγματικά η μηχανή σας, αξίζουν περισσότερο από τριακόσια μαζικής παραγωγής. Δώστε προτεραιότητα στην εξαγωγή δεδομένων από τα αρχεία καταγραφής αναζήτησης (search logs): αυτές είναι οι πραγματικές διατυπώσεις των χρηστών σας, όχι αυτές που φαντάζεστε.
Δημιουργία ερωτημάτων δοκιμής με LLM
Σε έναν μεγάλο corpus, η χειροκίνητη συγγραφή καθίσταται μη πρακτική. Έτσι, αντιστρέφουμε το πρόβλημα: αντί να ψάχνουμε για έγγραφα που απαντούν σε μια ερώτηση, ζητάμε από ένα μοντέλο ποιες ερωτήσεις μπορεί να καλύψει ένα δεδομένο έγγραφο. Το έγγραφο είναι εξ ορισμού σχετικό με αυτές τις ερωτήσεις και αποκτάτε ζεύγη σε λίγα λεπτά.
from openai import OpenAI
client = OpenAI()
def generer_requetes_test(document: str, n: int = 3) -> list[str]:
"""Generate n queries that this document should answer."""
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"Voici un document :\n\n{document}\n\n"
f"Génère {n} questions auxquelles ce document répond. "
f"Retourne uniquement les questions, une par ligne."
)
}]
)
return response.choices[0].message.content.strip().split("\n")
Αυτή η μέθοδος έχει ένα τυφλό σημείο που πρέπει να γνωρίζετε: οι παραγόμενες ερωτήσεις συχνά επαναχρησιμοποιούν το ακριβές λεξιλόγιο του εγγράφου, καθιστώντας τις ευκολότερες από τις πραγματικές ερωτήσεις των χρηστών και διογκώνοντας τεχνητά τη βαθμολογία σας. Χρησιμοποιήστε τις για να συγκρίνετε δύο διαμορφώσεις μεταξύ τους, ποτέ όμως για να δηλώσετε ένα απόλυτο επίπεδο ποιότητας.
Πλήρης αγωγός αξιολόγησης
Ο αξιολογητής εκτελεί κάθε ερώτημα από το σύνολο δεδομένων στη μηχανή, υπολογίζει όλες τις μετρικές για διάφορες τιμές του k και στη συνέχεια υπολογίζει τον μέσο όρο του συνόλου.
class EvaluateurRecherche:
def __init__(self, moteur_recherche):
self.moteur = moteur_recherche
def evaluer(
self, dataset: list[dict], k_values: list[int] = [1, 3, 5, 10]
) -> dict:
"""Evaluate the engine on a complete dataset."""
resultats = {f"recall@{k}": [] for k in k_values}
resultats.update({f"precision@{k}": [] for k in k_values})
resultats["mrr"] = []
for item in dataset:
# Run search
res = self.moteur.rechercher(item["requête"], k=max(k_values))
ids_resultats = [r["id"] for r in res]
pertinents = set(item["pertinents"])
# Calculate metrics
resultats["mrr"].append(mrr(pertinents, ids_resultats))
for k in k_values:
resultats[f"recall@{k}"].append(
recall_at_k(pertinents, ids_resultats, k)
)
resultats[f"precision@{k}"].append(
precision_at_k(pertinents, ids_resultats, k)
)
# Average
return {
metrique: round(np.mean(scores), 4)
for metrique, scores in resultats.items()
}
# Usage
evaluateur = EvaluateurRecherche(moteur)
metriques = evaluateur.evaluer(dataset_eval)
print("Résultats d'évaluation :")
for metrique, score in metriques.items():
print(f" {metrique}: {score}")
Η παρακολούθηση πολλαπλών τιμών του k είναι από μόνη της διδακτική: ένα υψηλό recall@10 σε συνδυασμό με χαμηλό recall@1 σηματοδοτεί ότι τα σωστά έγγραφα εντοπίζονται αλλά κατατάσσονται εσφαλμένα—πρόβλημα επανακατάταξης (reranking), όχι ευρετηρίασης.
Σύγκριση δύο διαμορφώσεων
Η παρακάτω συνάρτηση αντιπαραθέτει δύο μηχανές στο ίδιο σύνολο δεδομένων και εμφανίζει τη διαφορά μετρικών ανά μετρική. Επαναλάβετε αυτό το βήμα πριν από κάθε ανάπτυξη στην παραγωγή, ακόμη και για μια αλλαγή που φαίνεται τετριμμένη.
def comparer_configs(moteur_a, moteur_b, dataset, noms=("A", "B")):
"""Compare two search engines."""
eval_a = EvaluateurRecherche(moteur_a).evaluer(dataset)
eval_b = EvaluateurRecherche(moteur_b).evaluer(dataset)
print(f"{Métrique:<20} {noms[0]:<10} {noms[1]:<10} {Delta:<10}")
print("-" * 50)
for metrique in eval_a:
delta = eval_b[metrique] - eval_a[metrique]
signe = "+" if delta > 0 else ""
print(f"{metrique:<20} {eval_a[metrique]:<10.4f} "
f"{eval_b[metrique]:<10.4f} {signe}{delta:<10.4f}")
Διαβάστε τις διαφορές (deltas) με προσοχή σε ένα μικρό σύνολο δεδομένων: μια διαφορά 0,02 σε τριάντα ερωτήματα είναι πιθανότατα θόρυβος, ενώ μια πτώση 0,10 στο recall@5 είναι ένα σαφές σήμα να μην προχωρήσετε στην ανάπτυξη.
Βασικά σημεία
- Τα Recall@k, Precision@k, MRR και NDCG είναι οι τυπικές μετρικές
- Δημιουργήστε ένα σύνολο δεδομένων αξιολόγησης με ζεύγη (ερώτημα, σχετικά έγγραφα)
- Αυτοματοποιήστε τη δημιουργία ερωτημάτων με ένα LLM
- Συγκρίνετε συστηματικά τις διαμορφώσεις πριν από την ανάπτυξη