Measúnacht a dhéanamh ar cháilíocht cuardaigh
Ar an leathanach seo
Cuspóirí
- Tuiscint a fháil ar ghnáth-mhéadrachtaí measúnaithe cuardaigh
- Tacar sonraí measúnaithe a thógáil
- Cáilíocht d’inneall a thomhas agus a fheabhsú
Cén fáth measúnú a dhéanamh?
Thug na ceachtanna roimhe seo isteach sraith roghanna: múnla leabaithe, líon na dtoiseanna, méid an bhlúire, agus meáchanú hibrideach. Is féidir le gach rogha do chóras a fheabhsú nó a mheath. Níl impressioní suibiachtúla ó thrí cheist a thástáil de láimh leordhóthanach chun cinneadh a dhéanamh—go háirithe ós rud é go minic a fheabhsaíonn athrú catagóir amháin ceisteanna agus go meathlaíonn sé catagóir eile. Gan méadrachtaí, tá tú ag eitilt go dall.
Príomh-mhéadrachtaí
Freagraíonn Recall@k an cheist seo: as na doiciméid ábhartha, cé mhéad acu a fheictear sna torthaí barr-k? Is é seo an mhéadracht óir do RAG toisc nach féidir le múnla giniúna doiciméad atá in easnamh ón gcomhthéacs a lua riamh, cibé chomh maith agus atá sé.
def recall_at_k(pertinents: set[str], resultats: list[str], k: int) -> float:
"""Proportion of relevant documents found in the top-k."""
top_k = set(resultats[:k])
trouves = pertinents & top_k
return len(trouves) / len(pertinents) if pertinents else 0.0
Breathnaíonn Precision@k ar an taobh eile: as na k toradh a filltear, cé mhéad acu atá ábhartha i ndáiríre? Tá sé seo tábhachtach go háirithe nuair atá an comhthéacs a sheoltar chuig an LLM teoranta, ós rud é go nglacann gach doiciméad nach mbaineann leis an ábhar spás agus go laghdaíonn sé aird an mhúnla.
def precision_at_k(pertinents: set[str], resultats: list[str], k: int) -> float:
"""Proportion of relevant results in the top-k."""
top_k = resultats[:k]
trouves = sum(1 for r in top_k if r in pertinents)
return trouves / k if k > 0 else 0.0
Tomhaiseann MRR (Mean Reciprocal Rank) rangú an chéad toraidh ábhartha. Scóráilíonn doiciméad sa chéad áit 1, sa dara háit 0.5, agus sa chúigiú háit 0.2. Tabhair tosaíocht don mhéadracht seo do bharraí cuardaigh atá beartaithe do dhaoine, nach mbíonn ag breathnú thar na chéad trí líne de ghnáth.
def mrr(pertinents: set[str], resultats: list[str]) -> float:
"""Reciprocal rank of the first relevant result."""
for i, r in enumerate(resultats):
if r in pertinents:
return 1.0 / (i + 1)
return 0.0
Téann NDCG@k (Normalized Discounted Cumulative Gain) níos faide trí thréith dhénártha na hábharthachta a thréigean: glacann sé le céimeanna ábharthachta, rud a ligeann duit idirdhealú a dhéanamh idir doiciméad a fhreagraíonn an cheist go beacht agus ceann a dhéanann tagairt di amháin. Cuirtean lascaine chun cinn i bhfeidhm bunaithe ar rangú leis an logartam sa ainmneoir, agus scálaíonn normalú i gcoinne an rangú idéalach gach rud idir 0 agus 1.
import numpy as np
def ndcg_at_k(relevances: list[float], k: int) -> float:
"""NDCG with graded relevance scores."""
dcg = sum(
rel / np.log2(i + 2) for i, rel in enumerate(relevances[:k])
)
ideal = sorted(relevances, reverse=True)[:k]
idcg = sum(
rel / np.log2(i + 2) for i, rel in enumerate(ideal)
)
return dcg / idcg if idcg > 0 else 0.0
Tacar sonraí measúnaithe a chruthú
Níl aon cheann de na foirmlí seo úsáideach gan fhírinne bhunúsach. Déanann tacar sonraí measúnaithe gach ceist a chur i gcomhcheangal leis an liosta doiciméad ar chóir teacht orthu, agus roghnach na cinn nach ba chóir teacht orthu ar aon nós—tá na cinn dheireanacha seo úsáideach chun monatóireacht a dhéanamh ar bhréag-dheimhnithe ar eolas.
import json
# Dataset structure
dataset_eval = [
{
"requête": "comment installer Python sur Windows",
"pertinents": ["doc_install_python", "doc_setup_env"],
"non_pertinents": ["doc_cuisine"]
},
{
"requête": "configurer nginx comme reverse proxy",
"pertinents": ["doc_nginx_proxy", "doc_nginx_config"],
"non_pertinents": ["doc_python_web"]
},
]
# Save
with open("eval_dataset.json", "w") as f:
json.dump(dataset_eval, f, ensure_ascii=False, indent=2)
Tá tríocha péire roghnaithe go maith a chlúdaíonn na cineálacha éagsúla ceisteanna a fhaigheann d’inneall i ndáiríre níos luachmhaire ná trí chéad ceann a táirgeadh go maisiúil. Tabhair tosaíocht do tharraingt ó do logaí cuardaigh: is iad seo frásaíocht iarbhír do úsáideoirí, ní na cinn a shamhlaíonn tú.
Ceisteanna tástála a ghiniúint le LLM
Ar chorpas mór, éiríonn scríobh de láimh dodhéanta. Mar sin, casaimid an fhadhb: in ionad doiciméid a lorg a fhreagraíonn ceist, iarraimid ar mhúnla cé na ceisteanna ar féidir le doiciméad ar leith freagairt a thabhairt orthu. Tá an doiciméad ábhartha de réir tógála do na ceisteanna seo, agus faigheann tú péirí i gceann nóiméad.
from openai import OpenAI
client = OpenAI()
def generer_requetes_test(document: str, n: int = 3) -> list[str]:
"""Generate n queries that this document should answer."""
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"Voici un document :\n\n{document}\n\n"
f"Génère {n} questions auxquelles ce document répond. "
f"Retourne uniquement les questions, une par ligne."
)
}]
)
return response.choices[0].message.content.strip().split("\n")
Tá dallphointe ag an modh seo ar chóir duit a bheith ar an eolas faoi: is minic a úsáideann ceisteanna ginte foclóir beacht an doiciméid, rud a fhágann go bhfuil siad níos éasca ná fíor-cheisteanna úsáideoirí agus go mbíonn do scóir á mboladh go saorga. Úsáid iad chun dhá chumraíocht a chur i gcomparáid le chéile, ach ná húsáid iad riamh chun leibhéal absalóideach cáilíochta a dhearbhú.
Píblíne measúnaithe iomlán
Ritheann an measúnóir gach ceist ón tacar sonraí ar an inneall, ríomhann sé gach méadracht do roinnt luachanna k, agus ansin déanann sé meán ar an tacar iomlán.
class EvaluateurRecherche:
def __init__(self, moteur_recherche):
self.moteur = moteur_recherche
def evaluer(
self, dataset: list[dict], k_values: list[int] = [1, 3, 5, 10]
) -> dict:
"""Evaluate the engine on a complete dataset."""
resultats = {f"recall@{k}": [] for k in k_values}
resultats.update({f"precision@{k}": [] for k in k_values})
resultats["mrr"] = []
for item in dataset:
# Run search
res = self.moteur.rechercher(item["requête"], k=max(k_values))
ids_resultats = [r["id"] for r in res]
pertinents = set(item["pertinents"])
# Calculate metrics
resultats["mrr"].append(mrr(pertinents, ids_resultats))
for k in k_values:
resultats[f"recall@{k}"].append(
recall_at_k(pertinents, ids_resultats, k)
)
resultats[f"precision@{k}"].append(
precision_at_k(pertinents, ids_resultats, k)
)
# Average
return {
metrique: round(np.mean(scores), 4)
for metrique, scores in resultats.items()
}
# Usage
evaluateur = EvaluateurRecherche(moteur)
metriques = evaluateur.evaluer(dataset_eval)
print("Résultats d'évaluation :")
for metrique, score in metriques.items():
print(f" {metrique}: {score}")
Tá rianú il-luachanna k instructive ann féin: léiríonn recall@10 ard péireáilte le recall@1 bocht go bhfuil na doiciméid chearta á bhfáil ach go bhfuil siad rangaithe go dona—fadhb ath-rangaithe, ní fadhb innéacsaithe.
Dhá chumraíocht a chur i gcomparáid
Cuirtear an fheidhm seo a leanas dhá inneall in aghaidh a chéile ar an tacar sonraí céanna agus taispeánann sé an bearna méadrach in aghaidh na méadrachta. Déan an céim seo arís roimh gach imlonnú táirgeachta, fiú d’athrú a bhfuil cuma thrioblóideach air.
def comparer_configs(moteur_a, moteur_b, dataset, noms=("A", "B")):
"""Compare two search engines."""
eval_a = EvaluateurRecherche(moteur_a).evaluer(dataset)
eval_b = EvaluateurRecherche(moteur_b).evaluer(dataset)
print(f"{Métrique:<20} {noms[0]:<10} {noms[1]:<10} {Delta:<10}")
print("-" * 50)
for metrique in eval_a:
delta = eval_b[metrique] - eval_a[metrique]
signe = "+" if delta > 0 else ""
print(f"{metrique:<20} {eval_a[metrique]:<10.4f} "
f"{eval_b[metrique]:<10.4f} {signe}{delta:<10.4f}")
Léigh deltai go cúramach ar thacar sonraí beag: is dócha gurb é torann bearna 0.02 thar tríocha ceist, ach is comhartha soiléir é titim 0.10 i recall@5 gan imlonnú a dhéanamh.
Príomhphointí
- Is iad Recall@k, Precision@k, MRR, agus NDCG na gnáth-mhéadrachtaí
- Cruthaigh tacar sonraí measúnaithe le péirí (ceist, doiciméid ábhartha)
- Uathoibrigh giniúint ceisteanna le LLM
- Déan comparáid chórasach ar chumraíochtaí sula ndéanann tú imlonnú