Evalwa Pipeline RAG
F'din il-paġna
Għanijiet
- Evalwa r-riċupru u l-ġenerazzjoni separatament
- Implimenta metriki awtomatizzati tal-kwalità RAG
- Ibni qafas sħiħ ta’ evalwazzjoni
Iż-Żewġ Assi tal-Evalwazzjoni
Pipeline RAG tfalli f’żewġ modi differenti ħafna, u li tħawwadhom se jiswielek ġimgħat. Jew il-pass ta’ riċupru naqas milli jsib id-dokumenti t-tajbin—f’liema każ it-tweġiba hija żbaljata għal raġunijiet mhux relatati mal-mudell tal-ġenerazzjoni, u l-metriki mil-Lezzjoni 10 se jadjanjaw dan—jew id-dokumenti t-tajbin kienu preżenti, iżda l-pass tal-ġenerazzjoni mar ħażin: il-mudell ivventa dettall jew wieġeb mistoqsija differenti minn dik li saret.
Meta utent jirrapporta “it-tweġiba hija żbaljata”, mhux se jgħidlek liema miż-żewġ kawżi qed taħdem. Għalhekk ir-regola: kejjel iż-żewġ komponenti b’mod indipendenti b’metriki distinti, u biddel wieħed biss wara li tkun identifikajt liema qed jaħdem ħażin.
Metriki tal-Ġenerazzjoni
Il-fidilja (Faithfulness) twieġeb il-mistoqsija li timporta l-aktar fil-produzzjoni: it-tweġiba hija appoġġjata kompletament mid-dokumenti pprovduti, jew il-mudell żied it-tifsira tiegħu stess? Minflok ma titlob punteġġ globali—li l-imħallfin għandhom it-tendenza li jagħtu b’mod wisq ġeneruż—agħmel lill-imħallef jifred it-tweġiba affermazzjoni b’affermazzjoni u jikklassifika kull waħda bħala appoġġjata, mhux appoġġjata, jew kontradetta. Dik l-aħħar kategorija hija l-aktar prezzjuża: affermazzjoni li tikkontradixxi s-sors tissuġġerixxi żball ferm aktar serju minn sempliċi tħallija barra.
from openai import OpenAI
client = OpenAI()
def evaluate_faithfulness(
question: str,
answer: str,
contexts: list[str]
) -> dict:
"""Evaluates whether the answer is faithful to the contexts."""
full_context = "\n\n---\n\n".join(contexts)
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"Evaluate the faithfulness of this answer relative to the "
f"source documents.\n\n"
f"Source documents:\n{full_context}\n\n"
f"Question: {question}\n\n"
f"Answer: {answer}\n\n"
f"For each claim in the answer, indicate:\n"
f"- SUPPORTED: if confirmed by the documents\n"
f"- UNSUPPORTED: if it does not appear in the documents\n"
f"- CONTRADICTED: if it contradicts the documents\n\n"
f"End with a global score from 0 to 1."
)
}],
temperature=0
)
return {"evaluation": response.choices[0].message.content}
Tweġiba tista’ tkun perfettament fidila iżda inutili: tista’ tkun kopja fidila ta’ pass li jittratta xi ħaġa oħra. Dan huwa dak li tkejjel ir-rilevanza tat-tweġiba, din id-darba tqabbel it-tweġiba mal-mistoqsija biss, mingħajr id-dokumenti. Il-prompt jistabbilixxi skala espliċita—1.0 għal tweġiba sħiħa, 0.7 għal tweġiba parzjali iżda utli, 0.3 għal waħda marġinali, 0.0 għal waħda barra mit-tema—għax imħallef mitlub sempliċiment “agħti punteġġ minn 0 sa 1” jipproduċi punteġġi instabbli minn ġirja għal oħra.
def evaluate_relevance(question: str, answer: str) -> float:
"""Relevance score of the answer relative to the question."""
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"On a scale of 0 to 1, how well does this answer "
f"address the question asked?\n\n"
f"Question: {question}\n"
f"Answer: {answer}\n\n"
f"Criteria:\n"
f"- 1.0: complete and precise answer\n"
f"- 0.7: partial but useful answer\n"
f"- 0.3: tangentially related\n"
f"- 0.0: off-topic\n\n"
f"Return only the numeric score."
)
}],
temperature=0,
max_tokens=10
)
try:
return float(response.choices[0].message.content.strip())
except ValueError:
return 0.0
Imbagħad hemm il-preċiżjoni tal-kuntest, li tgħaqqad iż-żewġ assi: fost il-ħames dokumenti li ddaħħlu fil-prompt, kemm intużaw effettivament? Jekk it-tweġiba għal mistoqsija dwar il-politiki tal-leave użat biss wieħed mill-ħames biċċiet, l-erbgħa l-oħra kkunsmaw il-baġit tal-kuntest u żiedu n-niżla. Allura titlob lill-imħallef dwar kull kuntest b’mod iżolat, b’iva jew le sempliċi, u tikkalkula l-proporzjon li kienu utli.
def evaluate_context_precision(
question: str,
contexts: list[str],
answer: str
) -> dict:
"""Evaluates which contexts were useful for the answer."""
results = []
for i, ctx in enumerate(contexts):
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"Was this document useful for answering "
f"the question?\n\n"
f"Question: {question}\n"
f"Document: {ctx[:500]}\n"
f"Generated answer: {answer}\n\n"
f"Answer YES or NO."
)
}],
temperature=0,
max_tokens=5
)
useful = "yes" in response.choices[0].message.content.lower()
results.append({"index": i, "useful": useful})
num_useful = sum(1 for r in results if r["useful"])
return {
"details": results,
"precision": num_useful / len(contexts) if contexts else 0
}
Qafas Sħiħ ta’ Evalwazzjoni
Dawn it-tliet funzjonijiet huma inutili sakemm jibqgħu manwali. Il-pass deċiżiv huwa li tħaddimhom fuq sett fiss ta’ mistoqsijiet kull darba li timmodifika l-pipeline: dan huwa dak li jbidlu sensazzjoni istintiva—“Naħseb li tjiebet minn meta biddilt il-fragmentazzjoni”—f’numru li jista’ jitqabbel. Il-klassi hawn taħt tesegwixxi l-pipeline fuq kull oġġett fid-dataset, tiġbor il-punteġġi, u tirritorna l-medji tagħhom.
Ara d-dataset ta’ eżempju: żewġ mistoqsijiet tal-HR, kull waħda b’tweġiba mistennija u l-identifikatur tad-dokumenti li għandhom jiġu rkuprati. Għoxrin sa ħamsin entrata ta’ dan it-tip, miktuba darba għal dejjem minn mistoqsijiet reali tal-utenti, huma biżżejjed biex jinstabu regrezzjonijiet.
class RAGEvaluator:
def __init__(self, rag_pipeline):
self.pipeline = rag_pipeline
self.client = OpenAI()
def evaluate_dataset(self, dataset: list[dict]) -> dict:
"""Evaluates the pipeline on a question-answer dataset.
Each item: {question, expected_answer, relevant_docs}
"""
results = {
"faithfulness": [],
"relevance": [],
"context_precision": [],
}
for item in dataset:
# Execute the pipeline
output = self.pipeline.respond(item["question"])
answer = output["answer"]
contexts = [s["excerpt"] for s in output["sources"]]
# Evaluate
relevance = evaluate_relevance(item["question"], answer)
results["relevance"].append(relevance)
ctx_eval = evaluate_context_precision(
item["question"], contexts, answer
)
results["context_precision"].append(ctx_eval["precision"])
# Averages
import numpy as np
return {
metric: round(float(np.mean(scores)), 4)
for metric, scores in results.items()
}
# Usage
dataset = [
{
"question": "How many leave days do I have?",
"expected_answer": "25 days of paid leave per year",
"relevant_docs": ["leave-policy"]
},
{
"question": "Can I work remotely on Mondays?",
"expected_answer": "Yes, remote work is allowed except on Tuesdays and Thursdays",
"relevant_docs": ["remote-work-policy"]
},
]
evaluator = RAGEvaluator(rag_pipeline)
metrics = evaluator.evaluate_dataset(dataset)
print("Results:")
for k, v in metrics.items():
print(f" {k}: {v}")
Dashboard tal-Metriki
Hawnhekk huma l-miri li għandek timmira għalihom f’sistema ta’ produzzjoni, flimkien ma’ dak li jfisser kull numru fil-fatt.
| Metrika | Mira | X’ikejjel |
|---|---|---|
| Recall@5 | > 0.90 | Id-dokumenti t-tajbin huma fl-ewwel 5? |
| Precision@5 | > 0.70 | Id-dokumenti rritornati huma rilevanti? |
| Faithfulness | > 0.85 | It-tweġiba hija fidila għas-sorsi? |
| Answer Relevance | > 0.80 | It-tweġiba tindirizza l-mistoqsija? |
| Context Precision | > 0.60 | Il-kuntesti pprovduti huma utli? |
Aqra din it-tabella minn fuq għal isfel bħala siġra dijanjostika. Recall taħt 0.90 jagħmel kwalunkwe analiżi tal-linji li jmiss bla sens: issolvi l-fragmentazzjoni jew l-indiċi l-ewwel. Bil-kontra, recall eċċellenti akkumpanjat minn fidilja fqira jindika l-prompt tal-ġenerazzjoni, mhux it-tfittxija.
Punti Ewlenin
- Evalwa r-riċupru (recall, preċiżjoni) u l-ġenerazzjoni (fidilja, rilevanza) separatament
- Il-fidilja tiskopri alluċinazzjonijiet tal-LLM
- Ir-rilevanza tivverifika li t-tweġiba hija utli
- Ibni dataset tat-test u kejjel qabel kull bidla