Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Evalwa Pipeline RAG

Lezzjoni 15 / 22 Aġġornat 29 ta’ Lulju 2026 Zviluppatur
F'din il-paġna
  1. Għanijiet
  2. Iż-Żewġ Assi tal-Evalwazzjoni
  3. Metriki tal-Ġenerazzjoni
  4. Qafas Sħiħ ta’ Evalwazzjoni
  5. Dashboard tal-Metriki
  6. Punti Ewlenin

Għanijiet

  • Evalwa r-riċupru u l-ġenerazzjoni separatament
  • Implimenta metriki awtomatizzati tal-kwalità RAG
  • Ibni qafas sħiħ ta’ evalwazzjoni

Iż-Żewġ Assi tal-Evalwazzjoni

Pipeline RAG tfalli f’żewġ modi differenti ħafna, u li tħawwadhom se jiswielek ġimgħat. Jew il-pass ta’ riċupru naqas milli jsib id-dokumenti t-tajbin—f’liema każ it-tweġiba hija żbaljata għal raġunijiet mhux relatati mal-mudell tal-ġenerazzjoni, u l-metriki mil-Lezzjoni 10 se jadjanjaw dan—jew id-dokumenti t-tajbin kienu preżenti, iżda l-pass tal-ġenerazzjoni mar ħażin: il-mudell ivventa dettall jew wieġeb mistoqsija differenti minn dik li saret.

Meta utent jirrapporta “it-tweġiba hija żbaljata”, mhux se jgħidlek liema miż-żewġ kawżi qed taħdem. Għalhekk ir-regola: kejjel iż-żewġ komponenti b’mod indipendenti b’metriki distinti, u biddel wieħed biss wara li tkun identifikajt liema qed jaħdem ħażin.

Metriki tal-Ġenerazzjoni

Il-fidilja (Faithfulness) twieġeb il-mistoqsija li timporta l-aktar fil-produzzjoni: it-tweġiba hija appoġġjata kompletament mid-dokumenti pprovduti, jew il-mudell żied it-tifsira tiegħu stess? Minflok ma titlob punteġġ globali—li l-imħallfin għandhom it-tendenza li jagħtu b’mod wisq ġeneruż—agħmel lill-imħallef jifred it-tweġiba affermazzjoni b’affermazzjoni u jikklassifika kull waħda bħala appoġġjata, mhux appoġġjata, jew kontradetta. Dik l-aħħar kategorija hija l-aktar prezzjuża: affermazzjoni li tikkontradixxi s-sors tissuġġerixxi żball ferm aktar serju minn sempliċi tħallija barra.

from openai import OpenAI

client = OpenAI()

def evaluate_faithfulness(
    question: str,
    answer: str,
    contexts: list[str]
) -> dict:
    """Evaluates whether the answer is faithful to the contexts."""
    full_context = "\n\n---\n\n".join(contexts)

    response = client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{
            "role": "user",
            "content": (
                f"Evaluate the faithfulness of this answer relative to the "
                f"source documents.\n\n"
                f"Source documents:\n{full_context}\n\n"
                f"Question: {question}\n\n"
                f"Answer: {answer}\n\n"
                f"For each claim in the answer, indicate:\n"
                f"- SUPPORTED: if confirmed by the documents\n"
                f"- UNSUPPORTED: if it does not appear in the documents\n"
                f"- CONTRADICTED: if it contradicts the documents\n\n"
                f"End with a global score from 0 to 1."
            )
        }],
        temperature=0
    )
    return {"evaluation": response.choices[0].message.content}

Tweġiba tista’ tkun perfettament fidila iżda inutili: tista’ tkun kopja fidila ta’ pass li jittratta xi ħaġa oħra. Dan huwa dak li tkejjel ir-rilevanza tat-tweġiba, din id-darba tqabbel it-tweġiba mal-mistoqsija biss, mingħajr id-dokumenti. Il-prompt jistabbilixxi skala espliċita—1.0 għal tweġiba sħiħa, 0.7 għal tweġiba parzjali iżda utli, 0.3 għal waħda marġinali, 0.0 għal waħda barra mit-tema—għax imħallef mitlub sempliċiment “agħti punteġġ minn 0 sa 1” jipproduċi punteġġi instabbli minn ġirja għal oħra.

def evaluate_relevance(question: str, answer: str) -> float:
    """Relevance score of the answer relative to the question."""
    response = client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{
            "role": "user",
            "content": (
                f"On a scale of 0 to 1, how well does this answer "
                f"address the question asked?\n\n"
                f"Question: {question}\n"
                f"Answer: {answer}\n\n"
                f"Criteria:\n"
                f"- 1.0: complete and precise answer\n"
                f"- 0.7: partial but useful answer\n"
                f"- 0.3: tangentially related\n"
                f"- 0.0: off-topic\n\n"
                f"Return only the numeric score."
            )
        }],
        temperature=0,
        max_tokens=10
    )
    try:
        return float(response.choices[0].message.content.strip())
    except ValueError:
        return 0.0

Imbagħad hemm il-preċiżjoni tal-kuntest, li tgħaqqad iż-żewġ assi: fost il-ħames dokumenti li ddaħħlu fil-prompt, kemm intużaw effettivament? Jekk it-tweġiba għal mistoqsija dwar il-politiki tal-leave użat biss wieħed mill-ħames biċċiet, l-erbgħa l-oħra kkunsmaw il-baġit tal-kuntest u żiedu n-niżla. Allura titlob lill-imħallef dwar kull kuntest b’mod iżolat, b’iva jew le sempliċi, u tikkalkula l-proporzjon li kienu utli.

def evaluate_context_precision(
    question: str,
    contexts: list[str],
    answer: str
) -> dict:
    """Evaluates which contexts were useful for the answer."""
    results = []

    for i, ctx in enumerate(contexts):
        response = client.chat.completions.create(
            model="gpt-5.6-terra",
            messages=[{
                "role": "user",
                "content": (
                    f"Was this document useful for answering "
                    f"the question?\n\n"
                    f"Question: {question}\n"
                    f"Document: {ctx[:500]}\n"
                    f"Generated answer: {answer}\n\n"
                    f"Answer YES or NO."
                )
            }],
            temperature=0,
            max_tokens=5
        )
        useful = "yes" in response.choices[0].message.content.lower()
        results.append({"index": i, "useful": useful})

    num_useful = sum(1 for r in results if r["useful"])
    return {
        "details": results,
        "precision": num_useful / len(contexts) if contexts else 0
    }

Qafas Sħiħ ta’ Evalwazzjoni

Dawn it-tliet funzjonijiet huma inutili sakemm jibqgħu manwali. Il-pass deċiżiv huwa li tħaddimhom fuq sett fiss ta’ mistoqsijiet kull darba li timmodifika l-pipeline: dan huwa dak li jbidlu sensazzjoni istintiva—“Naħseb li tjiebet minn meta biddilt il-fragmentazzjoni”—f’numru li jista’ jitqabbel. Il-klassi hawn taħt tesegwixxi l-pipeline fuq kull oġġett fid-dataset, tiġbor il-punteġġi, u tirritorna l-medji tagħhom.

Ara d-dataset ta’ eżempju: żewġ mistoqsijiet tal-HR, kull waħda b’tweġiba mistennija u l-identifikatur tad-dokumenti li għandhom jiġu rkuprati. Għoxrin sa ħamsin entrata ta’ dan it-tip, miktuba darba għal dejjem minn mistoqsijiet reali tal-utenti, huma biżżejjed biex jinstabu regrezzjonijiet.

class RAGEvaluator:
    def __init__(self, rag_pipeline):
        self.pipeline = rag_pipeline
        self.client = OpenAI()

    def evaluate_dataset(self, dataset: list[dict]) -> dict:
        """Evaluates the pipeline on a question-answer dataset.

        Each item: {question, expected_answer, relevant_docs}
        """
        results = {
            "faithfulness": [],
            "relevance": [],
            "context_precision": [],
        }

        for item in dataset:
            # Execute the pipeline
            output = self.pipeline.respond(item["question"])
            answer = output["answer"]
            contexts = [s["excerpt"] for s in output["sources"]]

            # Evaluate
            relevance = evaluate_relevance(item["question"], answer)
            results["relevance"].append(relevance)

            ctx_eval = evaluate_context_precision(
                item["question"], contexts, answer
            )
            results["context_precision"].append(ctx_eval["precision"])

        # Averages
        import numpy as np
        return {
            metric: round(float(np.mean(scores)), 4)
            for metric, scores in results.items()
        }

# Usage
dataset = [
    {
        "question": "How many leave days do I have?",
        "expected_answer": "25 days of paid leave per year",
        "relevant_docs": ["leave-policy"]
    },
    {
        "question": "Can I work remotely on Mondays?",
        "expected_answer": "Yes, remote work is allowed except on Tuesdays and Thursdays",
        "relevant_docs": ["remote-work-policy"]
    },
]

evaluator = RAGEvaluator(rag_pipeline)
metrics = evaluator.evaluate_dataset(dataset)
print("Results:")
for k, v in metrics.items():
    print(f"  {k}: {v}")

Dashboard tal-Metriki

Hawnhekk huma l-miri li għandek timmira għalihom f’sistema ta’ produzzjoni, flimkien ma’ dak li jfisser kull numru fil-fatt.

MetrikaMiraX’ikejjel
Recall@5> 0.90Id-dokumenti t-tajbin huma fl-ewwel 5?
Precision@5> 0.70Id-dokumenti rritornati huma rilevanti?
Faithfulness> 0.85It-tweġiba hija fidila għas-sorsi?
Answer Relevance> 0.80It-tweġiba tindirizza l-mistoqsija?
Context Precision> 0.60Il-kuntesti pprovduti huma utli?

Aqra din it-tabella minn fuq għal isfel bħala siġra dijanjostika. Recall taħt 0.90 jagħmel kwalunkwe analiżi tal-linji li jmiss bla sens: issolvi l-fragmentazzjoni jew l-indiċi l-ewwel. Bil-kontra, recall eċċellenti akkumpanjat minn fidilja fqira jindika l-prompt tal-ġenerazzjoni, mhux it-tfittxija.

Punti Ewlenin

  • Evalwa r-riċupru (recall, preċiżjoni) u l-ġenerazzjoni (fidilja, rilevanza) separatament
  • Il-fidilja tiskopri alluċinazzjonijiet tal-LLM
  • Ir-rilevanza tivverifika li t-tweġiba hija utli
  • Ibni dataset tat-test u kejjel qabel kull bidla