Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Measúnú a dhéanamh ar Phíblíne RAG

Ceacht 15 as 22 Nuashonraithe 29 Iúil 2026 Forbróir
Ar an leathanach seo
  1. Cuspóirí
  2. An Dá Ais Measúnaithe
  3. Méadrachtaí Giniúna
  4. Creatlach Mheasúnaithe Iomlán
  5. Deasc Léirithe Méadrachtaí
  6. Príomhphointí

Cuspóirí

  • Measúnú a dhéanamh ar an aisghabháil agus ar an nginiúint ar leithligh
  • Méadrachtaí cáilíochta RAG uathoibrithe a chur i bhfeidhm
  • Creatlach mheasúnaithe iomlán a thógáil

An Dá Ais Measúnaithe

Teipeann ar phíblíne RAG ar dhá bhealach an-difriúil, agus má mheascann tú iad, caillfidh tú seachtainí: teipeann ar an gcéim aisghabhála na doiciméid chearta a aimsiú—sa chás sin ní bhíonn an freagra bunaithe ar dhadaí ar bith—nó déanann an chéim ghiniúna neamhaird de na doiciméid a soláthraíodh di, nó scórálann an breitheamh an rud mícheart. Más amhlaidh gur cheap an tsamhail mionsonra, nó gur fhreagair sí ceist éagsúil ón gceist a cuire, is faidhteachas sa chéim ghiniúna atá ann, agus tiosfaidh meadrachtaí an 10ú Ceacht an difríocht amach.

Nuair a thuairiscíonn úsáideoir go bhfuil “an freagra mícheart”, ní inseoidh siad duit cé acu den dá chúis atá i gceist. Sin é an riail: tomhais an dá chomhpháirt go neamhspleách le méadrachtaí ar leith, agus ná déan athrú ach ar cheann amháin tar éis duit a shainaithint cé acu ceann atá ag feidhmiú go dona.

Méadrachtaí Giniúna

Freagraíonn Dílseacht an cheist is tábhachtaí i dtáirgeadh: an bhfuil an freagra tacaite go hiomlán ag na doiciméid soláthraithe, nó an ndearna an tsamhail a roinnt féin a chur leis? In ionad scór domhanda a iarraidh—scór a bhronnann breithiúna ró-thairisceach de ghnáth—iabhair ar an mbreitheamh an freagra a bhriseadh síos éileamh ar éileamh agus gach ceann a aicmiú mar thacaite, gan tacaíocht, nó contrártha. Is é an catagóir dheireanach sin an ceann is luachmhaire: léiríonn éileamh a bhfuil contrárthacht ann leis an bhfoinse earráid i bhfad níos tromchúisí ná mainneachtain shimplí.

from openai import OpenAI

client = OpenAI()

def evaluate_faithfulness(
    question: str,
    answer: str,
    contexts: list[str]
) -> dict:
    """Evaluates whether the answer is faithful to the contexts."""
    full_context = "\n\n---\n\n".join(contexts)

    response = client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{
            "role": "user",
            "content": (
                f"Evaluate the faithfulness of this answer relative to the "
                f"source documents.\n\n"
                f"Source documents:\n{full_context}\n\n"
                f"Question: {question}\n\n"
                f"Answer: {answer}\n\n"
                f"For each claim in the answer, indicate:\n"
                f"- SUPPORTED: if confirmed by the documents\n"
                f"- UNSUPPORTED: if it does not appear in the documents\n"
                f"- CONTRADICTED: if it contradicts the documents\n\n"
                f"End with a global score from 0 to 1."
            )
        }],
        temperature=0
    )
    return {"evaluation": response.choices[0].message.content}

Is féidir le freagra a bheith dílis go hiomlán ach gan baint ar bith leis: d’fhéadfadh sé pasáiste a chóipeáil go dílis a phléann le rud eile ar fad. Is é sin a thomhaiseann ábharthacht an fhreagra, ag comparáid an fhreagra leis an gceist amháin an uair seo, gan na doiciméid. Socraíonn an leid scála sainráite—1.0 le haghaidh freagra iomlán, 0.7 le haghaidh freagra páirteach ach úsáideach, 0.3 do rud atá ar imeall, 0.0 do rud nach mbaineann leis an ábhar—mar go dtáirgeann breitheamh a iarrtar air ach “ráta ó 0 go 1” scóir éagobhsaí ó rith go rith.

def evaluate_relevance(question: str, answer: str) -> float:
    """Relevance score of the answer relative to the question."""
    response = client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{
            "role": "user",
            "content": (
                f"On a scale of 0 to 1, how well does this answer "
                f"address the question asked?\n\n"
                f"Question: {question}\n"
                f"Answer: {answer}\n\n"
                f"Criteria:\n"
                f"- 1.0: complete and precise answer\n"
                f"- 0.7: partial but useful answer\n"
                f"- 0.3: tangentially related\n"
                f"- 0.0: off-topic\n\n"
                f"Return only the numeric score."
            )
        }],
        temperature=0,
        max_tokens=10
    )
    try:
        return float(response.choices[0].message.content.strip())
    except ValueError:
        return 0.0

Ansin tá cruinneas comhthéacs, a dhéanann droichead idir an dá ais: as an gcúig dhoiciméad a chuir tú isteach sa leid, cé mhéad acu a úsáideadh i ndáiríre? Mura ndearna an freagra ar cheist faoi bheartais saoire ach tarraingt ar cheann amháin as an gcúig chunc, chaith na ceithre cinn eile buiséad comhthéacs agus chuir siad torann leis. Mar sin, iarrann tú ar an mbreitheamh faoi gach comhthéacs ar leithligh, le freagra simplí sea nó ní hea, agus ríomhann tú an chuid a bhí úsáideach.

def evaluate_context_precision(
    question: str,
    contexts: list[str],
    answer: str
) -> dict:
    """Evaluates which contexts were useful for the answer."""
    results = []

    for i, ctx in enumerate(contexts):
        response = client.chat.completions.create(
            model="gpt-5.6-terra",
            messages=[{
                "role": "user",
                "content": (
                    f"Was this document useful for answering "
                    f"the question?\n\n"
                    f"Question: {question}\n"
                    f"Document: {ctx[:500]}\n"
                    f"Generated answer: {answer}\n\n"
                    f"Answer YES or NO."
                )
            }],
            temperature=0,
            max_tokens=5
        )
        useful = "yes" in response.choices[0].message.content.lower()
        results.append({"index": i, "useful": useful})

    num_useful = sum(1 for r in results if r["useful"])
    return {
        "details": results,
        "precision": num_useful / len(contexts) if contexts else 0
    }

Creatlach Mheasúnaithe Iomlán

Níl feidhm ar bith leis na trí fheidhm seo fad is a fhanann siad láimhe. Is é an chéim chinntitheach ná iad a rith ar thacar seasta ceisteanna gach uair a athraíonn tú an phíblíne: sin é a thiontaíonn braistint bhoilg—“Sílim go bhfuil sé níos fearra ó d’athraigh mé an míreánú”—ina uimhir inchomparáide. Feidhmíonn an rang thíos an phíblíne ar gach mír sa tacar sonraí, bailíonn sé na scóir, agus filleann sé a meáin.

Féach ar an sampla tacair sonraí: dhá cheist HR, gach ceann acu le freagra ionchais agus aitheantóir na ndoiciméad ar chóir iad a aisghabháil. Tá fiche go caoga iontráil den chineál seo, scríofa uair amháin agus go deo ó cheisteanna fíor-úsáideoirí, leordhóthanach chun cúlú a bhrath.

class RAGEvaluator:
    def __init__(self, rag_pipeline):
        self.pipeline = rag_pipeline
        self.client = OpenAI()

    def evaluate_dataset(self, dataset: list[dict]) -> dict:
        """Evaluates the pipeline on a question-answer dataset.

        Each item: {question, expected_answer, relevant_docs}
        """
        results = {
            "faithfulness": [],
            "relevance": [],
            "context_precision": [],
        }

        for item in dataset:
            # Execute the pipeline
            output = self.pipeline.respond(item["question"])
            answer = output["answer"]
            contexts = [s["excerpt"] for s in output["sources"]]

            # Evaluate
            relevance = evaluate_relevance(item["question"], answer)
            results["relevance"].append(relevance)

            ctx_eval = evaluate_context_precision(
                item["question"], contexts, answer
            )
            results["context_precision"].append(ctx_eval["precision"])

        # Averages
        import numpy as np
        return {
            metric: round(float(np.mean(scores)), 4)
            for metric, scores in results.items()
        }

# Usage
dataset = [
    {
        "question": "How many leave days do I have?",
        "expected_answer": "25 days of paid leave per year",
        "relevant_docs": ["leave-policy"]
    },
    {
        "question": "Can I work remotely on Mondays?",
        "expected_answer": "Yes, remote work is allowed except on Tuesdays and Thursdays",
        "relevant_docs": ["remote-work-policy"]
    },
]

evaluator = RAGEvaluator(rag_pipeline)
metrics = evaluator.evaluate_dataset(dataset)
print("Results:")
for k, v in metrics.items():
    print(f"  {k}: {v}")

Deasc Léirithe Méadrachtaí

Seo iad na spriocanna ar chóir duit díriú orthu i gcóras táirgeachta, mar aon leis an méid a chiallaíonn gach uimhir i ndáiríre.

MéadrachtSpriocCad a thomhaiseann sé
Recall@5> 0.90An bhfuil na doiciméid chearta sna 5 is fearr?
Precision@5> 0.70An bhfuil na doiciméid a filladh ábhartha?
Dílseacht> 0.85An bhfuil an freagra dílis do na foinsí?
Ábharthacht Freagra> 0.80An bhfuil an freagra ag plé leis an gceist?
Cruinneas Comhthéacs> 0.60An bhfuil na comhthéacsanna soláthraithe úsáideach?

Léigh an tábla seo ó bharr go bun mar chrann diagnóiseach. Déanann cuimhne faoi 0.90 aon anailís ar na línte seo a leanas gan bhrí: deisigh an míreánú nó an t-innéacs ar dtús. Os a choinne sin, léiríonn cuimhne den scoth péireáilte le dílseacht lag go bhfuil an fhadhb sa leid giniúna, ní sa chuardach.

Príomhphointí

  • Déan measúnú ar aisghabháil (cuimhne, cruinneas) agus ar ghiniúint (dílseacht, ábharthacht) ar leithligh
  • Brathann Dílseacht hallúicinóidí LLM
  • Fíoraíonn Ábharthacht go bhfuil an freagra úsáideach
  • Tóg tacar sonraí tástála agus déan tomhas roimh gach athrú