Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Įvertinti RAG sistemą

Paskaita 15 iš 22 Atnaujinta 2026 m. liepos 29 d. Kūrėjas
Šiame puslapyje
  1. Tikslai
  2. Du vertinimo ašys
  3. Generavimo rodikliai
  4. Visavertė vertinimo sistema
  5. Rodiklių skydelis
  6. Svarbiausi punktai

Tikslai

  • Atskirai įvertinti paiešką ir generavimą
  • Įdiegti automatizuotus RAG kokybės rodiklius
  • Sukurti visavertę vertinimo sistemą

Du vertinimo ašys

RAG sistema gali žlugti dviem visiškai skirtingais būdais, ir jų painiojimas kainuos tau savaites. Arba paieškos žingsnis nepavyko rasti tinkamų dokumentų – tokiu atveju atsakymas klaidingas dėl priežasčių, nesusijusių su generavimo modeliu, ir tai diagnozuos 10 pamokos rodikliai – arba tinkami dokumentai buvo pateikti, bet generavimo žingsnis nukrypo: modelis išgalvojo detalę arba atsakė ne į tą klausimą, kuris buvo užduotas.

Kai vartotojas praneša „atsakymas klaidingas“, jis tau nepasakys, kuri iš dviejų priežasčių kaltė. Todėl taisyklė tokia: abu komponentus matuok atskirai, naudodamas skirtingus rodiklius, ir keisk tik vieną iš jų, kai nustatysi, kuris veikia prasčiau.

Generavimo rodikliai

Patikimumas (Faithfulness) atsako į svarbiausią klausimą gamyboje: ar atsakymas visiškai pagrįstas pateiktais dokumentais, ar modelis pridėjo savo interpretaciją? Vietoj to, kad prašytum bendro balo – kurį vertintojai linkę skirti per dosniai – paprašyk vertintojo išskaidyti atsakymą teiginiais ir kiekvieną klasifikuoti kaip pagrįstą, nepagrįstą arba paneigtą. Paskutinė kategorija yra vertingiausia: teiginys, prieštaraujantis šaltiniui, signalizuoja daug rimtesnę klaidą nei paprastas praleidimas.

from openai import OpenAI

client = OpenAI()

def evaluate_faithfulness(
    question: str,
    answer: str,
    contexts: list[str]
) -> dict:
    """Evaluates whether the answer is faithful to the contexts."""
    full_context = "\n\n---\n\n".join(contexts)

    response = client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{
            "role": "user",
            "content": (
                f"Evaluate the faithfulness of this answer relative to the "
                f"source documents.\n\n"
                f"Source documents:\n{full_context}\n\n"
                f"Question: {question}\n\n"
                f"Answer: {answer}\n\n"
                f"For each claim in the answer, indicate:\n"
                f"- SUPPORTED: if confirmed by the documents\n"
                f"- UNSUPPORTED: if it does not appear in the documents\n"
                f"- CONTRADICTED: if it contradicts the documents\n\n"
                f"End with a global score from 0 to 1."
            )
        }],
        temperature=0
    )
    return {"evaluation": response.choices[0].message.content}

Atsakymas gali būti tobulai patikimas, bet nenaudingas: jis gali tiksliai nukopijuoti ištrauką, kalbančią apie ką kita. Būtent tai matuoja atsakymo aktualumas (Answer Relevance), šį kartą lyginant atsakymą tik su klausimu, be dokumentų. Prompte nustatyta aiški skalė – 1,0 už pilną atsakymą, 0,7 už dalinį, bet naudingą, 0,3 už nutolusį, 0,0 už ne temą – nes vertintojo, kurio paprašyta tiesiog „įvertinti nuo 0 iki 1“, balai nuo vieno paleidimo iki kito būna nestabilūs.

def evaluate_relevance(question: str, answer: str) -> float:
    """Relevance score of the answer relative to the question."""
    response = client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{
            "role": "user",
            "content": (
                f"On a scale of 0 to 1, how well does this answer "
                f"address the question asked?\n\n"
                f"Question: {question}\n"
                f"Answer: {answer}\n\n"
                f"Criteria:\n"
                f"- 1.0: complete and precise answer\n"
                f"- 0.7: partial but useful answer\n"
                f"- 0.3: tangentially related\n"
                f"- 0.0: off-topic\n\n"
                f"Return only the numeric score."
            )
        }],
        temperature=0,
        max_tokens=10
    )
    try:
        return float(response.choices[0].message.content.strip())
    except ValueError:
        return 0.0

Tada yra konteksto tikslumas (Context Precision), kuris sujungia abi ašis: iš penkių dokumentų, kuriuos įterpei į promptą, kiek jų buvo iš tikrųjų panaudota? Jei atsakymas į klausimą apie atostogų politiką rėmėsi tik vienu iš penkių fragmentų, kiti keturi eikvojo konteksto biudžetą ir pridėjo triukšmo. Todėl klausi vertintojo apie kiekvieną kontekstą atskirai, paprastu „taip“ arba „ne“, ir apskaičiuoji naudingų dalį.

def evaluate_context_precision(
    question: str,
    contexts: list[str],
    answer: str
) -> dict:
    """Evaluates which contexts were useful for the answer."""
    results = []

    for i, ctx in enumerate(contexts):
        response = client.chat.completions.create(
            model="gpt-5.6-terra",
            messages=[{
                "role": "user",
                "content": (
                    f"Was this document useful for answering "
                    f"the question?\n\n"
                    f"Question: {question}\n"
                    f"Document: {ctx[:500]}\n"
                    f"Generated answer: {answer}\n\n"
                    f"Answer YES or NO."
                )
            }],
            temperature=0,
            max_tokens=5
        )
        useful = "yes" in response.choices[0].message.content.lower()
        results.append({"index": i, "useful": useful})

    num_useful = sum(1 for r in results if r["useful"])
    return {
        "details": results,
        "precision": num_useful / len(contexts) if contexts else 0
    }

Visavertė vertinimo sistema

Šios trys funkcijos yra nenaudingos, kol lieka rankinės. Lemiamas žingsnis – paleisti jas fiksuotam klausimų rinkiniui kiekvieną kartą, kai modifikuoji sistemą: būtent tai paverčia nuojautą „manau, kad pagerėjo pakeitus fragmentavimą“ į palyginamą skaičių. Toliau pateikta klasė vykdo sistemą su kiekvienu duomenų rinkinio elementu, surenka balus ir grąžina jų vidurkius.

Pažvelk į pavyzdinį duomenų rinkinį: du HR klausimai, kiekvienas su tikėtinu atsakymu ir dokumentų, kurie turėtų būti rasti, identifikatoriumi. Dvidešimt–penkiasdeštok tokio tipo įrašų, vieną kartą ir visiems laikams surašytų pagal tikrus vartotojų klausimus, pakanka regresijoms aptikti.

class RAGEvaluator:
    def __init__(self, rag_pipeline):
        self.pipeline = rag_pipeline
        self.client = OpenAI()

    def evaluate_dataset(self, dataset: list[dict]) -> dict:
        """Evaluates the pipeline on a question-answer dataset.

        Each item: {question, expected_answer, relevant_docs}
        """
        results = {
            "faithfulness": [],
            "relevance": [],
            "context_precision": [],
        }

        for item in dataset:
            # Execute the pipeline
            output = self.pipeline.respond(item["question"])
            answer = output["answer"]
            contexts = [s["excerpt"] for s in output["sources"]]

            # Evaluate
            relevance = evaluate_relevance(item["question"], answer)
            results["relevance"].append(relevance)

            ctx_eval = evaluate_context_precision(
                item["question"], contexts, answer
            )
            results["context_precision"].append(ctx_eval["precision"])

        # Averages
        import numpy as np
        return {
            metric: round(float(np.mean(scores)), 4)
            for metric, scores in results.items()
        }

# Usage
dataset = [
    {
        "question": "How many leave days do I have?",
        "expected_answer": "25 days of paid leave per year",
        "relevant_docs": ["leave-policy"]
    },
    {
        "question": "Can I work remotely on Mondays?",
        "expected_answer": "Yes, remote work is allowed except on Tuesdays and Thursdays",
        "relevant_docs": ["remote-work-policy"]
    },
]

evaluator = RAGEvaluator(rag_pipeline)
metrics = evaluator.evaluate_dataset(dataset)
print("Results:")
for k, v in metrics.items():
    print(f"  {k}: {v}")

Rodiklių skydelis

Štai tikslai, į kuriuos verta taikytis gamybos sistemoje, kartu su tuo, ką kiekvienas skaičius iš tikrųjų reiškia.

RodiklisTikslasKą matuoja
Recall@5> 0,90Ar tinkami dokumentai yra tarp 5 geriausių?
Precision@5> 0,70Ar grąžinti dokumentai yra aktualūs?
Patikimumas (Faithfulness)> 0,85Ar atsakymas ištikimas šaltiniams?
Atsakymo aktualumas> 0,80Ar atsakymas adresuoja klausimą?
Konteksto tikslumas> 0,60Ar pateikti kontekstai yra naudingi?

Skaityk šią lentelę iš viršaus į apačią kaip diagnostinį medį. „Recall“ žemiau 0,90 daro bet kokią tolesnių eilučių analizę beprasmę: pirmiausia tvarkyk fragmentavimą arba indeksą. Atvirkščiai, puikus „Recall“ kartu su prastu patikimumu rodo problemą generavimo prompte, o ne paieškoje.

Svarbiausi punktai

  • Atskirai vertink paiešką (recall, precision) ir generavimą (patikimumas, aktualumas)
  • Patikimumas aptinka LLM haliucinacijas
  • Aktualumas patikrina, ar atsakymas yra naudingas
  • Sukurk testų duomenų rinkinį ir matuok prieš kiekvieną pakeitimą