Lähe põhisisu juurde
Eesti— Vali keel
Menüü

RAG-i torustiku hindamine

Õppetund 15 / 22 Värskendatud 29. juuli 2026 Arendajatele
Sellel lehel
  1. Eesmärgid
  2. Hindamise kaks telge
  3. Genereerimise mõõdikud
  4. Terviklik hindamisraamistik
  5. Mõõdikute armatuurlaud
  6. Peamised punktid

Eesmärgid

  • Hinda otsingut ja genereerimist eraldi
  • Rakenda automatiseeritud RAG-i kvaliteedimõõdikud
  • Ehita terviklik hindamisraamistik

Hindamise kaks telge

RAG-i torustik võib nurjuda kahel väga erineval viisil ja nende segiajamine maksab sulle nädalaid. Kas otsingu samm ei leidnud õigeid dokumente – sel juhul on vastus vale põhjustel, mis ei ole seotud genereerimismudeliga, ja 10. õppetükis käsitletud mõõdikud aitavad seda diagnoosida – või olid õiged dokumendid olemas, kuid genereerimise samm läks rööbastelt maha: mudel leiutas detaili või vastas hoopis teisele küsimusele.

Kui kasutaja teatab, et „vastus on vale“, ei ütle ta sulle, kumb kahest põhjusest süüdi on. Seega reegel: mõõda mõlemat komponenti sõltumatult erinevate mõõdikute abil ja kohanda üht alles siis, kui oled tuvastanud, kumb neist ei tööta rahuldavalt.

Genereerimise mõõdikud

Usaldusväärsus (Faithfulness) vastab tootmiskeskkonnas kõige olulisemale küsimusele: kas vastus põhineb täielikult esitatud dokumentidel või lisas mudel midagi omalt poolt? Selle asemel, et küsida üldist hinnet – mida hindajad kipuvad liiga heldelt andma – palu hindajal lahutada vastus väideteks ja liigitada igaüks neist kui kinnitatud, kinnitamata või vastuoluline. Viimane kategooria on kõige väärtuslikum: väide, mis on allikaga vastuolus, annab märku palju tõsisemast veast kui lihtne väljajätmine.

from openai import OpenAI

client = OpenAI()

def evaluate_faithfulness(
    question: str,
    answer: str,
    contexts: list[str]
) -> dict:
    """Hindab, kas vastus on allikatega kooskõlas."""
    full_context = "\n\n---\n\n".join(contexts)

    response = client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{
            "role": "user",
            "content": (
                f"Evaluate the faithfulness of this answer relative to the "
                f"source documents.\n\n"
                f"Source documents:\n{full_context}\n\n"
                f"Question: {question}\n\n"
                f"Answer: {answer}\n\n"
                f"For each claim in the answer, indicate:\n"
                f"- SUPPORTED: if confirmed by the documents\n"
                f"- UNSUPPORTED: if it does not appear in the documents\n"
                f"- CONTRADICTED: if it contradicts the documents\n\n"
                f"End with a global score from 0 to 1."
            )
        }],
        temperature=0
    )
    return {"evaluation": response.choices[0].message.content}

Vastus võib olla täiuslikult usaldusväärne, kuid kasutu: see võib täpselt kopeerida lõigu, mis käsitleb hoopis midagi muud. Seda mõõdab vastuse asjakohasus (Answer Relevance), võrreldes seekord vastust ainult küsimusega, ilma dokumentideta. Viip sisaldab selget skaalat – 1,0 täieliku vastuse eest, 0,7 osalise kuid kasuliku vastuse eest, 0,3 kõrvalise seose eest, 0,0 teemast kõrvalekaldumise eest – sest hindaja, kellelt palutakse lihtsalt „hinnata 0-st 1-ni“, annab ühest käivitusest teise ebastabiilseid hindeid.

def evaluate_relevance(question: str, answer: str) -> float:
    """Vastuse asjakohasuse hinne võrreldes küsimusega."""
    response = client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{
            "role": "user",
            "content": (
                f"On a scale of 0 to 1, how well does this answer "
                f"address the question asked?\n\n"
                f"Question: {question}\n"
                f"Answer: {answer}\n\n"
                f"Criteria:\n"
                f"- 1.0: complete and precise answer\n"
                f"- 0.7: partial but useful answer\n"
                f"- 0.3: tangentially related\n"
                f"- 0.0: off-topic\n\n"
                f"Return only the numeric score."
            )
        }],
        temperature=0,
        max_tokens=10
    )
    try:
        return float(response.choices[0].message.content.strip())
    except ValueError:
        return 0.0

Seejärel tuleb konteksti täpsus (Context Precision), mis ühendab neid kahte telge: kui paljud viiest dokumendist, mille sisestasid viipa, tegelikult kasutusele võeti? Kui vastus puhkusepoliitikat käsitlevale küsimusele tugines ainult ühele viiest tükist, siis tarbisid ülejäänud neli konteksti mahtu ja lisasid müra. Seega küsid hindajalt iga konteksti kohta eraldi lihtsa jah või ei ja arvutad kasulike osakaalu.

def evaluate_context_precision(
    question: str,
    contexts: list[str],
    answer: str
) -> dict:
    """Hindab, millised kontekstid olid vastuse jaoks kasulikud."""
    results = []

    for i, ctx in enumerate(contexts):
        response = client.chat.completions.create(
            model="gpt-5.6-terra",
            messages=[{
                "role": "user",
                "content": (
                    f"Was this document useful for answering "
                    f"the question?\n\n"
                    f"Question: {question}\n"
                    f"Document: {ctx[:500]}\n"
                    f"Generated answer: {answer}\n\n"
                    f"Answer YES or NO."
                )
            }],
            temperature=0,
            max_tokens=5
        )
        useful = "yes" in response.choices[0].message.content.lower()
        results.append({"index": i, "useful": useful})

    num_useful = sum(1 for r in results if r["useful"])
    return {
        "details": results,
        "precision": num_useful / len(contexts) if contexts else 0
    }

Terviklik hindamisraamistik

Need kolm funktsiooni on kasutud, kui need jäävad käsitsi tehtavaks. Otsustav samm on käivitada need iga kord, kui torustikku muudad, fikseeritud küsimuste komplektiga: just see muudab sisetunde – „ma arvan, et pärast tükeldamise muutmist on see parem“ – võrreldavaks numbriks. Allpool olev klass käivitab torustiku iga andmestiku elemendi jaoks, kogub hinded ja tagastab nende keskmised väärtused.

Vaata näidisandmestikku: kaks personaliküsimust, millest igaühel on oodatav vastus ja nende dokumentide identifikaator, mis tuleks leida. Kakskümmend kuni viiskümmend sellist kirjet, mis on kirjutatud üks kord ja igaveseks reaalsete kasutajaküsimuste põhjal, piisab taandumiste tuvastamiseks.

class RAGEvaluator:
    def __init__(self, rag_pipeline):
        self.pipeline = rag_pipeline
        self.client = OpenAI()

    def evaluate_dataset(self, dataset: list[dict]) -> dict:
        """Hindab torustikku küsimuste-vastuste andmestikul.

        Iga element: {question, expected_answer, relevant_docs}
        """
        results = {
            "faithfulness": [],
            "relevance": [],
            "context_precision": [],
        }

        for item in dataset:
            # Käivita torustik
            output = self.pipeline.respond(item["question"])
            answer = output["answer"]
            contexts = [s["excerpt"] for s in output["sources"]]

            # Hinda
            relevance = evaluate_relevance(item["question"], answer)
            results["relevance"].append(relevance)

            ctx_eval = evaluate_context_precision(
                item["question"], contexts, answer
            )
            results["context_precision"].append(ctx_eval["precision"])

        # Keskmised
        import numpy as np
        return {
            metric: round(float(np.mean(scores)), 4)
            for metric, scores in results.items()
        }

# Kasutamine
dataset = [
    {
        "question": "How many leave days do I have?",
        "expected_answer": "25 days of paid leave per year",
        "relevant_docs": ["leave-policy"]
    },
    {
        "question": "Can I work remotely on Mondays?",
        "expected_answer": "Yes, remote work is allowed except on Tuesdays and Thursdays",
        "relevant_docs": ["remote-work-policy"]
    },
]

evaluator = RAGEvaluator(rag_pipeline)
metrics = evaluator.evaluate_dataset(dataset)
print("Results:")
for k, v in metrics.items():
    print(f"  {k}: {v}")

Mõõdikute armatuurlaud

Siin on sihid, mida tootmiskeskkonnas taotleda, koos selgitusega, mida iga number tegelikult tähendab.

MõõdikSihtMida mõõdab
Recall@5> 0,90Kas õiged dokumendid on esimese 5 seas?
Precision@5> 0,70Kas tagastatud dokumendid on asjakohased?
Usaldusväärsus> 0,85Kas vastus on allikatega kooskõlas?
Vastuse asjakohasus> 0,80Kas vastus käsitleb küsimust?
Konteksti täpsus> 0,60Kas pakutud kontekstid on kasulikud?

Loe seda tabelit ülevalt alla kui diagnostilist puud. Alla 0,90 jääv täielikkus (recall) muudab järgmiste ridade analüüsi mõttetuks: paranda esmalt tükeldamist või indeksit. Vastupidi, suurepärane täielikkus koos halva usaldusväärsusega viitab genereerimise viibale, mitte otsingule.

Peamised punktid

  • Hinda otsingut (täielikkus, täpsus) ja genereerimist (usaldusväärsus, asjakohasus) eraldi
  • Usaldusväärsus tuvastab LLM-i hallutsinatsioone
  • Asjakohasus kontrollib, kas vastus on kasulik
  • Ehita testandmestik ja mõõda enne iga muudatust