Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Novērtē RAG cauruļvadu

Nodarbība 15 no 22 Atjaunota 2026. gada 29. jūlijs Programmētājs
Šajā lapā
  1. Mērķi
  2. Divas novērtēšanas asis
  3. Ģenerēšanas rādītāji
  4. Pilna novērtēšanas sistēma
  5. Rādītāju panelis
  6. Galvenās atziņas

Mērķi

  • Novērtē iegūšanu un ģenerēšanu atsevišķi
  • Ievies automatizētus RAG kvalitātes rādītājus
  • Izveido pilnu novērtēšanas sistēmu

Divas novērtēšanas asis

RAG cauruļvads var izgāzties divos ļoti atšķirīgos veidos, un to sajaukšana tev izmaksās nedēļas. Vai nu iegūšanas solis neatrada pareizos dokumentus — tādā gadījumā atbilde ir nepareiza iemeslu dēļ, kas nav saistīti ar ģenerēšanas modeli, un 10. nodarbības rādītāji to diagnosticēs —, vai arī pareizie dokumenti bija klāt, bet ģenerēšanas solis nogāja greizi: modelis izgudroja detaļu vai atbildēja uz citu jautājumu, nevis uz to, kas tika uzdots.

Kad lietotājs ziņo, ka “atbilde ir nepareiza”, viņš tev nepateiks, kurš no abiem iemesliem ir vainīgs. Tāpēc noteikums ir šāds: mēri abas komponentes neatkarīgi, izmantojot atšķirīgus rādītājus, un koriģē tikai vienu no tām pēc tam, kad esi identificējis, kura no tām nedarbojas pietiekami labi.

Ģenerēšanas rādītāji

Uzticamība (Faithfulness) atbild uz vissvarīgāko jautājumu ražošanas vidē: vai atbilde ir pilnībā pamatota ar sniegtajiem dokumentiem, vai modelis ir pievienojis savu interpretāciju? Tā vietā, lai prasītu vispārēju vērtējumu — ko vērtētāji mēdz piešķirt pārāk dāsni — liec vērtētājam sadalīt atbildi apgalvojumos un klasificēt katru no tiem kā pamatotu, nepamatotu vai pretrunīgu. Pēdējā kategorija ir visvērtīgākā: apgalvojums, kas ir pretrunā ar avotu, liecina par daudz nopietnāku kļūdu nekā vienkārša izlaidība.

from openai import OpenAI

client = OpenAI()

def evaluate_faithfulness(
    question: str,
    answer: str,
    contexts: list[str]
) -> dict:
    """Evaluates whether the answer is faithful to the contexts."""
    full_context = "\n\n---\n\n".join(contexts)

    response = client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{
            "role": "user",
            "content": (
                f"Evaluate the faithfulness of this answer relative to the "
                f"source documents.\n\n"
                f"Source documents:\n{full_context}\n\n"
                f"Question: {question}\n\n"
                f"Answer: {answer}\n\n"
                f"For each claim in the answer, indicate:\n"
                f"- SUPPORTED: if confirmed by the documents\n"
                f"- UNSUPPORTED: if it does not appear in the documents\n"
                f"- CONTRADICTED: if it contradicts the documents\n\n"
                f"End with a global score from 0 to 1."
            )
        }],
        temperature=0
    )
    return {"evaluation": response.choices[0].message.content}

Atbilde var būt pilnīgi uzticama, taču bezjēdzīga: tā var precīzi kopēt fragmentu, kas attiecas uz kaut ko citu. To mēra atbildes atbilstība (Answer Relevance), šoreiz salīdzinot atbildi tikai ar jautājumu, bez dokumentiem. Promptā ir noteikta skaidra skala — 1,0 par pilnīgu atbildi, 0,7 par daļēju, bet noderīgu atbildi, 0,3 par mazsaistīgu, 0,0 par neatbilstošu tēmai —, jo vērtētājs, kuram vienkārši lūdz “novērtēt no 0 līdz 1”, sniedz nestabilus rezultātus no viena gājiena uz otru.

def evaluate_relevance(question: str, answer: str) -> float:
    """Relevance score of the answer relative to the question."""
    response = client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{
            "role": "user",
            "content": (
                f"On a scale of 0 to 1, how well does this answer "
                f"address the question asked?\n\n"
                f"Question: {question}\n"
                f"Answer: {answer}\n\n"
                f"Criteria:\n"
                f"- 1.0: complete and precise answer\n"
                f"- 0.7: partial but useful answer\n"
                f"- 0.3: tangentially related\n"
                f"- 0.0: off-topic\n\n"
                f"Return only the numeric score."
            )
        }],
        temperature=0,
        max_tokens=10
    )
    try:
        return float(response.choices[0].message.content.strip())
    except ValueError:
        return 0.0

Tad ir konteksta precizitāte (Context Precision), kas savieno abas asis: cik no pieciem dokumentiem, kurus ievietoji promptā, tika faktiski izmantoti? Ja atbilde uz jautājumu par atvaļinājuma politiku izmantoja tikai vienu no pieciem fragmentiem, pārējie četri iztērēja konteksta budžetu un radīja troksni. Tāpēc tu jautā vērtētājam par katru kontekstu atsevišķi ar vienkāršu “jā” vai “nē” un aprēķini to daļu, kas bija noderīgi.

def evaluate_context_precision(
    question: str,
    contexts: list[str],
    answer: str
) -> dict:
    """Evaluates which contexts were useful for the answer."""
    results = []

    for i, ctx in enumerate(contexts):
        response = client.chat.completions.create(
            model="gpt-5.6-terra",
            messages=[{
                "role": "user",
                "content": (
                    f"Was this document useful for answering "
                    f"the question?\n\n"
                    f"Question: {question}\n"
                    f"Document: {ctx[:500]}\n"
                    f"Generated answer: {answer}\n\n"
                    f"Answer YES or NO."
                )
            }],
            temperature=0,
            max_tokens=5
        )
        useful = "yes" in response.choices[0].message.content.lower()
        results.append({"index": i, "useful": useful})

    num_useful = sum(1 for r in results if r["useful"])
    return {
        "details": results,
        "precision": num_useful / len(contexts) if contexts else 0
    }

Pilna novērtēšanas sistēma

Šīs trīs funkcijas ir bezjēdzīgas, kamēr tās paliek manuālas. Izšķirošais solis ir palaist tās uz fiksēta jautājumu kopuma ik reizi, kad modificē cauruļvadu: tieši tas pārvērš nojausmu — “man šķiet, ka tas ir labāk kopš mainīju fragmentāciju” — salīdzināmā skaitlī. Tālāk redzamā klase izpilda cauruļvadu katram datu kopas elementam, apkopo rezultātus un atgriež to vidējās vērtības.

Aplūko piemēra datu kopu: divi HR jautājumi, katram ar paredzamo atbildi un to dokumentu identifikatoriem, kuriem būtu jābūt iegūtiem. Divdesmit līdz piecdesmit šāda veida ieraksti, rakstīti vienreiz un uz visiem laikiem, balstoties uz reāliem lietotāju jautājumiem, ir pietiekami, lai noteiktu regresijas.

class RAGEvaluator:
    def __init__(self, rag_pipeline):
        self.pipeline = rag_pipeline
        self.client = OpenAI()

    def evaluate_dataset(self, dataset: list[dict]) -> dict:
        """Evaluates the pipeline on a question-answer dataset.

        Each item: {question, expected_answer, relevant_docs}
        """
        results = {
            "faithfulness": [],
            "relevance": [],
            "context_precision": [],
        }

        for item in dataset:
            # Execute the pipeline
            output = self.pipeline.respond(item["question"])
            answer = output["answer"]
            contexts = [s["excerpt"] for s in output["sources"]]

            # Evaluate
            relevance = evaluate_relevance(item["question"], answer)
            results["relevance"].append(relevance)

            ctx_eval = evaluate_context_precision(
                item["question"], contexts, answer
            )
            results["context_precision"].append(ctx_eval["precision"])

        # Averages
        import numpy as np
        return {
            metric: round(float(np.mean(scores)), 4)
            for metric, scores in results.items()
        }

# Usage
dataset = [
    {
        "question": "How many leave days do I have?",
        "expected_answer": "25 days of paid leave per year",
        "relevant_docs": ["leave-policy"]
    },
    {
        "question": "Can I work remotely on Mondays?",
        "expected_answer": "Yes, remote work is allowed except on Tuesdays and Thursdays",
        "relevant_docs": ["remote-work-policy"]
    },
]

evaluator = RAGEvaluator(rag_pipeline)
metrics = evaluator.evaluate_dataset(dataset)
print("Results:")
for k, v in metrics.items():
    print(f"  {k}: {v}")

Rādītāju panelis

Šeit ir mērķi, uz kuriem tiekties ražošanas sistēmā, kopā ar skaidrojumu, ko katrs skaitlis patiesībā nozīmē.

RādītājsMērķisKo tas mēra
Recall@5> 0,90Vai pareizie dokumenti ir top 5?
Precision@5> 0,70Vai atgrieztie dokumenti ir atbilstoši?
Uzticamība> 0,85Vai atbilde ir uzticama avotiem?
Atbildes atbilstība> 0,80Vai atbilde risina uzdoto jautājumu?
Konteksta precizitāte> 0,60Vai sniegtie konteksti ir noderīgi?

Lasi šo tabulu no augšas uz leju kā diagnostikas koku. Atmiņa (Recall) zem 0,90 padara jebkādu turpmāko rindu analīzi bezjēdzīgu: vispirms sakārto fragmentāciju vai indeksu. Turpretī izcila atmiņa apvienojumā ar sliktu uzticamību norāda uz ģenerēšanas promptu, nevis meklēšanu.

Galvenās atziņas

  • Novērtē iegūšanu (atmiņa, precizitāte) un ģenerēšanu (uzticamība, atbilstība) atsevišķi
  • Uzticamība atklāj LLM halucinācijas
  • Atbilstība pārbauda, vai atbilde ir noderīga
  • Izveido testu datu kopu un veic mērījumus pirms katras izmaiņas