Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Vyhodnotenie pipeline RAG

Lekcia 15 z 22 Aktualizované 29. júla 2026 Vývojár
Na tejto strane
  1. Ciele
  2. Dve osi vyhodnocovania
  3. Metriky generovania
  4. Kompletný rámec pre vyhodnocovanie
  5. Dashboard metrík
  6. Kľúčové poznatky

Ciele

  • Vyhodnotiť vyhľadávanie a generovanie oddelene
  • Implementovať automatizované metriky kvality RAG
  • Vytvoriť kompletný rámec pre vyhodnocovanie

Dve osi vyhodnocovania

Pipeline RAG zlyháva dvoma veľmi odlišnými spôsobmi a ich zámena ťa bude stáť týždne práce. Buď zlyhal krok vyhľadávania pri hľadaní správnych dokumentov – v takom prípade je odpoveď nesprávna z dôvodov nesúvisiacich s modelom generovania a metriky z Lekcie 10 to diagnostikujú – alebo boli správne dokumenty prítomné, ale krok generovania sa vymkol kontrole: model si vymyslel detail alebo odpovedal na inú otázku, než bola položená.

Keď používateľ nahlási „odpoveď je nesprávna“, nepovie ti, ktorá z týchto dvoch príčin je na vine. Preto platí pravidlo: meraj obe zložky nezávisle pomocou odlišných metrík a upravuj vždy len jednu potom, čo identifikuješ, ktorá z nich podáva slabý výkon.

Metriky generovania

Vernosť (Faithfulness) odpovedá na otázku, ktorá je vo výrobe najdôležitejšia: je odpoveď úplne podložená poskytnutými dokumentmi, alebo si model pridal niečo od seba? Namiesto žiadosti o globálne skóre – ktoré hodnotitelia prideľujú príliš štedro – nechaj hodnotiteľa rozobrať odpoveď tvrdenie po tvrdení a každé klasifikovať ako podložené, nepodložené alebo vyvrátené. Tá posledná kategória je najcennejšia: tvrdenie, ktoré je v rozpore so zdrojom, signalizuje oveľa vážnejšiu chybu než jednoduché vynechanie.

from openai import OpenAI

client = OpenAI()

def evaluate_faithfulness(
    question: str,
    answer: str,
    contexts: list[str]
) -> dict:
    """Evaluates whether the answer is faithful to the contexts."""
    full_context = "\n\n---\n\n".join(contexts)

    response = client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{
            "role": "user",
            "content": (
                f"Evaluate the faithfulness of this answer relative to the "
                f"source documents.\n\n"
                f"Source documents:\n{full_context}\n\n"
                f"Question: {question}\n\n"
                f"Answer: {answer}\n\n"
                f"For each claim in the answer, indicate:\n"
                f"- SUPPORTED: if confirmed by the documents\n"
                f"- UNSUPPORTED: if it does not appear in the documents\n"
                f"- CONTRADICTED: if it contradicts the documents\n\n"
                f"End with a global score from 0 to 1."
            )
        }],
        temperature=0
    )
    return {"evaluation": response.choices[0].message.content}

Odpoveď môže byť dokonale verná, no zároveň zbytočná: môže verně kopírovať pasáž, ktorá sa týka niečoho iného. To meria relevantnosť odpovede, pričom tentoraz porovnáva odpoveď len s otázkou, bez dokumentov. Prompt stanovuje explicitnú škálu – 1,0 za úplnú odpoveď, 0,7 za čiastočnú, ale užitočnú odpoveď, 0,3 za okrajovú súvislosť, 0,0 za odchýlenie od témy – pretože hodnotiteľ požiadaný jednoducho o „hodnotenie od 0 do 1“ produkuje nestabilné skóre od jedného spustenia k druhému.

def evaluate_relevance(question: str, answer: str) -> float:
    """Relevance score of the answer relative to the question."""
    response = client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{
            "role": "user",
            "content": (
                f"On a scale of 0 to 1, how well does this answer "
                f"address the question asked?\n\n"
                f"Question: {question}\n"
                f"Answer: {answer}\n\n"
                f"Criteria:\n"
                f"- 1.0: complete and precise answer\n"
                f"- 0.7: partial but useful answer\n"
                f"- 0.3: tangentially related\n"
                f"- 0.0: off-topic\n\n"
                f"Return only the numeric score."
            )
        }],
        temperature=0,
        max_tokens=10
    )
    try:
        return float(response.choices[0].message.content.strip())
    except ValueError:
        return 0.0

Potom tu máme presnosť kontextu (context precision), ktorá spája obe osi: koľko z piatich dokumentov, ktoré si vložil do promptu, bolo skutočne použitých? Ak odpoveď na otázku o zásadách dovolenky čerpala len z jedného z piatich chunkov, ostatné štyri spotrebovali kontextový rozpočet a pridali šum. Preto sa hodnotiteľa pýtaš na každý kontext izolovane, s jednoduchým áno alebo nie, a vypočítaš podiel tých, ktoré boli užitočné.

def evaluate_context_precision(
    question: str,
    contexts: list[str],
    answer: str
) -> dict:
    """Evaluates which contexts were useful for the answer."""
    results = []

    for i, ctx in enumerate(contexts):
        response = client.chat.completions.create(
            model="gpt-5.6-terra",
            messages=[{
                "role": "user",
                "content": (
                    f"Was this document useful for answering "
                    f"the question?\n\n"
                    f"Question: {question}\n"
                    f"Document: {ctx[:500]}\n"
                    f"Generated answer: {answer}\n\n"
                    f"Answer YES or NO."
                )
            }],
            temperature=0,
            max_tokens=5
        )
        useful = "yes" in response.choices[0].message.content.lower()
        results.append({"index": i, "useful": useful})

    num_useful = sum(1 for r in results if r["useful"])
    return {
        "details": results,
        "precision": num_useful / len(contexts) if contexts else 0
    }

Kompletný rámec pre vyhodnocovanie

Tieto tri funkcie sú zbytočné, pokiaľ zostanú manuálne. Rozhodujúcim krokom je spustiť ich pri každej úprave pipeline na pevnej množine otázok: práve to mení pocit typu „myslím, že je to lepšie, odkedy som zmenil chunkovanie“ na porovnateľné číslo. Nižšie uvedená trieda execute pipeline na každej položke v dátovej sade, zbiera skóre a vracia ich priemery.

Pozri sa na príkladový dataset: dve otázky z oblasti HR, každá s očakávanou odpoveďou a identifikátorom dokumentov, ktoré by sa mali vyhľadať. Dvadsať až päťdesiat takýchto entries, napísaných raz a navždy na základe reálnych otázok používateľov, stačí na odhalenie regresie.

class RAGEvaluator:
    def __init__(self, rag_pipeline):
        self.pipeline = rag_pipeline
        self.client = OpenAI()

    def evaluate_dataset(self, dataset: list[dict]) -> dict:
        """Evaluates the pipeline on a question-answer dataset.

        Each item: {question, expected_answer, relevant_docs}
        """
        results = {
            "faithfulness": [],
            "relevance": [],
            "context_precision": [],
        }

        for item in dataset:
            # Execute the pipeline
            output = self.pipeline.respond(item["question"])
            answer = output["answer"]
            contexts = [s["excerpt"] for s in output["sources"]]

            # Evaluate
            relevance = evaluate_relevance(item["question"], answer)
            results["relevance"].append(relevance)

            ctx_eval = evaluate_context_precision(
                item["question"], contexts, answer
            )
            results["context_precision"].append(ctx_eval["precision"])

        # Averages
        import numpy as np
        return {
            metric: round(float(np.mean(scores)), 4)
            for metric, scores in results.items()
        }

# Usage
dataset = [
    {
        "question": "How many leave days do I have?",
        "expected_answer": "25 days of paid leave per year",
        "relevant_docs": ["leave-policy"]
    },
    {
        "question": "Can I work remotely on Mondays?",
        "expected_answer": "Yes, remote work is allowed except on Tuesdays and Thursdays",
        "relevant_docs": ["remote-work-policy"]
    },
]

evaluator = RAGEvaluator(rag_pipeline)
metrics = evaluator.evaluate_dataset(dataset)
print("Results:")
for k, v in metrics.items():
    print(f"  {k}: {v}")

Dashboard metrík

Tu sú ciele, na ktoré by si mal v produkčnom systéme mieriť, spolu s vysvetlením, čo každé číslo vlastne znamená.

MetrikaCieľČo meria
Recall@5> 0,90Sú správne dokumenty v top 5?
Precision@5> 0,70Sú vrátené dokumenty relevantné?
Vernosť (Faithfulness)> 0,85Je odpoveď verná zdrojom?
Relevantnosť odpovede> 0,80Odpovedá odpoveď na otázku?
Presnosť kontextu> 0,60Sú poskytnuté kontexty užitočné?

Čítaj túto tabuľku zhora nadol ako diagnostický strom. Recall pod 0,90 robí akúkoľvek analýzu nasledujúcich riadkov bezpredmetnou: najprv oprav chunkovanie alebo index. Naopak, vynikajúci recall v kombinácii so slabou vernosťou ukazuje na prompt pre generovanie, nie na vyhľadávanie.

Kľúčové poznatky

  • Vyhodnocuj vyhľadávanie (recall, precision) a generovanie (vernosť, relevantnosť) oddelene
  • Vernosť odhaľuje halucinácie LLM
  • Relevantnosť overuje, či je odpoveď užitočná
  • Vytvor testovací dataset a meraj pred každou zmenou