Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Egy RAG folyamat kiértékelése

15. lecke 22 közül Frissítve 2026. július 29. Fejlesztő
Ezen az oldalon
  1. Célok
  2. A kiértékelés két tengelye
  3. Generálási mutatók
  4. Teljes kiértékelési keretrendszer
  5. Mutatószámok irányítópultja
  6. Főbb megállapítások

Célok

  • A visszakeresés és a szöveggenerálás külön-külön történő kiértékelése
  • Automatizált RAG minőségi mutatók bevezetése
  • Teljes kiértékelési keretrendszer felépítése

A kiértékelés két tengelye

Egy RAG folyamat kétféle, egymástól gyökeresen eltérő módon bukhat meg, és ha összekevered ezeket, heteket veszítesz. Vagy a visszakeresési lépés nem találta meg a megfelelő dokumentumokat – ekkor a válasz hibás, de ennek semmi köze a generáló modellhez, és a 10. leckében tárgyalt mutatók diagnosztizálják ezt –, vagy a megfelelő dokumentumok jelen voltak, de a generálási lépés ment félre: a modell kitalált egy részletet, vagy más kérdésre válaszolt, mint amit feltettek neki.

Amikor egy felhasználó azt jelzi, hogy „a válasz hibás“, nem fogja megmondani, hogy a két ok közül melyik áll fenn. Ezért az alapszabály: mindkét komponenst függetlenül mérd, eltérő mutatókkal, és csak akkor módosíts valamit, ha már azonosítottad, melyik teljesít rosszul.

Generálási mutatók

A hűség (faithfulness) azt a kérdést válaszolja meg, amely a legfontosabb éles környezetben: a válasz teljes mértékben alátámasztható a megadott dokumentumok alapján, vagy a modell saját színezetet adott hozzá? Ahelyett, hogy egy globális pontszámot kérnél – amit az értékelők túl nagylelkűen szoktak megadni –, kérd meg az értékelőt, hogy állításról állításra bontsa fel a választ, és minősítse mindegyiket mint alátámasztott, nem alátámasztott vagy ellentmondó. Ez utóbbi kategória a legértékesebb: egy olyan állítás, amely ellentmond a forrásnak, sokkal súlyosabb hibát jelez, mint egy egyszerű kihagyás.

from openai import OpenAI

client = OpenAI()

def evaluate_faithfulness(
    question: str,
    answer: str,
    contexts: list[str]
) -> dict:
    """Evaluates whether the answer is faithful to the contexts."""
    full_context = "\n\n---\n\n".join(contexts)

    response = client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{
            "role": "user",
            "content": (
                f"Evaluate the faithfulness of this answer relative to the "
                f"source documents.\n\n"
                f"Source documents:\n{full_context}\n\n"
                f"Question: {question}\n\n"
                f"Answer: {answer}\n\n"
                f"For each claim in the answer, indicate:\n"
                f"- SUPPORTED: if confirmed by the documents\n"
                f"- UNSUPPORTED: if it does not appear in the documents\n"
                f"- CONTRADICTED: if it contradicts the documents\n\n"
                f"End with a global score from 0 to 1."
            )
        }],
        temperature=0
    )
    return {"evaluation": response.choices[0].message.content}

Egy válasz lehet tökéletesen hűséges, mégis haszontalan: például hűen másolhat egy olyan szakaszt, amely valami mással foglalkozik. Ezt méri a válasz relevanciája, amely ezúttal kizárólag a választ hasonlítja össze a kérdéssel, a dokumentumok nélkül. A prompt egy explicit skálát határoz meg – 1,0 a teljes válaszért, 0,7 a részleges, de hasznos válaszért, 0,3 a tangenciális kapcsolatért, 0,0 pedig az off-topic válaszért –, mert ha az értékelőt csupán arra kéred, hogy „osztályozzon 0 és 1 között“, az futtatásról futtatásra instabil pontszámokat eredményez.

def evaluate_relevance(question: str, answer: str) -> float:
    """Relevance score of the answer relative to the question."""
    response = client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{
            "role": "user",
            "content": (
                f"On a scale of 0 to 1, how well does this answer "
                f"address the question asked?\n\n"
                f"Question: {question}\n"
                f"Answer: {answer}\n\n"
                f"Criteria:\n"
                f"- 1.0: complete and precise answer\n"
                f"- 0.7: partial but useful answer\n"
                f"- 0.3: tangentially related\n"
                f"- 0.0: off-topic\n\n"
                f"Return only the numeric score."
            )
        }],
        temperature=0,
        max_tokens=10
    )
    try:
        return float(response.choices[0].message.content.strip())
    except ValueError:
        return 0.0

Aztán ott van a kontextus precizitása, amely hidat képez a két tengely között: az öt dokumentum közül, amelyet beillesztettél a promptba, hányat használt fel ténylegesen a modell? Ha például a szabadságolási politikára vonatkozó kérdésre adott válasz csak az öt blokk közül egyet használt fel, a másik négy csak elpazarolta a kontextus-keretet és zajt adott hozzá. Ezért kérd meg az értékelőt, hogy minden kontextusról külön-külön, egyszerű igen/nem válasszal döntsön, majd számítsd ki a hasznosak arányát.

def evaluate_context_precision(
    question: str,
    contexts: list[str],
    answer: str
) -> dict:
    """Evaluates which contexts were useful for the answer."""
    results = []

    for i, ctx in enumerate(contexts):
        response = client.chat.completions.create(
            model="gpt-5.6-terra",
            messages=[{
                "role": "user",
                "content": (
                    f"Was this document useful for answering "
                    f"the question?\n\n"
                    f"Question: {question}\n"
                    f"Document: {ctx[:500]}\n"
                    f"Generated answer: {answer}\n\n"
                    f"Answer YES or NO."
                )
            }],
            temperature=0,
            max_tokens=5
        )
        useful = "yes" in response.choices[0].message.content.lower()
        results.append({"index": i, "useful": useful})

    num_useful = sum(1 for r in results if r["useful"])
    return {
        "details": results,
        "precision": num_useful / len(contexts) if contexts else 0
    }

Teljes kiértékelési keretrendszer

Ez a három függvény addig haszontalan, amíg manuálisan futtatod őket. A döntő lépés az, hogy minden egyes pipeline-módosítás után lefuttasd őket egy rögzített kérdéshalmazon: ez változtatja át a megérzést – „szerintem jobb lett a darabolás módosítása óta“ – összehasonlítható számmá. Az alábbi osztály végigfuttatja a pipeline-t az adathalmaz minden elemén, összegyűjti a pontszámokat, majd visszaadja az átlagukat.

Nézd meg a példa adathalmazt: két HR-kérdés, mindegyikhez egy várt válasszal és a visszakeresendő dokumentumok azonosítójával. Húsz-ötven ilyen típusú bejegyzés, amelyet egyszer és mindenkorra valós felhasználói kérdések alapján írsz meg, elegendő a regressziók észleléséhez.

class RAGEvaluator:
    def __init__(self, rag_pipeline):
        self.pipeline = rag_pipeline
        self.client = OpenAI()

    def evaluate_dataset(self, dataset: list[dict]) -> dict:
        """Evaluates the pipeline on a question-answer dataset.

        Each item: {question, expected_answer, relevant_docs}
        """
        results = {
            "faithfulness": [],
            "relevance": [],
            "context_precision": [],
        }

        for item in dataset:
            # Execute the pipeline
            output = self.pipeline.respond(item["question"])
            answer = output["answer"]
            contexts = [s["excerpt"] for s in output["sources"]]

            # Evaluate
            relevance = evaluate_relevance(item["question"], answer)
            results["relevance"].append(relevance)

            ctx_eval = evaluate_context_precision(
                item["question"], contexts, answer
            )
            results["context_precision"].append(ctx_eval["precision"])

        # Averages
        import numpy as np
        return {
            metric: round(float(np.mean(scores)), 4)
            for metric, scores in results.items()
        }

# Usage
dataset = [
    {
        "question": "How many leave days do I have?",
        "expected_answer": "25 days of paid leave per year",
        "relevant_docs": ["leave-policy"]
    },
    {
        "question": "Can I work remotely on Mondays?",
        "expected_answer": "Yes, remote work is allowed except on Tuesdays and Thursdays",
        "relevant_docs": ["remote-work-policy"]
    },
]

evaluator = RAGEvaluator(rag_pipeline)
metrics = evaluator.evaluate_dataset(dataset)
print("Results:")
for k, v in metrics.items():
    print(f"  {k}: {v}")

Mutatószámok irányítópultja

Íme azok a célok, amelyekre egy éles rendszerben törekedned kell, valamint annak magyarázata, mit is jelent valójában minden egyes szám.

MutatóCélMit mér
Recall@5> 0,90Benne vannak a megfelelő dokumentumok az első 5-ben?
Precision@5> 0,70Relevánsak a visszaadott dokumentumok?
Hűség (Faithfulness)> 0,85Hűséges a válasz a forrásokhoz?
Válasz relevancia> 0,80Megválaszolja-e a válasz a kérdést?
Kontextus precizitás> 0,60Hasznosak-e a megadott kontextusok?

Olvasd ezt a táblázatot fentről lefelé, mint egy diagnosztikai fát. Ha a recall 0,90 alatt van, akkor a következő sorok bármilyen elemzése értelmetlen: először a darabolást (chunking) vagy az indexet javítsd ki. Ezzel szemben a kiváló recall gyenge hűséggel párosulva a generálási promptra utal, nem a keresésre.

Főbb megállapítások

  • A visszakeresést (recall, precision) és a generálást (hűség, relevancia) külön-külön értékeld ki
  • A hűség mutató észleli az LLM hallucinációkat
  • A relevancia ellenőrzi, hogy a válasz hasznos-e
  • Készíts teszt adathalmazt, és minden változtatás előtt végezz mérést