Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Evaluacija RAG cjevovoda

Lekcija 15 od 22 Ažurirano 29. srpnja 2026. Programer
Na ovoj stranici
  1. Ciljevi
  2. Dvije osi evaluacije
  3. Metrike generiranja
  4. Kompletan okvir za evaluaciju
  5. Nadzorna ploča metrika
  6. Ključne točke

Ciljevi

  • Odvojeno evaluiraj dohvat i generiranje
  • Implementiraj automatizirane metrike kvalitete za RAG
  • Izgradi kompletan okvir za evaluaciju

Dvije osi evaluacije

RAG cjevovod može failati na dva vrlo različita načina, a njihovo miješanje koštat će te tjedana. Ili je korak dohvata (retrieval) podbacio u pronalaženju ispravnih dokumenata—u tom slučaju odgovor je pogrešan iz razloga nepovezanih s modelom za generiranje, a metrike iz Lekcije 10 dijagnosticirat će to—ili su ispravni dokumenti bili prisutni, ali je korak generiranja skrenuo s puta: model je izmislio detalj ili odgovorio na drugo pitanje od onoga koje je postavljeno.

Kada korisnik prijavi „odgovor je pogrešan“, neće ti reći koji je od ta dva uzroka u pitanju. Otuda pravilo: mjeri obje komponente neovisno, s različitim metrikama, i podešavaj samo jednu nakon što identificiraš koja podbacuje.

Metrike generiranja

Vjernost (Faithfulness) odgovara na pitanje koje je najvažnije u produkciji: je li odgovor u potpunosti potkrijepljen priloženim dokumentima ili je model dodao svoj vlastiti „štih“? Umjesto traženja globalne ocjene—koju suci često dodjeljuju predašno—natjeraj suca da raščlani odgovor tvrdnju po tvrdnju i svaku klasificira kao potkrijepljenu, nepotkrijepljenu ili opovrgnutu. Ta zadnja kategorija je najvrijednija: tvrdnja koja proturječi izvoru signalizira daleko ozbiljniju grešku od jednostavnog izostavljanja.

from openai import OpenAI

client = OpenAI()

def evaluate_faithfulness(
    question: str,
    answer: str,
    contexts: list[str]
) -> dict:
    """Evaluates whether the answer is faithful to the contexts."""
    full_context = "\n\n---\n\n".join(contexts)

    response = client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{
            "role": "user",
            "content": (
                f"Evaluate the faithfulness of this answer relative to the "
                f"source documents.\n\n"
                f"Source documents:\n{full_context}\n\n"
                f"Question: {question}\n\n"
                f"Answer: {answer}\n\n"
                f"For each claim in the answer, indicate:\n"
                f"- SUPPORTED: if confirmed by the documents\n"
                f"- UNSUPPORTED: if it does not appear in the documents\n"
                f"- CONTRADICTED: if it contradicts the documents\n\n"
                f"End with a global score from 0 to 1."
            )
        }],
        temperature=0
    )
    return {"evaluation": response.choices[0].message.content}

Odgovor može biti savršeno vjeran, a ipak beskoristan: može vjerno kopirati odlomak koji se bavi nečim drugim. To je ono što mjeri relevantnost odgovora, ovaj put uspoređujući odgovor isključivo s pitanjem, bez dokumenata. Prompt postavlja eksplicitnu ljestvicu—1,0 za potpun odgovor, 0,7 za djelomičan ali koristan odgovor, 0,3 za rubno povezan, 0,0 za temu izvan konteksta—jer sudac kojeg se jednostavno zamoli da „ocijeni od 0 do 1“ proizvodi nestabilne rezultate iz pokusa u pokus.

def evaluate_relevance(question: str, answer: str) -> float:
    """Relevance score of the answer relative to the question."""
    response = client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{
            "role": "user",
            "content": (
                f"On a scale of 0 to 1, how well does this answer "
                f"address the question asked?\n\n"
                f"Question: {question}\n"
                f"Answer: {answer}\n\n"
                f"Criteria:\n"
                f"- 1.0: complete and precise answer\n"
                f"- 0.7: partial but useful answer\n"
                f"- 0.3: tangentially related\n"
                f"- 0.0: off-topic\n\n"
                f"Return only the numeric score."
            )
        }],
        temperature=0,
        max_tokens=10
    )
    try:
        return float(response.choices[0].message.content.strip())
    except ValueError:
        return 0.0

Tu je i preciznost konteksta, koja povezuje dvije osi: od pet dokumenata koje si ubacio u prompt, koliko ih je zapravo iskorišteno? Ako je odgovor na pitanje o politikama dopusta koristio samo jedan od pet chunkova, preostala četiri su potrošila budžet konteksta i dodala šum. Zato pitaš suca o svakom kontekstu izolirano, s jednostavnim da ili ne, i izračunavaš udio onih koji su bili korisni.

def evaluate_context_precision(
    question: str,
    contexts: list[str],
    answer: str
) -> dict:
    """Evaluates which contexts were useful for the answer."""
    results = []

    for i, ctx in enumerate(contexts):
        response = client.chat.completions.create(
            model="gpt-5.6-terra",
            messages=[{
                "role": "user",
                "content": (
                    f"Was this document useful for answering "
                    f"the question?\n\n"
                    f"Question: {question}\n"
                    f"Document: {ctx[:500]}\n"
                    f"Generated answer: {answer}\n\n"
                    f"Answer YES or NO."
                )
            }],
            temperature=0,
            max_tokens=5
        )
        useful = "yes" in response.choices[0].message.content.lower()
        results.append({"index": i, "useful": useful})

    num_useful = sum(1 for r in results if r["useful"])
    return {
        "details": results,
        "precision": num_useful / len(contexts) if contexts else 0
    }

Kompletan okvir za evaluaciju

Ove tri funkcije su beskorisne dok god ostanu ručne. Odlučujući korak je pokretanje na fiksnom skupu pitanja svaki put kada modificiraš cjevovod: to je ono što pretvara osjećaj u trbuhu—„mislim da je bolje otkad sam promijenio chunking“—u usporediv broj. Donja klasa izvršava cjevovod na svakoj stavci u skupu podataka, prikuplja rezultate i vraća njihove prosjeke.

Pogledaj primjer skupa podataka: dva HR pitanja, svako s očekivanim odgovorom i identifikatorom dokumenata koja bi trebala biti dohvaćena. Dvadeset do pedeset unosa ove vrste, napisanih jednom zauvijek na temelju stvarnih korisničkih pitanja, dovoljno je za detektiranje regresija.

class RAGEvaluator:
    def __init__(self, rag_pipeline):
        self.pipeline = rag_pipeline
        self.client = OpenAI()

    def evaluate_dataset(self, dataset: list[dict]) -> dict:
        """Evaluates the pipeline on a question-answer dataset.

        Each item: {question, expected_answer, relevant_docs}
        """
        results = {
            "faithfulness": [],
            "relevance": [],
            "context_precision": [],
        }

        for item in dataset:
            # Execute the pipeline
            output = self.pipeline.respond(item["question"])
            answer = output["answer"]
            contexts = [s["excerpt"] for s in output["sources"]]

            # Evaluate
            relevance = evaluate_relevance(item["question"], answer)
            results["relevance"].append(relevance)

            ctx_eval = evaluate_context_precision(
                item["question"], contexts, answer
            )
            results["context_precision"].append(ctx_eval["precision"])

        # Averages
        import numpy as np
        return {
            metric: round(float(np.mean(scores)), 4)
            for metric, scores in results.items()
        }

# Usage
dataset = [
    {
        "question": "How many leave days do I have?",
        "expected_answer": "25 days of paid leave per year",
        "relevant_docs": ["leave-policy"]
    },
    {
        "question": "Can I work remotely on Mondays?",
        "expected_answer": "Yes, remote work is allowed except on Tuesdays and Thursdays",
        "relevant_docs": ["remote-work-policy"]
    },
]

evaluator = RAGEvaluator(rag_pipeline)
metrics = evaluator.evaluate_dataset(dataset)
print("Results:")
for k, v in metrics.items():
    print(f"  {k}: {v}")

Nadzorna ploča metrika

Evo ciljeva kojima trebaš težiti u produkcijskom sustavu, zajedno s objašnjenjem što svaki broj zapravo znači.

MetrikaCiljŠto mjeri
Recall@5> 0,90Jesu li ispravni dokumenti u top 5?
Precision@5> 0,70Jesu li vraćeni dokumenti relevantni?
Faithfulness> 0,85Je li odgovor vjeran izvorima?
Answer Relevance> 0,80Odgovara li odgovor na pitanje?
Context Precision> 0,60Jesu li pruženi konteksti korisni?

Čitaj ovu tablicu od vrha prema dnu kao dijagnostičko stablo. Recall ispod 0,90 čini bilo kakvu analizu sljedećih redaka besmislenom: prvo popravi chunking ili indeks. Suprotno tome, izvrstan recall u paru s lošom vjernošću ukazuje na prompt za generiranje, a ne na pretragu.

Ključne točke

  • Evaluiraj dohvat (recall, precision) i generiranje (vjernost, relevantnost) odvojeno
  • Vjernost detektira halucinacije LLM-a
  • Relevantnost verificira je li odgovor koristan
  • Izgradi testni skup podataka i mjeri prije svake promjene