Egy RAG folyamat kiértékelése
Ezen az oldalon
Célok
- A visszakeresés és a szöveggenerálás külön-külön történő kiértékelése
- Automatizált RAG minőségi mutatók bevezetése
- Teljes kiértékelési keretrendszer felépítése
A kiértékelés két tengelye
Egy RAG folyamat kétféle, egymástól gyökeresen eltérő módon bukhat meg, és ha összekevered ezeket, heteket veszítesz. Vagy a visszakeresési lépés nem találta meg a megfelelő dokumentumokat – ekkor a válasz hibás, de ennek semmi köze a generáló modellhez, és a 10. leckében tárgyalt mutatók diagnosztizálják ezt –, vagy a megfelelő dokumentumok jelen voltak, de a generálási lépés ment félre: a modell kitalált egy részletet, vagy más kérdésre válaszolt, mint amit feltettek neki.
Amikor egy felhasználó azt jelzi, hogy „a válasz hibás“, nem fogja megmondani, hogy a két ok közül melyik áll fenn. Ezért az alapszabály: mindkét komponenst függetlenül mérd, eltérő mutatókkal, és csak akkor módosíts valamit, ha már azonosítottad, melyik teljesít rosszul.
Generálási mutatók
A hűség (faithfulness) azt a kérdést válaszolja meg, amely a legfontosabb éles környezetben: a válasz teljes mértékben alátámasztható a megadott dokumentumok alapján, vagy a modell saját színezetet adott hozzá? Ahelyett, hogy egy globális pontszámot kérnél – amit az értékelők túl nagylelkűen szoktak megadni –, kérd meg az értékelőt, hogy állításról állításra bontsa fel a választ, és minősítse mindegyiket mint alátámasztott, nem alátámasztott vagy ellentmondó. Ez utóbbi kategória a legértékesebb: egy olyan állítás, amely ellentmond a forrásnak, sokkal súlyosabb hibát jelez, mint egy egyszerű kihagyás.
from openai import OpenAI
client = OpenAI()
def evaluate_faithfulness(
question: str,
answer: str,
contexts: list[str]
) -> dict:
"""Evaluates whether the answer is faithful to the contexts."""
full_context = "\n\n---\n\n".join(contexts)
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"Evaluate the faithfulness of this answer relative to the "
f"source documents.\n\n"
f"Source documents:\n{full_context}\n\n"
f"Question: {question}\n\n"
f"Answer: {answer}\n\n"
f"For each claim in the answer, indicate:\n"
f"- SUPPORTED: if confirmed by the documents\n"
f"- UNSUPPORTED: if it does not appear in the documents\n"
f"- CONTRADICTED: if it contradicts the documents\n\n"
f"End with a global score from 0 to 1."
)
}],
temperature=0
)
return {"evaluation": response.choices[0].message.content}
Egy válasz lehet tökéletesen hűséges, mégis haszontalan: például hűen másolhat egy olyan szakaszt, amely valami mással foglalkozik. Ezt méri a válasz relevanciája, amely ezúttal kizárólag a választ hasonlítja össze a kérdéssel, a dokumentumok nélkül. A prompt egy explicit skálát határoz meg – 1,0 a teljes válaszért, 0,7 a részleges, de hasznos válaszért, 0,3 a tangenciális kapcsolatért, 0,0 pedig az off-topic válaszért –, mert ha az értékelőt csupán arra kéred, hogy „osztályozzon 0 és 1 között“, az futtatásról futtatásra instabil pontszámokat eredményez.
def evaluate_relevance(question: str, answer: str) -> float:
"""Relevance score of the answer relative to the question."""
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"On a scale of 0 to 1, how well does this answer "
f"address the question asked?\n\n"
f"Question: {question}\n"
f"Answer: {answer}\n\n"
f"Criteria:\n"
f"- 1.0: complete and precise answer\n"
f"- 0.7: partial but useful answer\n"
f"- 0.3: tangentially related\n"
f"- 0.0: off-topic\n\n"
f"Return only the numeric score."
)
}],
temperature=0,
max_tokens=10
)
try:
return float(response.choices[0].message.content.strip())
except ValueError:
return 0.0
Aztán ott van a kontextus precizitása, amely hidat képez a két tengely között: az öt dokumentum közül, amelyet beillesztettél a promptba, hányat használt fel ténylegesen a modell? Ha például a szabadságolási politikára vonatkozó kérdésre adott válasz csak az öt blokk közül egyet használt fel, a másik négy csak elpazarolta a kontextus-keretet és zajt adott hozzá. Ezért kérd meg az értékelőt, hogy minden kontextusról külön-külön, egyszerű igen/nem válasszal döntsön, majd számítsd ki a hasznosak arányát.
def evaluate_context_precision(
question: str,
contexts: list[str],
answer: str
) -> dict:
"""Evaluates which contexts were useful for the answer."""
results = []
for i, ctx in enumerate(contexts):
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"Was this document useful for answering "
f"the question?\n\n"
f"Question: {question}\n"
f"Document: {ctx[:500]}\n"
f"Generated answer: {answer}\n\n"
f"Answer YES or NO."
)
}],
temperature=0,
max_tokens=5
)
useful = "yes" in response.choices[0].message.content.lower()
results.append({"index": i, "useful": useful})
num_useful = sum(1 for r in results if r["useful"])
return {
"details": results,
"precision": num_useful / len(contexts) if contexts else 0
}
Teljes kiértékelési keretrendszer
Ez a három függvény addig haszontalan, amíg manuálisan futtatod őket. A döntő lépés az, hogy minden egyes pipeline-módosítás után lefuttasd őket egy rögzített kérdéshalmazon: ez változtatja át a megérzést – „szerintem jobb lett a darabolás módosítása óta“ – összehasonlítható számmá. Az alábbi osztály végigfuttatja a pipeline-t az adathalmaz minden elemén, összegyűjti a pontszámokat, majd visszaadja az átlagukat.
Nézd meg a példa adathalmazt: két HR-kérdés, mindegyikhez egy várt válasszal és a visszakeresendő dokumentumok azonosítójával. Húsz-ötven ilyen típusú bejegyzés, amelyet egyszer és mindenkorra valós felhasználói kérdések alapján írsz meg, elegendő a regressziók észleléséhez.
class RAGEvaluator:
def __init__(self, rag_pipeline):
self.pipeline = rag_pipeline
self.client = OpenAI()
def evaluate_dataset(self, dataset: list[dict]) -> dict:
"""Evaluates the pipeline on a question-answer dataset.
Each item: {question, expected_answer, relevant_docs}
"""
results = {
"faithfulness": [],
"relevance": [],
"context_precision": [],
}
for item in dataset:
# Execute the pipeline
output = self.pipeline.respond(item["question"])
answer = output["answer"]
contexts = [s["excerpt"] for s in output["sources"]]
# Evaluate
relevance = evaluate_relevance(item["question"], answer)
results["relevance"].append(relevance)
ctx_eval = evaluate_context_precision(
item["question"], contexts, answer
)
results["context_precision"].append(ctx_eval["precision"])
# Averages
import numpy as np
return {
metric: round(float(np.mean(scores)), 4)
for metric, scores in results.items()
}
# Usage
dataset = [
{
"question": "How many leave days do I have?",
"expected_answer": "25 days of paid leave per year",
"relevant_docs": ["leave-policy"]
},
{
"question": "Can I work remotely on Mondays?",
"expected_answer": "Yes, remote work is allowed except on Tuesdays and Thursdays",
"relevant_docs": ["remote-work-policy"]
},
]
evaluator = RAGEvaluator(rag_pipeline)
metrics = evaluator.evaluate_dataset(dataset)
print("Results:")
for k, v in metrics.items():
print(f" {k}: {v}")
Mutatószámok irányítópultja
Íme azok a célok, amelyekre egy éles rendszerben törekedned kell, valamint annak magyarázata, mit is jelent valójában minden egyes szám.
| Mutató | Cél | Mit mér |
|---|---|---|
| Recall@5 | > 0,90 | Benne vannak a megfelelő dokumentumok az első 5-ben? |
| Precision@5 | > 0,70 | Relevánsak a visszaadott dokumentumok? |
| Hűség (Faithfulness) | > 0,85 | Hűséges a válasz a forrásokhoz? |
| Válasz relevancia | > 0,80 | Megválaszolja-e a válasz a kérdést? |
| Kontextus precizitás | > 0,60 | Hasznosak-e a megadott kontextusok? |
Olvasd ezt a táblázatot fentről lefelé, mint egy diagnosztikai fát. Ha a recall 0,90 alatt van, akkor a következő sorok bármilyen elemzése értelmetlen: először a darabolást (chunking) vagy az indexet javítsd ki. Ezzel szemben a kiváló recall gyenge hűséggel párosulva a generálási promptra utal, nem a keresésre.
Főbb megállapítások
- A visszakeresést (recall, precision) és a generálást (hűség, relevancia) külön-külön értékeld ki
- A hűség mutató észleli az LLM hallucinációkat
- A relevancia ellenőrzi, hogy a válasz hasznos-e
- Készíts teszt adathalmazt, és minden változtatás előtt végezz mérést