Ocena cevovoda RAG
Na tej strani
Cilji
- Ločeno oceni pridobivanje in generiranje
- Implementiraj avtomatizirane metrike kakovosti za RAG
- Zgradi celoten okvir za ocenjevanje
Dve osi ocenjevanja
Cevovod RAG odpove na dva zelo različna načina in če ju zamenjaš, boš izgubil tedne dni. Ali pa korak pridobivanja ni našel pravih dokumentov – v tem primeru je odgovor napačen iz razlogov, ki niso povezani z modelom za generiranje, in to bodo diagnosticirale metrike iz lekcije 10 – ali pa so bili pravi dokumenti prisotni, a je korak generiranja šel po zlu: model si je izmislil podrobnost ali odgovoril na drugo vprašanje, kot je bilo zastavljeno.
Ko uporabnik sporoči, da je „odgovor napačen”, ti ne bo povedal, kateri od obeh vzrokov je v igri. Zato velja pravilo: obe komponenti meri neodvisno z ločenimi metrikami in prilagajaj le eno, ko ugotoviš, katera slabo deluje.
Metrike za generiranje
Zvestoba odgovori na vprašanje, ki je v proizvodnji najpomembnejše: ali je odgovor v celoti podprt z zagotovljenimi dokumenti ali je model dodal svoj pridih? Namesto da bi zahteval globalno oceno – ki jo sodniki pogosto podelijo prevelikodušno – naj sodnik razčleni odgovor trditev za trditvijo in vsako razvrsti kot podprto, nepodprto ali ovrženo. Zadnja kategorija je najbolj dragocena: trditev, ki nasprotuje viru, signalizira veliko resnejšo napako kot preprost izpust.
from openai import OpenAI
client = OpenAI()
def evaluate_faithfulness(
question: str,
answer: str,
contexts: list[str]
) -> dict:
"""Evaluates whether the answer is faithful to the contexts."""
full_context = "\n\n---\n\n".join(contexts)
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"Evaluate the faithfulness of this answer relative to the "
f"source documents.\n\n"
f"Source documents:\n{full_context}\n\n"
f"Question: {question}\n\n"
f"Answer: {answer}\n\n"
f"For each claim in the answer, indicate:\n"
f"- SUPPORTED: if confirmed by the documents\n"
f"- UNSUPPORTED: if it does not appear in the documents\n"
f"- CONTRADICTED: if it contradicts the documents\n\n"
f"End with a global score from 0 to 1."
)
}],
temperature=0
)
return {"evaluation": response.choices[0].message.content}
Odgovor je lahko popolnoma zvest, a neuporaben: morda zvesto kopira odlomek, ki obravnava nekaj drugega. To meri ustreznost odgovora, tokrat s primerjavo odgovora izključno z vprašanjem, brez dokumentov. Poziv določa eksplicitno lestvico – 1,0 za popoln odgovor, 0,7 za delni, a uporaben odgovor, 0,3 za obrobno povezanost, 0,0 za tematsko neodvisnost – ker sodnik, ki ga prosimo le, naj „oceni od 0 do 1”, proizvaja nestabilne ocene od ene izvedbe do druge.
def evaluate_relevance(question: str, answer: str) -> float:
"""Relevance score of the answer relative to the question."""
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"On a scale of 0 to 1, how well does this answer "
f"address the question asked?\n\n"
f"Question: {question}\n"
f"Answer: {answer}\n\n"
f"Criteria:\n"
f"- 1.0: complete and precise answer\n"
f"- 0.7: partial but useful answer\n"
f"- 0.3: tangentially related\n"
f"- 0.0: off-topic\n\n"
f"Return only the numeric score."
)
}],
temperature=0,
max_tokens=10
)
try:
return float(response.choices[0].message.content.strip())
except ValueError:
return 0.0
Tu je še natančnost konteksta, ki povezuje obe osi: koliko od petih dokumentov, ki si jih vstavil v poziv, je bilo dejansko uporabljenih? Če je odgovor na vprašanje o pravilih dopusta črpal le iz enega od petih kosov, so ostali štirje porabili proračun konteksta in dodali šum. Zato sodnika vprašaš o vsakem kontekstu posebej, z preprostim da ali ne, in izračunaš delež tistih, ki so bili koristni.
def evaluate_context_precision(
question: str,
contexts: list[str],
answer: str
) -> dict:
"""Evaluates which contexts were useful for the answer."""
results = []
for i, ctx in enumerate(contexts):
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"Was this document useful for answering "
f"the question?\n\n"
f"Question: {question}\n"
f"Document: {ctx[:500]}\n"
f"Generated answer: {answer}\n\n"
f"Answer YES or NO."
)
}],
temperature=0,
max_tokens=5
)
useful = "yes" in response.choices[0].message.content.lower()
results.append({"index": i, "useful": useful})
num_useful = sum(1 for r in results if r["useful"])
return {
"details": results,
"precision": num_useful / len(contexts) if contexts else 0
}
Celoten okvir za ocenjevanje
Te tri funkcije so neuporabne, dokler ostajajo ročne. Odločilni korak je njihovo izvajanje na fiksnem nizu vprašanj vsakič, ko spremeniš cevovod: to je tisto, kar spremeni občutek v želodcu – „mislim, da je bolje, odkar sem spremenil razčlenjevanje” – v primerljivo številko. Spodnji razred izvrši cevovod za vsak element v podatkovnem nizu, zbere ocene in vrne njihova povprečja.
Poglej primer podatkovnega niza: dve vprašanji iz kadrovske službe, vsako s pričakovanim odgovorom in identifikatorjem dokumentov, ki bi jih bilo treba pridobiti. Dvajset do petdeset vnosov te vrste, napisanih enkrat za vselej na podlagi resničnih uporabniških vprašanj, zadostuje za odkrivanje regresij.
class RAGEvaluator:
def __init__(self, rag_pipeline):
self.pipeline = rag_pipeline
self.client = OpenAI()
def evaluate_dataset(self, dataset: list[dict]) -> dict:
"""Evaluates the pipeline on a question-answer dataset.
Each item: {question, expected_answer, relevant_docs}
"""
results = {
"faithfulness": [],
"relevance": [],
"context_precision": [],
}
for item in dataset:
# Execute the pipeline
output = self.pipeline.respond(item["question"])
answer = output["answer"]
contexts = [s["excerpt"] for s in output["sources"]]
# Evaluate
relevance = evaluate_relevance(item["question"], answer)
results["relevance"].append(relevance)
ctx_eval = evaluate_context_precision(
item["question"], contexts, answer
)
results["context_precision"].append(ctx_eval["precision"])
# Averages
import numpy as np
return {
metric: round(float(np.mean(scores)), 4)
for metric, scores in results.items()
}
# Usage
dataset = [
{
"question": "How many leave days do I have?",
"expected_answer": "25 days of paid leave per year",
"relevant_docs": ["leave-policy"]
},
{
"question": "Can I work remotely on Mondays?",
"expected_answer": "Yes, remote work is allowed except on Tuesdays and Thursdays",
"relevant_docs": ["remote-work-policy"]
},
]
evaluator = RAGEvaluator(rag_pipeline)
metrics = evaluator.evaluate_dataset(dataset)
print("Results:")
for k, v in metrics.items():
print(f" {k}: {v}")
Nadzorna plošča metrik
Tukaj so cilji, h katerim si prizadevaj v proizvodnem sistemu, skupaj s pomenom vsake številke.
| Metrika | Cilj | Kaj meri |
|---|---|---|
| Recall@5 | > 0,90 | So pravi dokumenti med prvimi 5? |
| Precision@5 | > 0,70 | So vrnjeni dokumenti ustrezni? |
| Zvestoba | > 0,85 | Ali je odgovor zvest virom? |
| Ustreznost odgovora | > 0,80 | Ali odgovor naslavlja vprašanje? |
| Natančnost konteksta | > 0,60 | So zagotovljeni konteksti koristni? |
To tabelo beri od zgoraj navzdol kot diagnostično drevo. Recall pod 0,90 naredi vsako analizo naslednjih vrstic brezpredmetno: najprej popravi razčlenjevanje ali indeks. Nasprotno pa odličen recall v kombinaciji s slabo zvestobo kaže na poziv za generiranje, ne na iskanje.
Ključne ugotovitve
- Ločeno oceni pridobivanje (recall, precision) in generiranje (zvestoba, ustreznost)
- Zvestoba zazna halucinacije LLM
- Ustreznost preveri, ali je odgovor uporaben
- Zgradi testni podatkovni niz in meri pred vsako spremembo