Arvioi RAG-putki
Tällä sivulla
Tavoitteet
- Arvioi hakua ja generointia erikseen
- Toteuta automatisoidut RAG-laatumittarit
- Rakenna kattava arviointikehys
Arvioinnin kaksi akselia
RAG-putki epäonnistuu kahdella hyvin erilaisella tavalla, ja niiden sekoittaminen maksaa sinulle viikkoja. Joko haku-vaihe epäonnistui löytämään oikeat asiakirjat – jolloin vastaus on väärä syistä, jotka eivät liity generointimalliin, ja oppitunnin 10 mittarit diagnosoivat tämän – tai oikeat asiakirjat olivat saatavilla, mutta generointi-vaihe meni raiteiltaan: malli keksi yksityiskohdan tai vastasi eri kysymykseen kuin mitä kysyttiin.
Kun käyttäjä ilmoittaa “vastaus on väärä”, hän ei kerro kumpi kahdesta syystä on kyseessä. Siksi sääntö on: mittaa molemmat komponentit itsenäisesti eri mittareilla, ja säädä vain toista sen jälkeen, kun olet tunnistanut kumpi alisuoriutuu.
Generointimittarit
Luotettavuus (Faithfulness) vastaa tuotannossa tärkeimpään kysymykseen: perustuuko vastaus kokonaan annettuihin asiakirjoihin, vai lisäsikö malli omaa tulkintaansa? Sen sijaan, että pyytäisit yleistä pistemäärää – jota arvioijat myöntävät liian anteliaasti – pyydä arvioijaa purkamaan vastaus väittämä kerrallaan ja luokittelemaan jokainen joko tuetuksi, tukemattomaksi tai kumotuksi. Viimeksi mainittu kategoria on arvokkain: väittämä, joka on ristiriidassa lähteen kanssa, signaloi paljon vakavampaa virhettä kuin pelkkä poisjättäminen.
from openai import OpenAI
client = OpenAI()
def evaluate_faithfulness(
question: str,
answer: str,
contexts: list[str]
) -> dict:
"""Evaluates whether the answer is faithful to the contexts."""
full_context = "\n\n---\n\n".join(contexts)
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"Evaluate the faithfulness of this answer relative to the "
f"source documents.\n\n"
f"Source documents:\n{full_context}\n\n"
f"Question: {question}\n\n"
f"Answer: {answer}\n\n"
f"For each claim in the answer, indicate:\n"
f"- SUPPORTED: if confirmed by the documents\n"
f"- UNSUPPORTED: if it does not appear in the documents\n"
f"- CONTRADICTED: if it contradicts the documents\n\n"
f"End with a global score from 0 to 1."
)
}],
temperature=0
)
return {"evaluation": response.choices[0].message.content}
Vastaus voi olla täysin luotettava, mutta hyödytön: se saattaa kopioida uskollisesti kohdan, joka käsittelee jotain muuta. Tätä mittaa vastauksen relevanssi, joka vertaa tällä kertaa vastausta vain kysymykseen ilman asiakirjoja. Kehote asettaa eksplisiittisen asteikon – 1,0 täydellisestä vastauksesta, 0,7 osittaisesta mutta hyödyllisestä vastauksesta, 0,3 epäsuorasta yhteydestä, 0,0 aiheen vierestä – koska arvioija, jota pyydetään vain “arvioimaan 0–1”, tuottaa epävakaita pisteitä ajosta toiseen.
def evaluate_relevance(question: str, answer: str) -> float:
"""Relevance score of the answer relative to the question."""
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"On a scale of 0 to 1, how well does this answer "
f"address the question asked?\n\n"
f"Question: {question}\n"
f"Answer: {answer}\n\n"
f"Criteria:\n"
f"- 1.0: complete and precise answer\n"
f"- 0.7: partial but useful answer\n"
f"- 0.3: tangentially related\n"
f"- 0.0: off-topic\n\n"
f"Return only the numeric score."
)
}],
temperature=0,
max_tokens=10
)
try:
return float(response.choices[0].message.content.strip())
except ValueError:
return 0.0
Sitten on kontekstin tarkkuus (context precision), joka yhdistää kaksi akselia: viidestä kehotteeseen syötetystä asiakirjasta kuinka monta todella käytettiin? Jos vastaus lomakäytäntöjä koskevaan kysymykseen hyödynsi vain yhtä viidestä palasta, muut neljä kuluttivat kontekstibudjettia ja lisäsivät kohinaa. Joten kysyt arvioijalta jokaisesta kontekstista erikseen yksinkertaisella kyllä tai ei -vastauksella ja lasket hyödyllisten osuuden.
def evaluate_context_precision(
question: str,
contexts: list[str],
answer: str
) -> dict:
"""Evaluates which contexts were useful for the answer."""
results = []
for i, ctx in enumerate(contexts):
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"Was this document useful for answering "
f"the question?\n\n"
f"Question: {question}\n"
f"Document: {ctx[:500]}\n"
f"Generated answer: {answer}\n\n"
f"Answer YES or NO."
)
}],
temperature=0,
max_tokens=5
)
useful = "yes" in response.choices[0].message.content.lower()
results.append({"index": i, "useful": useful})
num_useful = sum(1 for r in results if r["useful"])
return {
"details": results,
"precision": num_useful / len(contexts) if contexts else 0
}
Kattava arviointikehys
Nämä kolme funktiota ovat hyödyttömiä niin kauan kuin ne pysyvät manuaalisina. Ratkaiseva askel on suorittaa ne kiinteällä kysymysjoukolla joka kerta, kun muokkaat putkea: tämä muuttaa vatsantunteen – “luulen sen parantuneen, koska muutin paloitelua” – vertailukelpoiseksi numeroksi. Alla oleva luokka suorittaa putken jokaiselle tietoaineiston kohteelle, kerää pisteet ja palauttaa niiden keskiarvot.
Tarkastele esimerkkiaineistoa: kaksi HR-kysymystä, joista kullakin on odotettu vastaus ja niiden asiakirjojen tunnisteet, jotka pitäisi hakea. Kahdestakymmenestä viiteenkymmeneen tällaista entryä, kirjoitettuna kerran ja lopullisesti todellisista käyttäjäkysymyksistä, riittää regressioiden havaitsemiseen.
class RAGEvaluator:
def __init__(self, rag_pipeline):
self.pipeline = rag_pipeline
self.client = OpenAI()
def evaluate_dataset(self, dataset: list[dict]) -> dict:
"""Evaluates the pipeline on a question-answer dataset.
Each item: {question, expected_answer, relevant_docs}
"""
results = {
"faithfulness": [],
"relevance": [],
"context_precision": [],
}
for item in dataset:
# Execute the pipeline
output = self.pipeline.respond(item["question"])
answer = output["answer"]
contexts = [s["excerpt"] for s in output["sources"]]
# Evaluate
relevance = evaluate_relevance(item["question"], answer)
results["relevance"].append(relevance)
ctx_eval = evaluate_context_precision(
item["question"], contexts, answer
)
results["context_precision"].append(ctx_eval["precision"])
# Averages
import numpy as np
return {
metric: round(float(np.mean(scores)), 4)
for metric, scores in results.items()
}
# Usage
dataset = [
{
"question": "How many leave days do I have?",
"expected_answer": "25 days of paid leave per year",
"relevant_docs": ["leave-policy"]
},
{
"question": "Can I work remotely on Mondays?",
"expected_answer": "Yes, remote work is allowed except on Tuesdays and Thursdays",
"relevant_docs": ["remote-work-policy"]
},
]
evaluator = RAGEvaluator(rag_pipeline)
metrics = evaluator.evaluate_dataset(dataset)
print("Results:")
for k, v in metrics.items():
print(f" {k}: {v}")
Mittaristo
Tässä ovat tavoitteet, joihin kannattaa pyrkiä tuotantojärjestelmässä, sekä se, mitä kukin numero todella tarkoittaa.
| Mittari | Tavoite | Mitä se mittaa |
|---|---|---|
| Recall@5 | > 0,90 | Ovatko oikeat asiakirjat viiden parhaan joukossa? |
| Precision@5 | > 0,70 | Ovatko palautetut asiakirjat relevantteja? |
| Luotettavuus | > 0,85 | Perustuuko vastaus lähteisiin? |
| Vastauksen relevanssi | > 0,80 | Vastaako vastaus kysymykseen? |
| Kontekstin tarkkuus | > 0,60 | Ovatko annetut kontekstit hyödyllisiä? |
Lue tämä taulukko ylhäältä alas diagnostisena puuna. Alle 0,90 oleva recall tekee seuraavien rivien analysoinnista turhaa: korjaa ensin paloittelu tai indeksi. Päinvastoin, erinomainen recall yhdistettynä heikkoon luotettavuuteen viittaa generointikehotteeseen, ei hakuun.
Keskeiset asiat
- Arvioi hakua (recall, precision) ja generointia (luotettavuus, relevanssi) erikseen
- Luotettavuus havaitsee LLM:n hallusinaatiot
- Relevanssi varmistaa, että vastaus on hyödyllinen
- Rakenna testidatajoukko ja mittaa ennen jokaista muutosta