Ukotvenie odpovedí v zdrojoch a obmedzenie halucinácií
Na tejto strane
Problém halucinácií v produkcii
Halucinácia je fakticky nesprávna odpoveď podaná s istotou tej správnej. Práve táto istota ju robí nebezpečnou. Podporný chatbot, ktorý si vymyslí postup, pošle používateľov do slepej uličky; právny asistent, ktorý cituje neexistujúci zákon, vystaví vášho klienta riziku; lekársky nástroj, ktorý odporučí nesprávne dávkovanie, spôsobí reálnu škodu. Vo všetkých troch prípadoch nič vo formáte odpovede nenaznačuje problém.
Ukotvenie (Grounding) rieši toto riziko tým, že núti model zakladať svoje odpovede výlučne na overených zdrojoch. V kombinácii so systémom citácií, ktorý sme prebrali v predchádzajúcich lekciách, vytvára viacvrstvovú bezpečnostnú sieť: prompt definuje očakávané správanie, parsovanie citácií umožňuje overenie a pipeline rozhoduje, ako zaobchádzať s odpoveďami, ktoré kontrolou neprejdú.
Systémový prompt: vaša prvá línia obrany
Vágny prompt produkuje vágne ukotvenie. Pravidlá musíš stanoviť ako špecifikáciu: definuj rozsah zdrojov, uveď presnú frázu na použitie v prípade chýbajúcich informácií, zakáž dopĺňanie medzier všeobecnými znalosťami, vyžaduj citácie pre každé tvrdenie a špecifikuj, ako riešiť rozpory medzi zdrojmi.
system_prompt = """
You are a specialized documentation assistant.
ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
"This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""
Tento prompt nezaručuje nulový výskyt halucinácií a musíš byť v tomto ohľade voči zainteresovaným stranám úprimný: výrazne znižuje ich frekvenciu. Modely Mistral, trénované na ukotvenie, dodržiavajú tieto inštrukcie s vysokou mierou súladu. Vysoká miera však nie je 100 % miera, čo je dôvodom, prečo sú nasledujúce kroky nevyhnutné.
Overenie ukotvenia po generovaní
Funkcia validate_grounding mení intuíciu – „vyzerá táto odpoveď ako podložená zdrojmi?“ – na metriku. Prechádza cez časti odpovede, sčítava dĺžku textu na jednej strane a počíta citácie a rôzne zdroje na druhej. Následne odvodzuje hustotu vyjadrenú ako počet citácií na tisíc znakov. Odpoveď s dĺžkou 2 000 znakov a iba jednou referenciou sa okamžite stáva podozrivou, hoci ľudský recenzent by si to mohol nevšimnúť.
from mistralai.client.models import TextChunk, ReferenceChunk
def validate_grounding(response, min_citations=1):
"""Verifies that the response is grounded in sources."""
content = response.choices[0].message.content
text_length = 0
citation_count = 0
cited_refs = set()
for chunk in content:
if isinstance(chunk, TextChunk):
text_length += len(chunk.text)
elif isinstance(chunk, ReferenceChunk):
citation_count += 1
cited_refs.update(chunk.reference_ids)
# Checks
checks = {
"has_citations": citation_count >= min_citations,
"citation_count": citation_count,
"unique_sources": len(cited_refs),
"text_length": text_length,
"citations_per_1000_chars": round(
citation_count / max(text_length / 1000, 1), 1
)
}
checks["is_grounded"] = checks["has_citations"]
return checks
result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
print("ALERT: Response potentially ungrounded!")
print(f" Citations found: {result['citation_count']}")
Identifikácia tvrdení mimo rozsahu
Počítanie citácií ti nepovie, či text medzi nimi zostáva verný zdrojom. Funkcia detect_ungrounded_claims rieši toto slepé miesto pomocou jednoduchej lexikálnej heuristiky: rozdelí odpoveď na vety, porovná slová dlhšie ako päť znakov v každej vete so spojenými úryvkami zdrojov a označí každú vetu, kde sa vo zdrojoch objaví menej ako 30 % kľúčových slov. Pre asistenta dokumentácie sú vety, ktoré sa dostanú na vrchol zoznamu podozrivých, typicky „výplňové“ všeobecné znalosti pridané modelom.
def detect_ungrounded_claims(response_text, source_snippets):
"""Detects sentences that do not match any snippet."""
import re
# Split response into sentences
sentences = re.split(r'[.!?]+', response_text)
sentences = [s.strip() for s in sentences if len(s.strip()) > 20]
# Concatenate all snippets into a single text
all_sources = " ".join(source_snippets).lower()
suspicious = []
for sentence in sentences:
# Extract significant keywords (> 5 chars)
keywords = [
w.lower() for w in sentence.split()
if len(w) > 5
]
# Check coverage
matches = sum(1 for kw in keywords if kw in all_sources)
coverage = matches / max(len(keywords), 1)
if coverage < 0.3: # Less than 30% of keywords found
suspicious.append({
"sentence": sentence,
"coverage": round(coverage, 2)
})
return suspicious
Zostavenie pipeline dôvery
V produkcii nie sú tieto kontroly len analytické skripty: stávajú sa bránou, ktorou musí odpoveď prejsť, než sa dostane k používateľovi. Trieda GroundedRAG implementuje túto bránu. Vygeneruje citovanú odpoveď, overí ju a v striktnom režime priamo odmietne odpovede s nedostatočným ukotvením, pričom vráti explicitný stav namiesto pochybného textu. Skóre dôvery agreguje tri signály – prítomnosť citácií, diverzitu zdrojov a hustotu – takže tvoje rozhranie môže zobraziť úroveň spoľahlivosti alebo presmerovať prípady s nízkou dôverou na ľudnú kontrolu.
class GroundedRAG:
"""RAG pipeline with grounding and validation."""
def __init__(self, client, model="mistral-large-latest"):
self.client = client
self.model = model
def query(self, question, references, strict=True):
"""Executes a RAG query with grounding validation."""
# 1. Generate response with citations
response = self._generate_with_citations(
question, references
)
# 2. Validate grounding
grounding = validate_grounding(response, min_citations=1)
# 3. In strict mode, reject ungrounded responses
if strict and not grounding["is_grounded"]:
return {
"status": "rejected",
"reason": "Response insufficiently grounded in sources",
"grounding_score": grounding
}
# 4. Return validated response
return {
"status": "ok",
"response": response,
"grounding_score": grounding,
"confidence": self._compute_confidence(grounding)
}
def _compute_confidence(self, grounding):
"""Calculates a confidence score based on grounding."""
score = 0.0
if grounding["has_citations"]:
score += 0.4
if grounding["unique_sources"] >= 2:
score += 0.3
if grounding["citations_per_1000_chars"] >= 1.0:
score += 0.3
return round(score, 2)
Monitorovanie ukotvenia v čase
Ukotvená pipeline môže v priebehu času degradovať, či už preto, že základňa dokumentácie zastaráva, bol upravený prompt, alebo sa premávka presunula na zle pokryté témy. Päť nižšie uvedených metrík sa počíta priamo z výstupov validate_grounding a zaslúži si trvalé miesto na dashboarde: práve ich drift, viac než ich absolútna hodnota, ťa upozorní na problém.
| Metrika | Čo meria |
|---|---|
| Miera citácií | Percento odpovedí obsahujúcich aspoň jednu citáciu |
| Hustota citácií | Priemerný počet citácií na 1 000 znakov |
| Diverzita zdrojov | Priemerný počet rôznych zdrojov na odpoveď |
| Miera zamietnutia | Percento odpovedí zamietnutých pre nedostatočné ukotvenie |
| Priemerné skóre dôvery | Vývoj skóre dôvery v čase |
Kľúčové poznatky
- Ukotvenie núti model odpovedať iba na základe overených zdrojov
- Striktný systémový prompt je prvou líniou obrany proti halucináciám
- Validácia po generovaní programovo overuje ukotvenie každej odpovede
- Skombinuj tieto stratégie do viacúrovňovej pipeline dôvery
- Neustále monitoruj metriky ukotvenia, aby si odhalil degradáciu