Responsen verankeren in bronnen en hallucinaties beperken
Op deze pagina
Het hallucinatieprobleem in productie
Een hallucinatie is een feitelijk onjuist antwoord dat met het vertrouwen van een correct antwoord wordt gepresenteerd. Precies dat vertrouwen maakt het gevaarlijk. Een supportchatbot die een procedure verzint, stuurt gebruikers naar een doodlopende weg; een juridische assistent die een niet-bestaande wet citeert, stelt uw cliënt bloot aan risico; een medische tool die de verkeerde dosering aanbeveelt, veroorzaakt echte schade. In geen van deze drie gevallen signaleert de opmaak van het antwoord het probleem.
Verankering (Grounding) pakt dit risico aan door het model te dwingen zijn antwoorden uitsluitend te baseren op geverifieerde bronnen. In combinatie met het citatiesysteem dat in eerdere lessen aan bod kwam, ontstaat er een meerlaags veiligheidsnet: de prompt definieert het verwachte gedrag, het parseren van citaties maakt verificatie mogelijk, en de pipeline bepaalt hoe om te gaan met antwoorden die de controle niet doorstaan.
De systeemprompt: uw eerste verdedigingslinie
Een vaag prompt leidt tot vage verankering. U moet de regels formuleren als een specificatie: definieer de reikwijdte van de bronnen, geef de exacte zin op die gebruikt moet worden wanneer informatie ontbreekt, verbied het invullen van hiaten met algemene kennis, vereis citaties voor elke bewering, en specificeer hoe om te gaan met tegenstrijdigheden tussen bronnen.
system_prompt = """
You are a specialized documentation assistant.
ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
"This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""
Deze prompt garandeert geen nul hallucinaties, en u moet hierover duidelijk zijn tegenover uw stakeholders: het vermindert de frequentie aanzienlijk. Mistral-modellen, getraind voor verankering, volgen deze instructies met een hoog nalevingspercentage. Een hoog percentage is echter geen 100%, weshalb de volgende stappen noodzakelijk zijn.
Verankering verifiëren na generatie
De functie validate_grounding zet een intuïtie—“lijkt dit antwoord onderbouwd?”—om in een meetwaarde. Deze functie doorloopt de tekstfragmenten van het antwoord, telt aan de ene kant de tekstlengte op en aan de andere kant het aantal citaties en unieke bronnen. Vervolgens wordt een dichtheid afgeleid, uitgedrukt als citaties per duizend tekens. Een antwoord van 2.000 tekens met slechts één referentie wordt direct verdacht, terwijl een menselijke reviewer dit misschien over het hoofd had gezien.
from mistralai.client.models import TextChunk, ReferenceChunk
def validate_grounding(response, min_citations=1):
"""Verifies that the response is grounded in sources."""
content = response.choices[0].message.content
text_length = 0
citation_count = 0
cited_refs = set()
for chunk in content:
if isinstance(chunk, TextChunk):
text_length += len(chunk.text)
elif isinstance(chunk, ReferenceChunk):
citation_count += 1
cited_refs.update(chunk.reference_ids)
# Checks
checks = {
"has_citations": citation_count >= min_citations,
"citation_count": citation_count,
"unique_sources": len(cited_refs),
"text_length": text_length,
"citations_per_1000_chars": round(
citation_count / max(text_length / 1000, 1), 1
)
}
checks["is_grounded"] = checks["has_citations"]
return checks
result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
print("ALERT: Response potentially ungrounded!")
print(f" Citations found: {result['citation_count']}")
Beweringen buiten de reikwijdte identificeren
Het tellen van citaties vertelt u niet of de tekst ertussen trouw blijft aan de bronnen. detect_ungrounded_claims pakt dit blinde vlek aan met een eenvoudige lexicale heuristiek: het splitst het antwoord in zinnen, vergelijkt woorden langer dan vijf tekens in elke zin met de samengevoegde fragmenten, en markeert elke zin waarin minder dan 30% van de trefwoorden in de bronnen voorkomt. Voor een documentatie-assistent zijn de zinnen die bovenaan de lijst van verdachten eindigen doorgaans de “algemene kennis”-opvulling die door het model is toegevoegd.
def detect_ungrounded_claims(response_text, source_snippets):
"""Detects sentences that do not match any snippet."""
import re
# Split response into sentences
sentences = re.split(r'[.!?]+', response_text)
sentences = [s.strip() for s in sentences if len(s.strip()) > 20]
# Concatenate all snippets into a single text
all_sources = " ".join(source_snippets).lower()
suspicious = []
for sentence in sentences:
# Extract significant keywords (> 5 chars)
keywords = [
w.lower() for w in sentence.split()
if len(w) > 5
]
# Check coverage
matches = sum(1 for kw in keywords if kw in all_sources)
coverage = matches / max(len(keywords), 1)
if coverage < 0.3: # Less than 30% of keywords found
suspicious.append({
"sentence": sentence,
"coverage": round(coverage, 2)
})
return suspicious
Een vertrouwenspipeline samenstellen
In productie zijn deze controles niet slechts analysescripts: ze worden een poort waar het antwoord doorheen moet voordat het de gebruiker bereikt. De klasse GroundedRAG implementeert deze poort. Deze genereert het antwoord met citaties, valideert het, en wijst in strikte modus antwoorden met onvoldoende verankering direct af, waarbij een expliciete status wordt teruggegeven in plaats van twijfelachtige tekst. De vertrouwensscore aggregeert drie signalen—aanwezigheid van citaties, diversiteit van bronnen en dichtheid—zodat uw interface een betrouwbaarheidsniveau kan weergeven of gevallen met een laag vertrouwen kan doorsturen voor menselijke review.
class GroundedRAG:
"""RAG pipeline with grounding and validation."""
def __init__(self, client, model="mistral-large-latest"):
self.client = client
self.model = model
def query(self, question, references, strict=True):
"""Executes a RAG query with grounding validation."""
# 1. Generate response with citations
response = self._generate_with_citations(
question, references
)
# 2. Validate grounding
grounding = validate_grounding(response, min_citations=1)
# 3. In strict mode, reject ungrounded responses
if strict and not grounding["is_grounded"]:
return {
"status": "rejected",
"reason": "Response insufficiently grounded in sources",
"grounding_score": grounding
}
# 4. Return validated response
return {
"status": "ok",
"response": response,
"grounding_score": grounding,
"confidence": self._compute_confidence(grounding)
}
def _compute_confidence(self, grounding):
"""Calculates a confidence score based on grounding."""
score = 0.0
if grounding["has_citations"]:
score += 0.4
if grounding["unique_sources"] >= 2:
score += 0.3
if grounding["citations_per_1000_chars"] >= 1.0:
score += 0.3
return round(score, 2)
Verankering in de tijd monitoren
Een verankerde pipeline kan op de eerste dag van productie na verloop van tijd degraderen omdat de documentatiebasis veroudert, omdat een prompt is aangepast, of omdat het verkeer verschuift naar slecht gedekte onderwerpen. De vijf onderstaande metrieken worden direct berekend uit de outputs van validate_grounding en verdienen een permanent dashboard: het is hun drift, meer dan hun absolute waarde, die u alarmeert.
| Metriek | Wat het meet |
|---|---|
| Citatiepercentage | Percentage antwoorden dat ten minste één citatie bevat |
| Citatiedichtheid | Gemiddeld aantal citaties per 1.000 tekens |
| Brondiversiteit | Gemiddeld aantal unieke bronnen per antwoord |
| Afwijzingspercentage | Percentage antwoorden dat wordt afgewezen wegens onvoldoende verankering |
| Gemiddelde vertrouwensscore | Evolutie van de vertrouwensscore in de tijd |
Belangrijkste punten
- Verankering dwingt het model om uitsluitend te antwoorden op basis van geverifieerde bronnen
- Een strikte systeemprompt is de eerste verdedigingslinie tegen hallucinaties
- Validatie na generatie verifieert programmatisch de verankering van elk antwoord
- Combineer deze strategieën in een meerlaagse vertrouwenspipeline
- Monitor continu de verankeringsmetrieken om degradatie op te sporen