Maanda vastuseid allikates ja vähenda hallutsinatsioone
Sellel lehel
Hallutsinatsioonide probleem tootmises
Hallutsinatsioon on faktiliselt vale vastus, mis esitatakse õige vastuse kindlusega. Just see kindlustunne teebki selle ohtlikuks. Tugiteenuse chatbot, mis leiutab protseduuri, saadab kasutajad ummikusse; juriidiline assistent, mis viitab olematule seadusele, seab kliendi riski; meditsiiniline tööriist, mis soovitab valet annust, põhjustab reaalset kahju. Kõigil kolmel juhul ei anna vastuse vorming mingit märku probleemist.
Maandamine (grounding) lahendab selle riski, sundides mudelit baseerima oma vastuseid eranditult kontrollitud allikatel. Koos eelmistes tundides käsitletud tsiteerimissüsteemiga loob see mitmekihilise turvavõrgu: viip käsitleb oodatavat käitumist, tsitaatide parsimine võimaldab kontrolli ja torustik otsustab, kuidas käsitleda vastuseid, mis kontrolli ei läbi.
Süsteemi viip: sinu esimene kaitsejoon
Ebamäärane viip toodab ebamäärast maandamist. Sa pead sõnastama reeglid nagu spetsifikatsiooni: määratle allikate ulatus, anna täpne fraas, mida kasutada teabe puudumisel, keela lünkade täitmine üldteadmistega, nõua iga väite jaoks tsitaati ja täpsusta, kuidas käsitleda allikate vahelisi vastuolusid.
system_prompt = """
You are a specialized documentation assistant.
ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
"This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""
See viip ei garanteeri nulli hallutsinatsiooni ja sa pead seda oma sidusrühmadele selgelt kommunikeerima: see vähendab nende esinemissagedust oluliselt. Mistrali mudelid, mis on treenitud maandamiseks, järgivad neid juhiseid suure vastavusmääraga. Kuid kõrge määr ei ole 100% määr, mistõttu on järgmised sammud vajalikud.
Kontrolli maandamist pärast genereerimist
Funktsioon validate_grounding muudab intuitsiooni – „kas see vastus paistab allikatele toetuvat?“ – mõõdikuks. See iteratsioonib läbi vastuse tükkide, liites ühelt poolt teksti pikkuse ja lugedes teiselt poolt tsitaate ja erinevaid allikaid. Seejärel tuletab see tiheduse, väljendatuna tsitaatidena tuhande märgi kohta. 2000-märgiline vastus vaid ühe viitega muutub kohe kahtlaseks, samas kui inimlik ülevaataja oleks võinud selle mööda lasta.
from mistralai.client.models import TextChunk, ReferenceChunk
def validate_grounding(response, min_citations=1):
"""Verifies that the response is grounded in sources."""
content = response.choices[0].message.content
text_length = 0
citation_count = 0
cited_refs = set()
for chunk in content:
if isinstance(chunk, TextChunk):
text_length += len(chunk.text)
elif isinstance(chunk, ReferenceChunk):
citation_count += 1
cited_refs.update(chunk.reference_ids)
# Checks
checks = {
"has_citations": citation_count >= min_citations,
"citation_count": citation_count,
"unique_sources": len(cited_refs),
"text_length": text_length,
"citations_per_1000_chars": round(
citation_count / max(text_length / 1000, 1), 1
)
}
checks["is_grounded"] = checks["has_citations"]
return checks
result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
print("ALERT: Response potentially ungrounded!")
print(f" Citations found: {result['citation_count']}")
Tuvasta väited väljaspool ulatust
Tsitaatide lugemine ei ütle, kas nende vaheline tekst jääb allikatele truuks. Funktsioon detect_ungrounded_claims lahendab selle pimesoba lihtsa leksikaalse heuristikaga: see jagab vastuse lauseteks, võrdleb igas lauses üle viie märgi sõnu liidetud lõikudega ja märgistab iga lause, kus vähem kui 30% märksõnadest allikates esineb. Dokumentatsiooni assistendi puhul on kahtlaste nimekirja tippu tõusvad laused tüüpiliselt mudeli lisatud „üldteadmiste“ täidis.
def detect_ungrounded_claims(response_text, source_snippets):
"""Detects sentences that do not match any snippet."""
import re
# Split response into sentences
sentences = re.split(r'[.!?]+', response_text)
sentences = [s.strip() for s in sentences if len(s.strip()) > 20]
# Concatenate all snippets into a single text
all_sources = " ".join(source_snippets).lower()
suspicious = []
for sentence in sentences:
# Extract significant keywords (> 5 chars)
keywords = [
w.lower() for w in sentence.split()
if len(w) > 5
]
# Check coverage
matches = sum(1 for kw in keywords if kw in all_sources)
coverage = matches / max(len(keywords), 1)
if coverage < 0.3: # Less than 30% of keywords found
suspicious.append({
"sentence": sentence,
"coverage": round(coverage, 2)
})
return suspicious
Koosta usalduse torustik
Tootmises ei ole need kontrollid pelgalt analüüsiskriptid: need muutuvad väravaks, millest vastus peab enne kasutajani jõudmist läbi pääsema. Klass GroundedRAG rakendab seda väravat. See genereerib tsiteeritud vastuse, valideerib selle ja range režiimi korral lükkab ebapiisava maandamisega vastused otse tagasi, tagastades selge staatuse kahtlase teksti asemel. Usaldusväärsuse skoor koondab kolm signaali – tsitaatide olemasolu, allikate mitmekesisuse ja tiheduse –, nii et sinu liides saab kuvada usaldusväärsuse taset või suunata madala usaldusväärsusega juhtumid inimlikule ülevaatusele.
class GroundedRAG:
"""RAG pipeline with grounding and validation."""
def __init__(self, client, model="mistral-large-latest"):
self.client = client
self.model = model
def query(self, question, references, strict=True):
"""Executes a RAG query with grounding validation."""
# 1. Generate response with citations
response = self._generate_with_citations(
question, references
)
# 2. Validate grounding
grounding = validate_grounding(response, min_citations=1)
# 3. In strict mode, reject ungrounded responses
if strict and not grounding["is_grounded"]:
return {
"status": "rejected",
"reason": "Response insufficiently grounded in sources",
"grounding_score": grounding
}
# 4. Return validated response
return {
"status": "ok",
"response": response,
"grounding_score": grounding,
"confidence": self._compute_confidence(grounding)
}
def _compute_confidence(self, grounding):
"""Calculates a confidence score based on grounding."""
score = 0.0
if grounding["has_citations"]:
score += 0.4
if grounding["unique_sources"] >= 2:
score += 0.3
if grounding["citations_per_1000_chars"] >= 1.0:
score += 0.3
return round(score, 2)
Jälgi maandamist ajas
Esimesel tootmispäeval hästi maandatud torustik võib ajas halveneda, kuna dokumentatsiooni baas vananeb, viipa kohandatakse või liiklus nihkub halvasti kaetud teemadele. Allpool toodud viis mõõdikut arvutatakse otse validate_grounding väljunditest ja väärivad püsivat armatuurlauda: just nende nihe, mitte absoluutväärtus, annab sulle hoiatuse.
| Mõõdik | Mida see mõõdab |
|---|---|
| Tsiteerimise määr | Protsent vastustest, mis sisaldavad vähemalt üht tsitaati |
| Tsiteerimise tihedus | Tsitaatide keskmine arv 1000 märgi kohta |
| Allikate mitmekesisus | Erinevate allikate keskmine arv vastuse kohta |
| Tagasilükkamise määr | Protsent vastustest, mis lükati tagasi ebapiisava maandamise tõttu |
| Keskmine usaldusväärsuse skoor | Usaldusväärsuse skoori muutumine ajas |
Peamised punktid
- Maandamine sunnib mudelit vastama ainult kontrollitud allikatest
- Range süsteemi viip on esimene kaitsejoon hallutsinatsioonide vastu
- Järelgeneeriv valideerimine kontrollib programmeeritult iga vastuse maandamist
- Kombineeri need strateegiad mitmetasandilises usalduse torustikus
- Jälgi pidevalt maandamise mõõdikuid, et tuvastada halvenemist