Pamatot atbildes avotos un mazināt halucinācijas
Šajā lapā
Halucināciju problēma ražošanas vidē
Halucinācija ir faktiski nepareiza atbilde, kas sniegta ar tādu pašu pārliecību kā pareiza. Tieši šī pārliecība padara to bīstamu. Atbalsta čbots, kas izgudro procedūru, novirza lietotājus strupceļā; juridiskais palīgs, kas atsaucas uz neeksistējošu likumu, pakļauj klientu riskam; medicīnas rīks, kas iesaka nepareizu devu, rada reālu kaitējumu. Visos trijos gadījumos nekas atbildes formātā neliecina par problēmu.
Pamatojums (Grounding) risina šo risku, ierobežojot modeli, lai tas balstītu savas atbildes tikai uz pārbaudītiem avotiem. Apvienojot to ar iepriekšējās nodarbībās aplūkoto citēšanas sistēmu, tiek izveidots daudzslāņu drošības tīkls: uzvedne nosaka paredzēto uzvedību, citēšanas parsēšana ļauj veikt pārbaudi, un cauruļvads lemj, kā rīkoties ar atbildēm, kas neiztur pārbaudi.
Sistēmas uzvedne: tava pirmā aizsardzības līnija
Neskaidra uzvedne rada neskaidru pamatojumu. Tev ir jāformulē noteikumi kā specifikācijā: definē avotu darbības jomu, norādi precīzu frāzi, ko lietot, ja informācijas trūkst, aizliedz aizpildīt plaisas ar vispārīgām zināšanām, pieprasi citātus katram apgalvojumam un norādi, kā rīkoties pretrunu gadījumā starp avotiem.
system_prompt = """
You are a specialized documentation assistant.
ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
"This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""
Šī uzvedne negarantē nulles halucinācijas, un tev par to ir skaidri jāinformē ieinteresētās personas: tā būtiski samazina to biežumu. Mistral modeļi, kas apmācīti pamatojumam, ievēro šīs instrukcijas ar augstu atbilstības līmeni. Tomēr augsts līmenis nav 100 % līmenis, tāpēc ir nepieciešami turpmākie soļi.
Pārbaudi pamatojumu pēc ģenerēšanas
Funkcija validate_grounding pārvērš intuīciju — „vai šī atbilde izskatās balstīta uz avotiem?” — metrikā. Tā iterē cauri atbildes fragmentiem, vienā pusē summējot teksta garumu, bet otrā skaitot citātus un atšķirīgos avotus. Tad tā aprēķina blīvumu, kas izteikts kā citāti uz tūkstoš rakstzīmēm. 2000 rakstzīmju atbilde tikai ar vienu atsauces saiti uzreiz kļūst aizdomīga, lai gan cilvēks recenzents to varētu palaist garām.
from mistralai.client.models import TextChunk, ReferenceChunk
def validate_grounding(response, min_citations=1):
"""Verifies that the response is grounded in sources."""
content = response.choices[0].message.content
text_length = 0
citation_count = 0
cited_refs = set()
for chunk in content:
if isinstance(chunk, TextChunk):
text_length += len(chunk.text)
elif isinstance(chunk, ReferenceChunk):
citation_count += 1
cited_refs.update(chunk.reference_ids)
# Checks
checks = {
"has_citations": citation_count >= min_citations,
"citation_count": citation_count,
"unique_sources": len(cited_refs),
"text_length": text_length,
"citations_per_1000_chars": round(
citation_count / max(text_length / 1000, 1), 1
)
}
checks["is_grounded"] = checks["has_citations"]
return checks
result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
print("ALERT: Response potentially ungrounded!")
print(f" Citations found: {result['citation_count']}")
Identificē apgalvojumus ārpus darbības jomas
Citātu skaitīšana nepasaka, vai teksts starp tiem paliek uzticīgs avotiem. Funkcija detect_ungrounded_claims risina šo aklo zonu, izmantojot vienkāršu leksisku heuristiku: tā sadala atbildi teikumos, salīdzina vārdus, kas garāki par piecām rakstzīmēm katrā teikumā, ar apkopotajiem fragmentiem un atzīmē jebkuru teikumu, kurā mazāk nekā 30 % atslēgvārdu parādās avotos. Dokumentācijas asistentam teikumi, kas nonāk aizdomīgo saraksta augšgalā, parasti ir modeļa pievienotais „vispārīgo zināšanu” pildvielas teksts.
def detect_ungrounded_claims(response_text, source_snippets):
"""Detects sentences that do not match any snippet."""
import re
# Split response into sentences
sentences = re.split(r'[.!?]+', response_text)
sentences = [s.strip() for s in sentences if len(s.strip()) > 20]
# Concatenate all snippets into a single text
all_sources = " ".join(source_snippets).lower()
suspicious = []
for sentence in sentences:
# Extract significant keywords (> 5 chars)
keywords = [
w.lower() for w in sentence.split()
if len(w) > 5
]
# Check coverage
matches = sum(1 for kw in keywords if kw in all_sources)
coverage = matches / max(len(keywords), 1)
if coverage < 0.3: # Less than 30% of keywords found
suspicious.append({
"sentence": sentence,
"coverage": round(coverage, 2)
})
return suspicious
Izveido uzticamības cauruļvadu
Ražošanas vidē šīs pārbaudes nav tikai analīzes skripti: tās kļūst par vārtiem, caur kuriem atbildei jāiziet, pirms tā sasniedz lietotāju. Klase GroundedRAG ievieš šos vārtus. Tā ģenerē citētu atbildi, validē to un stingrā režīmā tieši noraida atbildes ar nepietiekamu pamatojumu, atgriežot skaidru statusu, nevis apšaubāmu tekstu. Uzticamības rezultāts apkopo trīs signālus — citātu esamību, avotu daudzveidību un blīvumu —, lai tava saskarne varētu parādīt uzticamības līmeni vai novirzīt zemas uzticamības gadījumus cilvēka pārskatīšanai.
class GroundedRAG:
"""RAG pipeline with grounding and validation."""
def __init__(self, client, model="mistral-large-latest"):
self.client = client
self.model = model
def query(self, question, references, strict=True):
"""Executes a RAG query with grounding validation."""
# 1. Generate response with citations
response = self._generate_with_citations(
question, references
)
# 2. Validate grounding
grounding = validate_grounding(response, min_citations=1)
# 3. In strict mode, reject ungrounded responses
if strict and not grounding["is_grounded"]:
return {
"status": "rejected",
"reason": "Response insufficiently grounded in sources",
"grounding_score": grounding
}
# 4. Return validated response
return {
"status": "ok",
"response": response,
"grounding_score": grounding,
"confidence": self._compute_confidence(grounding)
}
def _compute_confidence(self, grounding):
"""Calculates a confidence score based on grounding."""
score = 0.0
if grounding["has_citations"]:
score += 0.4
if grounding["unique_sources"] >= 2:
score += 0.3
if grounding["citations_per_1000_chars"] >= 1.0:
score += 0.3
return round(score, 2)
Uzraugi pamatojumu laika gaitā
Pamatots cauruļvads ražošanas pirmajā dienā laika gaitā var pasliktināties, jo dokumentācijas bāze noveco, tiek pielāgota uzvedne vai satiksme nobīdās uz slikti aptvertām tēmām. Pieci turpmāk minētie rādītāji tiek aprēķināti tieši no validate_grounding izvades un ir pelnījuši pastāvīgu informācijas paneli: tieši to novirze, nevis absolūtā vērtība, tevi brīdinās.
| Metrika | Ko tā mēra |
|---|---|
| Citēšanas biežums | To atbilžu procentuālā daļa, kas satur vismaz vienu citātu |
| Citēšanas blīvums | Vidējais citātu skaits uz 1000 rakstzīmēm |
| Avotu daudzveidība | Vidējais atšķirīgo avotu skaits vienā atbildē |
| Noraidījumu biežums | To atbilžu procentuālā daļa, kas noraidītas nepietiekama pamatojuma dēļ |
| Vidējais uzticamības rezultāts | Uzticamības rezultāta izmaiņas laika gaitā |
Galvenās atziņas
- Pamatojums ierobežo modeli, lai tas atbildētu tikai, izmantojot pārbaudītus avotus
- Stingra sistēmas uzvedne ir pirmā aizsardzības līnija pret halucinācijām
- Pēc ģenerēšanas veikta validēšana programmētiski pārbauda katras atbildes pamatojumu
- Apvieno šīs stratēģijas daudzslāņu uzticamības cauruļvadā
- Nepārtraukti uzraugi pamatojuma metrikas, lai noteiktu pasliktināšanos