Įtvirtinti atsakymus šaltiniuose ir sumažinti haliucinacijas
Šiame puslapyje
Haliucinacijų problema gamyboje
Haliucinacija – tai faktiškai neteisingas atsakymas, pateikiamas su tokia pačia įsitikinimo jėga kaip ir teisingas. Būtent šis pasitikėjimas savimi daro ją pavojinga. Pagalbos pokalbių robotas, išgalvojantis procedūrą, nukreipia vartotojus į aklavietę; teisinis asistentas, cituojantis neegzistuojantį įstatymą, eksponuoja jūsų klientą rizikai; medicinos įrankis, rekomenduojantis neteisingą dozę, sukelia realią žalą. Visais trim atvejais niekas atsakymo formate nesignalizuoja apie problemą.
Įtvirtinimas (Grounding) sprendžia šią riziką, apribodamas modelį taip, kad jis savo atsakymus grįstų išskirtinai patikrintais šaltiniais. Kartu su ankstesnėse pamokose nagrinėta citavimo sistema tai sukuria daugiasluoksnį saugos tinklą: užklausa apibrėžia laukiamą elgesį, citavimų analizė leidžia atlikti patikrinimą, o duomenų srautas nusprendžia, kaip tvarkyti atsakymus, kurie šio patikrinimo neatlaiko.
Sistemos užklausa: jūsų pirmoji gynybos linija
Neaiški užklausa gimdo neaiškų įtvirtinimą. Taisykles turi suformuluoti kaip techninę specifikaciją: apibrėžk šaltinių aprėptį, pateik tikslią frazę, kurią naudoti trūkstant informacijos, uždrausk pildyti spragas bendrosiomis žiniomis, reikalauk citatos kiekvienam teiginiui ir nurodyk, kaip elgtis esant prieštaravimams tarp šaltinių.
system_prompt = """
You are a specialized documentation assistant.
ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
"This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""
Ši užklausa negarantuoja visiško haliucinacijų nebuvimo, ir apie tai turite aiškiai informuoti savo suinteresuotąsias šalis: ji žymiai sumažina jų dažnumą. „Mistral“ modeliai, mokyti įtvirtinimo, šias instrukcijas vykdo labai tiksliai. Tačiau didelis tikslumas nėra 100 % tikslumas, todėl būtini šie tolesni veiksmai.
Patikrinkite įtvirtinimą po generavimo
Funkcija validate_grounding paverčia intuiciją – „ar šis atsakymas atrodo paremtas šaltiniais?“ – į metriką. Ji iteruoja per atsakymo fragmentus, vienoje pusėje sumuodama teksto ilgį, o kitoje skaičiuodama citatas ir unikalius šaltinius. Tada ji apskaičiuoja tankumą, išreiškiamą citatų skaičiumi tūkstančiui simbolių. 2000 simbolių atsakymas su tik viena nuoroda iškart kelia įtarimų, nors žmogus recenzentas tai galėjo ir praleisti.
from mistralai.client.models import TextChunk, ReferenceChunk
def validate_grounding(response, min_citations=1):
"""Verifies that the response is grounded in sources."""
content = response.choices[0].message.content
text_length = 0
citation_count = 0
cited_refs = set()
for chunk in content:
if isinstance(chunk, TextChunk):
text_length += len(chunk.text)
elif isinstance(chunk, ReferenceChunk):
citation_count += 1
cited_refs.update(chunk.reference_ids)
# Checks
checks = {
"has_citations": citation_count >= min_citations,
"citation_count": citation_count,
"unique_sources": len(cited_refs),
"text_length": text_length,
"citations_per_1000_chars": round(
citation_count / max(text_length / 1000, 1), 1
)
}
checks["is_grounded"] = checks["has_citations"]
return checks
result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
print("ALERT: Response potentially ungrounded!")
print(f" Citations found: {result['citation_count']}")
Nustatykite teiginius, išeinančius už ribų
Citatų skaičiavimas nepasako, ar tekstas tarp jų lieka ištikimas šaltiniams. Funkcija detect_ungrounded_claims sprendžia šią akląją zoną naudodama paprastą leksinę heuristiką: ji suskaido atsakymą į sakinius, palygina kiekviename sakinyje esančius žodžius, ilgesnius nei penkios raidės, su sujungtais ištraukomis ir pažymi bet kurį sakinį, kuriame mažiau nei 30 % raktažodžių randama šaltiniuose. Dokumentacijos asistentui įtartinų sąrašo viršuje dažniausiai atsiduria sakiniai, kurie yra modelio pridėtas „bendrųjų žinių“ turinys.
def detect_ungrounded_claims(response_text, source_snippets):
"""Detects sentences that do not match any snippet."""
import re
# Split response into sentences
sentences = re.split(r'[.!?]+', response_text)
sentences = [s.strip() for s in sentences if len(s.strip()) > 20]
# Concatenate all snippets into a single text
all_sources = " ".join(source_snippets).lower()
suspicious = []
for sentence in sentences:
# Extract significant keywords (> 5 chars)
keywords = [
w.lower() for w in sentence.split()
if len(w) > 5
]
# Check coverage
matches = sum(1 for kw in keywords if kw in all_sources)
coverage = matches / max(len(keywords), 1)
if coverage < 0.3: # Less than 30% of keywords found
suspicious.append({
"sentence": sentence,
"coverage": round(coverage, 2)
})
return suspicious
Surinkite patikimumo duomenų srautą
Gamyboje šie patikrinimai yra ne tik analizės scenarijai: jie tampa vartais, kuriuos atsakymas privalo pereiti prieš pasiekdamas vartotoją. Klasė GroundedRAG įgyvendina šiuos vartus. Ji sugeneruoja cituojamą atsakymą, jį patikrina ir griežtu režimu tiesiogiai atmeta atsakymus, kurių įtvirtinimas nepakankamas, grąžindama aiškų būsenos kodą vietoj abejotino teksto. Pasitikėjimo balas apjungia tris signalus – citatų buvimą, šaltinių įvairovę ir tankumą – kad jūsų sąsaja galėtų rodyti patikimumo lygį arba nukreipti mažo pasitikėjimo atvejus žmogaus peržiūrai.
class GroundedRAG:
"""RAG pipeline with grounding and validation."""
def __init__(self, client, model="mistral-large-latest"):
self.client = client
self.model = model
def query(self, question, references, strict=True):
"""Executes a RAG query with grounding validation."""
# 1. Generate response with citations
response = self._generate_with_citations(
question, references
)
# 2. Validate grounding
grounding = validate_grounding(response, min_citations=1)
# 3. In strict mode, reject ungrounded responses
if strict and not grounding["is_grounded"]:
return {
"status": "rejected",
"reason": "Response insufficiently grounded in sources",
"grounding_score": grounding
}
# 4. Return validated response
return {
"status": "ok",
"response": response,
"grounding_score": grounding,
"confidence": self._compute_confidence(grounding)
}
def _compute_confidence(self, grounding):
"""Calculates a confidence score based on grounding."""
score = 0.0
if grounding["has_citations"]:
score += 0.4
if grounding["unique_sources"] >= 2:
score += 0.3
if grounding["citations_per_1000_chars"] >= 1.0:
score += 0.3
return round(score, 2)
Stebėkite įtvirtinimą laikui bėgant
Pirmąją gamybos dieną veikiantis įtvirtintas duomenų srautas laikui bėgant gali prastėti, nes sensta dokumentacijos bazė, pakoreguojama užklausa arba srautas pasislenka link prastai aprėptų temų. Šios penkios metrikos apskaičiuojamos tiesiogiai iš validate_grounding išvesties ir nusipelno nuolatinio skydelio: būtent jų pokyčiai, o ne absoliučios vertės, jus įspėja.
| Metrika | Ką ji matuoja |
|---|---|
| Citatų dažnis | Atsakymų, turinčių bent vieną citatą, procentinė dalis |
| Citatų tankis | Vidutinis citatų skaičius 1000 simbolių |
| Šaltinių įvairovė | Vidutinis unikalių šaltinių skaičius vienam atsakymui |
| Atmetimo dažnis | Atsakymų, atmestų dėl nepakankamo įtvirtinimo, procentinė dalis |
| Vidutinis pasitikėjimo balas | Pasitikėjimo balo kitimas laikui bėgant |
Svarbiausi punktai
- Įtvirtinimas apriboja modelį atsakyti tik remiantis patikrintais šaltiniais
- Griežta sistemos užklausa yra pirmoji gynybos linija prieš haliucinacijas
- Patikrinimas po generavimo programiškai patikrina kiekvieno atsakymo įtvirtinimą
- Derinkite šias strategijas daugialypiame patikimumo duomenų sraute
- Nuolat stebėkite įtvirtinimo metrikas, kad aptiktumėte degradaciją