Perustele vastaukset lähteisiin ja vähennä hallusinaatioita
Tällä sivulla
Hallusinaatio-ongelma tuotantoympäristössä
Hallusinaatio on faktuaalisesti virheellinen vastaus, joka esitetään oikean tiedon varmuudella. Juuri tämä varmuus tekee siitä vaarallisen. Tukea tarjoava chatbot, joka keksii menettelytavan, johdattaa käyttäjät umpikujaan; lakiasioiden avustaja, joka viittaa olemattomaan lakiin, altistaa asiakkaasi riskille; lääketieteellinen työkalu, joka suosittelee väärää annostusta, aiheuttaa todellista haittaa. Missään näistä tapauksista vastauksen muoto ei signaloi ongelmaa.
Perustelu (Grounding) ratkaisee tämän riskin pakottamalla mallin perustamaan vastauksensa yksinomaan varmennettuihin lähteisiin. Yhdistettynä aiemmissa oppitunneissa käsiteltyyn viitejärjestelmään se luo monikerroksisen turvaverkon: kehote määrittelee odotetun käyttäytymisen, viitteiden jäsentäminen mahdollistaa tarkistamisen ja putki päättää, miten käsitellään vastaukset, jotka eivät läpäise tarkistusta.
Järjestelmäkehote: ensimmäinen puolustuslinjasi
Epämääräinen kehote tuottaa epämääräistä perustelua. Sinun on ilmoitettava säännöt kuin spesifikaatiossa: määrittele lähteiden scope, anna tarkka lause, jota käytetään tiedon puuttuessa, kiellä aukkojen täyttäminen yleisellä tiedolla, vaadi viitteet jokaiselle väittämälle ja määrittele, miten käsitellään lähteiden väliset ristiriidat.
system_prompt = """
You are a specialized documentation assistant.
ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
"This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""
Tämä kehote ei takaa nollahallusinaatioita, ja sinun on oltava tästä selkeä sidosryhmiesi kanssa: se vähentää niiden esiintymistiheyttä merkittävästi. Mistral-mallit, jotka on koulutettu perusteluun, noudattavat näitä ohjeita korkealla vaatimustenmukaisuusasteella. Korkea aste ei kuitenkaan ole 100 prosentin aste, minkä vuoksi seuraavat vaiheet ovat välttämättömiä.
Varmista perustelu generoinnin jälkeen
validate_grounding-funktio muuttaa intuition – “näyttääkö tämä vastaus lähteistetyltä?” – mittariksi. Se käy läpi vastausosat, laskee toisella puolella tekstin pituuden ja toisella puolella viitteiden ja erillisten lähteiden määrän. Sen jälkeen se johtaa tiheyden, joka ilmaistaan viitteinä tuhatta merkkiä kohden. 2 000 merkin vastaus, jossa on vain yksi viite, muuttuu välittömästi epäilyttäväksi, kun taas ihmistarkastaja olisi saattanut ohittaa sen.
from mistralai.client.models import TextChunk, ReferenceChunk
def validate_grounding(response, min_citations=1):
"""Verifies that the response is grounded in sources."""
content = response.choices[0].message.content
text_length = 0
citation_count = 0
cited_refs = set()
for chunk in content:
if isinstance(chunk, TextChunk):
text_length += len(chunk.text)
elif isinstance(chunk, ReferenceChunk):
citation_count += 1
cited_refs.update(chunk.reference_ids)
# Checks
checks = {
"has_citations": citation_count >= min_citations,
"citation_count": citation_count,
"unique_sources": len(cited_refs),
"text_length": text_length,
"citations_per_1000_chars": round(
citation_count / max(text_length / 1000, 1), 1
)
}
checks["is_grounded"] = checks["has_citations"]
return checks
result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
print("ALERT: Response potentially ungrounded!")
print(f" Citations found: {result['citation_count']}")
Tunnista väittämät skopen ulkopuolelta
Viitteiden laskeminen ei kerro, pysyykö niiden välinen teksti uskollisena lähteille. detect_ungrounded_claims ratkaisee tämän sokean pisteen yksinkertaisella leksikaalisella heuristiikalla: se jakaa vastauksen lauseisiin, vertaa jokaisen lauseen yli viiden merkin pituisia sanoja yhdistettyihin katkelmiin ja merkitsee lipulla kaikki lauseet, joissa alle 30 % avainsanoista esiintyy lähteissä. Dokumentaatioavustajalla epäilyttävien lauseiden listan kärkeen nousevat tyypillisesti mallin lisäämät “yleisen tiedon” täytteet.
def detect_ungrounded_claims(response_text, source_snippets):
"""Detects sentences that do not match any snippet."""
import re
# Split response into sentences
sentences = re.split(r'[.!?]+', response_text)
sentences = [s.strip() for s in sentences if len(s.strip()) > 20]
# Concatenate all snippets into a single text
all_sources = " ".join(source_snippets).lower()
suspicious = []
for sentence in sentences:
# Extract significant keywords (> 5 chars)
keywords = [
w.lower() for w in sentence.split()
if len(w) > 5
]
# Check coverage
matches = sum(1 for kw in keywords if kw in all_sources)
coverage = matches / max(len(keywords), 1)
if coverage < 0.3: # Less than 30% of keywords found
suspicious.append({
"sentence": sentence,
"coverage": round(coverage, 2)
})
return suspicious
Kokoa luottamusputki
Tuotannossa nämä tarkistukset eivät ole vain analyysiskriptejä: niistä tulee portti, jonka vastauksen on läpäistävä ennen kuin se saavuttaa käyttäjän. GroundedRAG-luokka toteuttaa tämän portin. Se generoi viitatun vastauksen, validoi sen ja tiukassa tilassa hylkää suoraan vastaukset, joissa perustelu on riittämätön, palauttaen eksplisiittisen tilan epäilyttävän tekstin sijaan. Luottamuspistemäärä aggregoi kolme signaalia – viitteiden olemassaolon, lähteiden monimuotoisuuden ja tiheyden – jotta käyttöliittymäsi voi näyttää luotettavuustason tai reitittää matalan luottamuksen tapaukset ihmistarkasteluun.
class GroundedRAG:
"""RAG pipeline with grounding and validation."""
def __init__(self, client, model="mistral-large-latest"):
self.client = client
self.model = model
def query(self, question, references, strict=True):
"""Executes a RAG query with grounding validation."""
# 1. Generate response with citations
response = self._generate_with_citations(
question, references
)
# 2. Validate grounding
grounding = validate_grounding(response, min_citations=1)
# 3. In strict mode, reject ungrounded responses
if strict and not grounding["is_grounded"]:
return {
"status": "rejected",
"reason": "Response insufficiently grounded in sources",
"grounding_score": grounding
}
# 4. Return validated response
return {
"status": "ok",
"response": response,
"grounding_score": grounding,
"confidence": self._compute_confidence(grounding)
}
def _compute_confidence(self, grounding):
"""Calculates a confidence score based on grounding."""
score = 0.0
if grounding["has_citations"]:
score += 0.4
if grounding["unique_sources"] >= 2:
score += 0.3
if grounding["citations_per_1000_chars"] >= 1.0:
score += 0.3
return round(score, 2)
Seuraa perustelua ajan myötä
Ensimmäisenä tuotantopäivänä hyvin perusteltu putki voi heiketä ajan myötä, koska dokumentaatiokanta vanhentuu, koska kehotetta on hienosäädetty tai koska liikenne siirtyy huonosti katettuihin aiheisiin. Alla olevat viisi mittaria lasketaan suoraan validate_grounding-funktion tulosteista ja ne ansaitsevat pysyvän paikan kojetaululla: juuri niiden drift, ei niiden absoluuttinen arvo, hälyttää sinua.
| Mittari | Mitä se mittaa |
|---|---|
| Viiteaste | Prosenttiosuus vastauksista, jotka sisältävät vähintään yhden viitteen |
| Viitetiheys | Viitteiden keskimääräinen määrä tuhatta merkkiä kohden |
| Lähteiden monimuotoisuus | Eri lähteiden keskimääräinen määrä vastausta kohden |
| Hylkäysaste | Prosenttiosuus vastauksista, jotka hylättiin riittämättömän perustelun vuoksi |
| Keskimääräinen luottamuspistemäärä | Luottamuspistemäärän kehitys ajan myötä |
Keskeiset asiat
- Perustelu pakottaa mallin vastaamaan vain varmennettujen lähteiden pohjalta
- Tiukka järjestelmäkehote on ensimmäinen puolustuslinja hallusinaatioita vastaan
- Generoinnin jälkeinen validointi tarkistaa ohjelmallisesti jokaisen vastauksen perustelun
- Yhdistä nämä strategiat monitasoiseen luottamusputkeen
- Seuraa perustelumittareita jatkuvasti heikkenemisen havaitsemiseksi