A válaszok forrásokhoz kötése és a hallucinációk csökkentése
Ezen az oldalon
A hallucináció problémája éles környezetben
A hallucináció ténybeli tévedés, amelyet a modell magabiztosan közöl, mintha helyes lenne. Pontosan ez a magabiztosság teszi veszélyessé. Egy ügyfélszolgálati chatbot, amely kitalál egy eljárást, zsákutcába küldi a felhasználót; egy jogi asszisztens, amely nem létező törvényre hivatkozik, kockázatnak teszi ki az ügyfelet; egy orvosi eszköz, amely rossz adagolást javasol, valós kárt okoz. A három esetben egyik válaszformátum sem jelzi a problémát.
A forrásokhoz kötés (grounding) ezt a kockázatot kezeli azzal, hogy a modellt kizárólag ellenőrzött források alapján történő válaszadásra kényszeríti. Az előző leckékben tárgyalt idézési rendszerrel kombinálva többrétegű biztonsági hálót alkot: a prompt meghatározza az elvárt viselkedést, az idézések elemzése lehetővé teszi az ellenőrzést, a folyamat pedig eldönti, hogyan kezelje az ellenőrzésen megbukó válaszokat.
A rendszerprompt: az első védelmi vonal
A bizonytalan prompt bizonytalan forráskötést eredményez. A szabályokat specifikációként kell megfogalmaznod: határozd meg a források körét, add meg a pontos kifejezést hiányzó információ esetén, tiltsd meg az általános tudás alapján történő kiegészítést, írj elő idézést minden állításhoz, és specifikáld az ellentmondó források kezelését.
system_prompt = """
You are a specialized documentation assistant.
ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
"This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""
Ez a prompt nem garantálja a nulla hallucinációt, és ezt egyértelműen közölnöd kell az érintettekkel: jelentősen csökkenti azok gyakoriságát. A Mistral modellek, amelyeket forráskötésre képeztek ki, nagy megfelelési aránnyal követik ezeket az utasításokat. A nagy arány azonban nem 100%-os, ezért szükségesek a következő lépések.
A forráskötés ellenőrzése generálás után
A validate_grounding függvény az „úgy tűnik, ez forrásolt?“ intuícióból mérőszámot készít. Végigiterál a válaszblokkokon, összeadja a szöveghosszt az egyik oldalon, a másik oldalon pedig megszámolja az idézéseket és az egyedi forrásokat. Ezután sűrűséget számít ki, amelyet ezer karakterenkénti idézésként fejez ki. Egy 2000 karakteres válasz, amelyben csak egy hivatkozás van, azonnal gyanússá válik, amit egy emberi ellenőr esetleg elmulasztott volna.
from mistralai.client.models import TextChunk, ReferenceChunk
def validate_grounding(response, min_citations=1):
"""Verifies that the response is grounded in sources."""
content = response.choices[0].message.content
text_length = 0
citation_count = 0
cited_refs = set()
for chunk in content:
if isinstance(chunk, TextChunk):
text_length += len(chunk.text)
elif isinstance(chunk, ReferenceChunk):
citation_count += 1
cited_refs.update(chunk.reference_ids)
# Checks
checks = {
"has_citations": citation_count >= min_citations,
"citation_count": citation_count,
"unique_sources": len(cited_refs),
"text_length": text_length,
"citations_per_1000_chars": round(
citation_count / max(text_length / 1000, 1), 1
)
}
checks["is_grounded"] = checks["has_citations"]
return checks
result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
print("ALERT: Response potentially ungrounded!")
print(f" Citations found: {result['citation_count']}")
A hatókörön kívüli állítások azonosítása
Az idézések megszámolása nem árulja el, hogy a közöttük lévő szöveg hű marad-e a forrásokhoz. A detect_ungrounded_claims ezt a vakfoltot küszöböli ki egy egyszerű lexikális heurisztikával: mondatokra bontja a választ, összehasonlítja az öt karakternél hosszabb szavakat minden mondatban az összefűzött kivonatokkal, és megjelöli azokat a mondatokat, ahol a kulcsszavak kevesebb mint 30%-a szerepel a forrásokban. Dokumentációs asszisztens esetén a gyanús lista élére általában azok a mondatok kerülnek, amelyeket a modell „általános tudás“ kitöltésként adott hozzá.
def detect_ungrounded_claims(response_text, source_snippets):
"""Detects sentences that do not match any snippet."""
import re
# Split response into sentences
sentences = re.split(r'[.!?]+', response_text)
sentences = [s.strip() for s in sentences if len(s.strip()) > 20]
# Concatenate all snippets into a single text
all_sources = " ".join(source_snippets).lower()
suspicious = []
for sentence in sentences:
# Extract significant keywords (> 5 chars)
keywords = [
w.lower() for w in sentence.split()
if len(w) > 5
]
# Check coverage
matches = sum(1 for kw in keywords if kw in all_sources)
coverage = matches / max(len(keywords), 1)
if coverage < 0.3: # Less than 30% of keywords found
suspicious.append({
"sentence": sentence,
"coverage": round(coverage, 2)
})
return suspicious
Megbízhatósági folyamat összeállítása
Éles környezetben ezek az ellenőrzések nem csupán elemző szkriptek: kapuvá válnak, amelyen a válasznak át kell haladnia, mielőtt elérné a felhasználót. A GroundedRAG osztály valósítja meg ezt a kaput. Generálja az idézett választ, ellenőrzi azt, és szigorú módban egyenesen elutasítja a nem megfelelően forrásolt válaszokat, explicit státuszt visszaadva a kétes szöveg helyett. A megbízhatósági pontszám három jelet aggregál – az idézések jelenlétét, a források sokszínűségét és a sűrűséget –, így a felületed megjeleníthet egy megbízhatósági szintet, vagy emberi felülvizsgálatra irányíthatja az alacsony megbízhatóságú eseteket.
class GroundedRAG:
"""RAG pipeline with grounding and validation."""
def __init__(self, client, model="mistral-large-latest"):
self.client = client
self.model = model
def query(self, question, references, strict=True):
"""Executes a RAG query with grounding validation."""
# 1. Generate response with citations
response = self._generate_with_citations(
question, references
)
# 2. Validate grounding
grounding = validate_grounding(response, min_citations=1)
# 3. In strict mode, reject ungrounded responses
if strict and not grounding["is_grounded"]:
return {
"status": "rejected",
"reason": "Response insufficiently grounded in sources",
"grounding_score": grounding
}
# 4. Return validated response
return {
"status": "ok",
"response": response,
"grounding_score": grounding,
"confidence": self._compute_confidence(grounding)
}
def _compute_confidence(self, grounding):
"""Calculates a confidence score based on grounding."""
score = 0.0
if grounding["has_citations"]:
score += 0.4
if grounding["unique_sources"] >= 2:
score += 0.3
if grounding["citations_per_1000_chars"] >= 1.0:
score += 0.3
return round(score, 2)
A forráskötés monitorozása időben
Az első napon még jól működő forrásolt folyamat idővel romolhat: mert a dokumentációs bázis elavul, mert módosítottak egy promptot, vagy mert a forgalom gyengébben lefedett témák felé tolódik el. Az alábbi öt mérőszám közvetlenül a validate_grounding kimeneteiből számolható, és érdemes állandó dashboardon megjeleníteni őket: nem az abszolút értékük, hanem az elmozdulásuk (drift) az, ami figyelmeztet.
| Mérőszám | Mit mér |
|---|---|
| Idézési arány | Legalább egy idézést tartalmazó válaszok százaléka |
| Idézési sűrűség | Átlagos idézések száma 1000 karakterenként |
| Források sokszínűsége | Átlagos egyedi források száma válaszonként |
| Elutasítási arány | Nem megfelelő forrásolás miatt elutasított válaszok százaléka |
| Átlagos megbízhatósági pontszám | A megbízhatósági pontszám alakulása időben |
Főbb megállapítások
- A forrásokhoz kötés arra kényszeríti a modellt, hogy kizárólag ellenőrzött forrásokból válaszoljon
- A szigorú rendszerprompt az első védelmi vonal a hallucinációk ellen
- A generálás utáni ellenőrzés programozottan verifies minden válasz forráskötését
- Kombináld ezeket a stratégiákat egy többszintű megbízhatósági folyamatban
- Folyamatosan monitorozd a forráskötési mérőszámokat a romlás észlelésére