Εδραίωση απαντήσεων σε πηγές και μείωση παραισθήσεων
Σε αυτήν τη σελίδα
Το πρόβλημα των παραισθήσεων στην παραγωγή
Μια παραίσθηση (hallucination) είναι μια απάντηση πραγματικά λανθασμένη, η οποία όμως παρουσιάζεται με τη βεβαιότητα μιας σωστής. Ακριβώς αυτή η βεβαιότητα την καθιστά επικίνδυνη. Ένα chatbot υποστήριξης που επινοεί μια διαδικασία οδηγεί τους χρήστες σε αδιέξοδο· ένας νομικός βοηθός που παραπέμπει σε ανύπαρκτο νόμο εκθέτει τον πελάτη σας σε κίνδυνο· ένα ιατρικό εργαλείο που συνιστά λανθασμένη δοσολογία προκαλεί πραγματική βλάβη. Και στις τρεις περιπτώσεις, τίποτα στη μορφή της απάντησης δεν σηματοδοτεί το πρόβλημα.
Η εδραίωση (Grounding) αντιμετωπίζει αυτόν τον κίνδυνο περιορίζοντας το μοντέλο να βασίζει τις απαντήσεις του αποκλειστικά σε επαληθευμένες πηγές. Σε συνδυασμό με το σύστημα παραπομπών που καλύψατε σε προηγούμενα μαθήματα, δημιουργείται ένα πολυεπίπεδο δίχτυ ασφαλείας: η εντολή (prompt) ορίζει την αναμενόμενη συμπεριφορά, η ανάλυση παραπομπών επιτρέπει την επαλήθευση και η ροή εργασίας (pipeline) αποφασίζει πώς θα διαχειριστεί τις απαντήσεις που αποτυγχάνουν στον έλεγχο.
Η εντολή συστήματος: η πρώτη σας γραμμή άμυνας
Μια αόριστη εντολή παράγει αόριστη εδραίωση. Πρέπει να διατυπώσετε τους κανόνες όπως μια προδιαγραφή: ορίστε το εύρος των πηγών, παρέχετε την ακριβή φράση για χρήση όταν λείπουν πληροφορίες, απαγορεύστε τη συμπλήρωση κενών με γενικές γνώσεις, απαιτήστε παραπομπές για κάθε ισχυρισμό και καθορίστε πώς θα διαχειριστείτε τις αντιφάσεις μεταξύ πηγών.
system_prompt = """
You are a specialized documentation assistant.
ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
"This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""
Αυτή η εντολή δεν εγγυάται μηδενικές παραισθήσεις και πρέπει να είστε σαφείς σχετικά με αυτό στους ενδιαφερόμενους φορείς σας: μειώνει σημαντικά τη συχνότητά τους. Τα μοντέλα Mistral, εκπαιδευμένα για εδραίωση, ακολουθούν αυτές τις οδηγίες με υψηλό ποσοστό συμμόρφωσης. Ωστόσο, ένα υψηλό ποσοστό δεν είναι 100%, γι’ αυτό και τα επόμενα βήματα είναι απαραίτητα.
Επαλήθευση της εδραίωσης μετά τη δημιουργία
Η συνάρτηση validate_grounding μετατρέπει μια διαίσθηση—«φαίνεται αυτή η απάντηση τεκμηριωμένη;»—σε μετρική. Διατρέχει τα τμήματα της απάντησης, αθροίζοντας το μήκος του κειμένου από τη μία πλευρά και μετρώντας τις παραπομπές και τις διακριτές πηγές από την άλλη. Στη συνέχεια, εξάγει μια πυκνότητα εκφρασμένη ως παραπομπές ανά χίλιους χαρακτήρες. Μια απάντηση 2.000 χαρακτήρων με μόνο μία παραπομπή καθίσταται αμέσως ύποπτη, ενώ ένας ανθρώπινος ελεγκτής θα μπορούσε να την είχε προσπεράσει.
from mistralai.client.models import TextChunk, ReferenceChunk
def validate_grounding(response, min_citations=1):
"""Verifies that the response is grounded in sources."""
content = response.choices[0].message.content
text_length = 0
citation_count = 0
cited_refs = set()
for chunk in content:
if isinstance(chunk, TextChunk):
text_length += len(chunk.text)
elif isinstance(chunk, ReferenceChunk):
citation_count += 1
cited_refs.update(chunk.reference_ids)
# Checks
checks = {
"has_citations": citation_count >= min_citations,
"citation_count": citation_count,
"unique_sources": len(cited_refs),
"text_length": text_length,
"citations_per_1000_chars": round(
citation_count / max(text_length / 1000, 1), 1
)
}
checks["is_grounded"] = checks["has_citations"]
return checks
result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
print("ALERT: Response potentially ungrounded!")
print(f" Citations found: {result['citation_count']}")
Εντοπισμός ισχυρισμών εκτός εμβέλειας
Η μέτρηση των παραπομπών δεν σας λέει εάν το κείμενο μεταξύ αυτών παραμένει πιστό στις πηγές. Η συνάρτηση detect_ungrounded_claims αντιμετωπίζει αυτό το τυφλό σημείο με μια απλή λεκτική ευρετική μέθοδο: χωρίζει την απάντηση σε προτάσεις, συγκρίνει λέξεις μεγαλύτερες από πέντε χαρακτήρες σε κάθε πρόταση με τα συνημμένα αποσπάσματα και επισημαίνει κάθε πρόταση όπου λιγότερο από το 30% των λέξεων-κλειδιών εμφανίζονται στις πηγές. Για έναν βοηθό τεκμηρίωσης, οι προτάσεις που αναδύονται στην κορυφή της λίστας υπόπτων είναι συνήθως το «γέμισμα» γενικών γνώσεων που προστέθηκε από το μοντέλο.
def detect_ungrounded_claims(response_text, source_snippets):
"""Detects sentences that do not match any snippet."""
import re
# Split response into sentences
sentences = re.split(r'[.!?]+', response_text)
sentences = [s.strip() for s in sentences if len(s.strip()) > 20]
# Concatenate all snippets into a single text
all_sources = " ".join(source_snippets).lower()
suspicious = []
for sentence in sentences:
# Extract significant keywords (> 5 chars)
keywords = [
w.lower() for w in sentence.split()
if len(w) > 5
]
# Check coverage
matches = sum(1 for kw in keywords if kw in all_sources)
coverage = matches / max(len(keywords), 1)
if coverage < 0.3: # Less than 30% of keywords found
suspicious.append({
"sentence": sentence,
"coverage": round(coverage, 2)
})
return suspicious
Συναρμολόγηση μιας ροής εργασίας εμπιστοσύνης
Στην παραγωγή, αυτοί οι έλεγχοι δεν είναι απλώς σενάρια ανάλυσης: γίνονται μια πύλη την οποία η απάντηση πρέπει να περάσει πριν φτάσει στον χρήστη. Η κλάση GroundedRAG υλοποιεί αυτή την πύλη. Δημιουργεί την απάντηση με παραπομπές, την επικυρώνει και, σε αυστηρή λειτουργία, απορρίπτει outright τις απαντήσεις με ανεπαρκή εδραίωση, επιστρέφοντας μια ρητή κατάσταση αντί για αμφίβολο κείμενο. Η βαθμολογία εμπιστοσύνης συγκεντρώνει τρία σήματα—παρουσία παραπομπών, ποικιλομορφία πηγών και πυκνότητα—ώστε η διεπαφή σας να μπορεί να εμφανίζει ένα επίπεδο αξιοπιστίας ή να δρομολογεί περιπτώσεις χαμηλής εμπιστοσύνης για ανθρώπινη αναθεώρηση.
class GroundedRAG:
"""RAG pipeline with grounding and validation."""
def __init__(self, client, model="mistral-large-latest"):
self.client = client
self.model = model
def query(self, question, references, strict=True):
"""Executes a RAG query with grounding validation."""
# 1. Generate response with citations
response = self._generate_with_citations(
question, references
)
# 2. Validate grounding
grounding = validate_grounding(response, min_citations=1)
# 3. In strict mode, reject ungrounded responses
if strict and not grounding["is_grounded"]:
return {
"status": "rejected",
"reason": "Response insufficiently grounded in sources",
"grounding_score": grounding
}
# 4. Return validated response
return {
"status": "ok",
"response": response,
"grounding_score": grounding,
"confidence": self._compute_confidence(grounding)
}
def _compute_confidence(self, grounding):
"""Calculates a confidence score based on grounding."""
score = 0.0
if grounding["has_citations"]:
score += 0.4
if grounding["unique_sources"] >= 2:
score += 0.3
if grounding["citations_per_1000_chars"] >= 1.0:
score += 0.3
return round(score, 2)
Παρακολούθηση της εδραίωσης με την πάροδο του χρόνου
Μια ροή εργασίας εδραίωσης την πρώτη ημέρα της παραγωγής μπορεί να υποβαθμιστεί με την πάροδο του χρόνου, επειδή η βάση τεκμηρίωσης παλαιώνει, επειδή μια εντολή τροποποιήθηκε ή επειδή η κίνηση μετατοπίζεται σε θέματα με κακή κάλυψη. Οι πέντε μετρικές παρακάτω υπολογίζονται απευθείας από τις εξόδους της validate_grounding και αξίζουν έναν μόνιμο πίνακα ελέγχου (dashboard): είναι η απόκλισή τους, περισσότερο από την απόλυτη τιμή τους, που σας ειδοποιεί.
| Μετρική | Τι μετρά |
|---|---|
| Ποσοστό παραπομπών | Ποσοστό απαντήσεων που περιέχουν τουλάχιστον μία παραπομπή |
| Πυκνότητα παραπομπών | Μέσος αριθμός παραπομπών ανά 1.000 χαρακτήρες |
| Ποικιλομορφία πηγών | Μέσος αριθμός διακριτών πηγών ανά απάντηση |
| Ποσοστό απόρριψης | Ποσοστό απαντήσεων που απορρίφθηκαν λόγω ανεπαρκούς εδραίωσης |
| Μέση βαθμολογία εμπιστοσύνης | Εξέλιξη της βαθμολογίας εμπιστοσύνης με την πάροδο του χρόνου |
Βασικά σημεία
- Η εδραίωση περιορίζει το μοντέλο να απαντά μόνο βάσει επαληθευμένων πηγών
- Μια αυστηρή εντολή συστήματος αποτελεί την πρώτη γραμμή άμυνας κατά των παραισθήσεων
- Η επαλήθευση μετά τη δημιουργία ελέγχει προγραμματιστικά την εδραίωση κάθε απάντησης
- Συνδυάστε αυτές τις στρατηγικές σε μια πολυεπίπεδη ροή εργασίας εμπιστοσύνης
- Παρακολουθείτε συνεχώς τις μετρικές εδραίωσης για να εντοπίσετε υποβάθμιση