Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Maanda vastuseid allikates ja vähenda hallutsinatsioone

Õppetund 10 / 16 Värskendatud 2. november 2026 Edasijõudnutele
Sellel lehel
  1. Hallutsinatsioonide probleem tootmises
  2. Süsteemi viip: sinu esimene kaitsejoon
  3. Kontrolli maandamist pärast genereerimist
  4. Tuvasta väited väljaspool ulatust
  5. Koosta usalduse torustik
  6. Jälgi maandamist ajas
  7. Peamised punktid

Hallutsinatsioonide probleem tootmises

Hallutsinatsioon on faktiliselt vale vastus, mis esitatakse õige vastuse kindlusega. Just see kindlustunne teebki selle ohtlikuks. Tugiteenuse chatbot, mis leiutab protseduuri, saadab kasutajad ummikusse; juriidiline assistent, mis viitab olematule seadusele, seab kliendi riski; meditsiiniline tööriist, mis soovitab valet annust, põhjustab reaalset kahju. Kõigil kolmel juhul ei anna vastuse vorming mingit märku probleemist.

Maandamine (grounding) lahendab selle riski, sundides mudelit baseerima oma vastuseid eranditult kontrollitud allikatel. Koos eelmistes tundides käsitletud tsiteerimissüsteemiga loob see mitmekihilise turvavõrgu: viip käsitleb oodatavat käitumist, tsitaatide parsimine võimaldab kontrolli ja torustik otsustab, kuidas käsitleda vastuseid, mis kontrolli ei läbi.

Süsteemi viip: sinu esimene kaitsejoon

Ebamäärane viip toodab ebamäärast maandamist. Sa pead sõnastama reeglid nagu spetsifikatsiooni: määratle allikate ulatus, anna täpne fraas, mida kasutada teabe puudumisel, keela lünkade täitmine üldteadmistega, nõua iga väite jaoks tsitaati ja täpsusta, kuidas käsitleda allikate vahelisi vastuolusid.

system_prompt = """
You are a specialized documentation assistant.

ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
   "This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""

See viip ei garanteeri nulli hallutsinatsiooni ja sa pead seda oma sidusrühmadele selgelt kommunikeerima: see vähendab nende esinemissagedust oluliselt. Mistrali mudelid, mis on treenitud maandamiseks, järgivad neid juhiseid suure vastavusmääraga. Kuid kõrge määr ei ole 100% määr, mistõttu on järgmised sammud vajalikud.

Kontrolli maandamist pärast genereerimist

Funktsioon validate_grounding muudab intuitsiooni – „kas see vastus paistab allikatele toetuvat?“ – mõõdikuks. See iteratsioonib läbi vastuse tükkide, liites ühelt poolt teksti pikkuse ja lugedes teiselt poolt tsitaate ja erinevaid allikaid. Seejärel tuletab see tiheduse, väljendatuna tsitaatidena tuhande märgi kohta. 2000-märgiline vastus vaid ühe viitega muutub kohe kahtlaseks, samas kui inimlik ülevaataja oleks võinud selle mööda lasta.

from mistralai.client.models import TextChunk, ReferenceChunk


def validate_grounding(response, min_citations=1):
    """Verifies that the response is grounded in sources."""
    content = response.choices[0].message.content

    text_length = 0
    citation_count = 0
    cited_refs = set()

    for chunk in content:
        if isinstance(chunk, TextChunk):
            text_length += len(chunk.text)
        elif isinstance(chunk, ReferenceChunk):
            citation_count += 1
            cited_refs.update(chunk.reference_ids)

    # Checks
    checks = {
        "has_citations": citation_count >= min_citations,
        "citation_count": citation_count,
        "unique_sources": len(cited_refs),
        "text_length": text_length,
        "citations_per_1000_chars": round(
            citation_count / max(text_length / 1000, 1), 1
        )
    }

    checks["is_grounded"] = checks["has_citations"]
    return checks


result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
    print("ALERT: Response potentially ungrounded!")
    print(f"  Citations found: {result['citation_count']}")

Tuvasta väited väljaspool ulatust

Tsitaatide lugemine ei ütle, kas nende vaheline tekst jääb allikatele truuks. Funktsioon detect_ungrounded_claims lahendab selle pimesoba lihtsa leksikaalse heuristikaga: see jagab vastuse lauseteks, võrdleb igas lauses üle viie märgi sõnu liidetud lõikudega ja märgistab iga lause, kus vähem kui 30% märksõnadest allikates esineb. Dokumentatsiooni assistendi puhul on kahtlaste nimekirja tippu tõusvad laused tüüpiliselt mudeli lisatud „üldteadmiste“ täidis.

def detect_ungrounded_claims(response_text, source_snippets):
    """Detects sentences that do not match any snippet."""
    import re

    # Split response into sentences
    sentences = re.split(r'[.!?]+', response_text)
    sentences = [s.strip() for s in sentences if len(s.strip()) > 20]

    # Concatenate all snippets into a single text
    all_sources = " ".join(source_snippets).lower()

    suspicious = []
    for sentence in sentences:
        # Extract significant keywords (> 5 chars)
        keywords = [
            w.lower() for w in sentence.split()
            if len(w) > 5
        ]
        # Check coverage
        matches = sum(1 for kw in keywords if kw in all_sources)
        coverage = matches / max(len(keywords), 1)

        if coverage < 0.3:  # Less than 30% of keywords found
            suspicious.append({
                "sentence": sentence,
                "coverage": round(coverage, 2)
            })

    return suspicious

Koosta usalduse torustik

Tootmises ei ole need kontrollid pelgalt analüüsiskriptid: need muutuvad väravaks, millest vastus peab enne kasutajani jõudmist läbi pääsema. Klass GroundedRAG rakendab seda väravat. See genereerib tsiteeritud vastuse, valideerib selle ja range režiimi korral lükkab ebapiisava maandamisega vastused otse tagasi, tagastades selge staatuse kahtlase teksti asemel. Usaldusväärsuse skoor koondab kolm signaali – tsitaatide olemasolu, allikate mitmekesisuse ja tiheduse –, nii et sinu liides saab kuvada usaldusväärsuse taset või suunata madala usaldusväärsusega juhtumid inimlikule ülevaatusele.

class GroundedRAG:
    """RAG pipeline with grounding and validation."""

    def __init__(self, client, model="mistral-large-latest"):
        self.client = client
        self.model = model

    def query(self, question, references, strict=True):
        """Executes a RAG query with grounding validation."""

        # 1. Generate response with citations
        response = self._generate_with_citations(
            question, references
        )

        # 2. Validate grounding
        grounding = validate_grounding(response, min_citations=1)

        # 3. In strict mode, reject ungrounded responses
        if strict and not grounding["is_grounded"]:
            return {
                "status": "rejected",
                "reason": "Response insufficiently grounded in sources",
                "grounding_score": grounding
            }

        # 4. Return validated response
        return {
            "status": "ok",
            "response": response,
            "grounding_score": grounding,
            "confidence": self._compute_confidence(grounding)
        }

    def _compute_confidence(self, grounding):
        """Calculates a confidence score based on grounding."""
        score = 0.0
        if grounding["has_citations"]:
            score += 0.4
        if grounding["unique_sources"] >= 2:
            score += 0.3
        if grounding["citations_per_1000_chars"] >= 1.0:
            score += 0.3
        return round(score, 2)

Jälgi maandamist ajas

Esimesel tootmispäeval hästi maandatud torustik võib ajas halveneda, kuna dokumentatsiooni baas vananeb, viipa kohandatakse või liiklus nihkub halvasti kaetud teemadele. Allpool toodud viis mõõdikut arvutatakse otse validate_grounding väljunditest ja väärivad püsivat armatuurlauda: just nende nihe, mitte absoluutväärtus, annab sulle hoiatuse.

MõõdikMida see mõõdab
Tsiteerimise määrProtsent vastustest, mis sisaldavad vähemalt üht tsitaati
Tsiteerimise tihedusTsitaatide keskmine arv 1000 märgi kohta
Allikate mitmekesisusErinevate allikate keskmine arv vastuse kohta
Tagasilükkamise määrProtsent vastustest, mis lükati tagasi ebapiisava maandamise tõttu
Keskmine usaldusväärsuse skoorUsaldusväärsuse skoori muutumine ajas

Peamised punktid

  • Maandamine sunnib mudelit vastama ainult kontrollitud allikatest
  • Range süsteemi viip on esimene kaitsejoon hallutsinatsioonide vastu
  • Järelgeneeriv valideerimine kontrollib programmeeritult iga vastuse maandamist
  • Kombineeri need strateegiad mitmetasandilises usalduse torustikus
  • Jälgi pidevalt maandamise mõõdikuid, et tuvastada halvenemist