Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Perustele vastaukset lähteisiin ja vähennä hallusinaatioita

Oppitunti 10 / 16 Päivitetty 2. marraskuuta 2026 Edistynyt
Tällä sivulla
  1. Hallusinaatio-ongelma tuotantoympäristössä
  2. Järjestelmäkehote: ensimmäinen puolustuslinjasi
  3. Varmista perustelu generoinnin jälkeen
  4. Tunnista väittämät skopen ulkopuolelta
  5. Kokoa luottamusputki
  6. Seuraa perustelua ajan myötä
  7. Keskeiset asiat

Hallusinaatio-ongelma tuotantoympäristössä

Hallusinaatio on faktuaalisesti virheellinen vastaus, joka esitetään oikean tiedon varmuudella. Juuri tämä varmuus tekee siitä vaarallisen. Tukea tarjoava chatbot, joka keksii menettelytavan, johdattaa käyttäjät umpikujaan; lakiasioiden avustaja, joka viittaa olemattomaan lakiin, altistaa asiakkaasi riskille; lääketieteellinen työkalu, joka suosittelee väärää annostusta, aiheuttaa todellista haittaa. Missään näistä tapauksista vastauksen muoto ei signaloi ongelmaa.

Perustelu (Grounding) ratkaisee tämän riskin pakottamalla mallin perustamaan vastauksensa yksinomaan varmennettuihin lähteisiin. Yhdistettynä aiemmissa oppitunneissa käsiteltyyn viitejärjestelmään se luo monikerroksisen turvaverkon: kehote määrittelee odotetun käyttäytymisen, viitteiden jäsentäminen mahdollistaa tarkistamisen ja putki päättää, miten käsitellään vastaukset, jotka eivät läpäise tarkistusta.

Järjestelmäkehote: ensimmäinen puolustuslinjasi

Epämääräinen kehote tuottaa epämääräistä perustelua. Sinun on ilmoitettava säännöt kuin spesifikaatiossa: määrittele lähteiden scope, anna tarkka lause, jota käytetään tiedon puuttuessa, kiellä aukkojen täyttäminen yleisellä tiedolla, vaadi viitteet jokaiselle väittämälle ja määrittele, miten käsitellään lähteiden väliset ristiriidat.

system_prompt = """
You are a specialized documentation assistant.

ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
   "This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""

Tämä kehote ei takaa nollahallusinaatioita, ja sinun on oltava tästä selkeä sidosryhmiesi kanssa: se vähentää niiden esiintymistiheyttä merkittävästi. Mistral-mallit, jotka on koulutettu perusteluun, noudattavat näitä ohjeita korkealla vaatimustenmukaisuusasteella. Korkea aste ei kuitenkaan ole 100 prosentin aste, minkä vuoksi seuraavat vaiheet ovat välttämättömiä.

Varmista perustelu generoinnin jälkeen

validate_grounding-funktio muuttaa intuition – “näyttääkö tämä vastaus lähteistetyltä?” – mittariksi. Se käy läpi vastausosat, laskee toisella puolella tekstin pituuden ja toisella puolella viitteiden ja erillisten lähteiden määrän. Sen jälkeen se johtaa tiheyden, joka ilmaistaan viitteinä tuhatta merkkiä kohden. 2 000 merkin vastaus, jossa on vain yksi viite, muuttuu välittömästi epäilyttäväksi, kun taas ihmistarkastaja olisi saattanut ohittaa sen.

from mistralai.client.models import TextChunk, ReferenceChunk


def validate_grounding(response, min_citations=1):
    """Verifies that the response is grounded in sources."""
    content = response.choices[0].message.content

    text_length = 0
    citation_count = 0
    cited_refs = set()

    for chunk in content:
        if isinstance(chunk, TextChunk):
            text_length += len(chunk.text)
        elif isinstance(chunk, ReferenceChunk):
            citation_count += 1
            cited_refs.update(chunk.reference_ids)

    # Checks
    checks = {
        "has_citations": citation_count >= min_citations,
        "citation_count": citation_count,
        "unique_sources": len(cited_refs),
        "text_length": text_length,
        "citations_per_1000_chars": round(
            citation_count / max(text_length / 1000, 1), 1
        )
    }

    checks["is_grounded"] = checks["has_citations"]
    return checks


result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
    print("ALERT: Response potentially ungrounded!")
    print(f"  Citations found: {result['citation_count']}")

Tunnista väittämät skopen ulkopuolelta

Viitteiden laskeminen ei kerro, pysyykö niiden välinen teksti uskollisena lähteille. detect_ungrounded_claims ratkaisee tämän sokean pisteen yksinkertaisella leksikaalisella heuristiikalla: se jakaa vastauksen lauseisiin, vertaa jokaisen lauseen yli viiden merkin pituisia sanoja yhdistettyihin katkelmiin ja merkitsee lipulla kaikki lauseet, joissa alle 30 % avainsanoista esiintyy lähteissä. Dokumentaatioavustajalla epäilyttävien lauseiden listan kärkeen nousevat tyypillisesti mallin lisäämät “yleisen tiedon” täytteet.

def detect_ungrounded_claims(response_text, source_snippets):
    """Detects sentences that do not match any snippet."""
    import re

    # Split response into sentences
    sentences = re.split(r'[.!?]+', response_text)
    sentences = [s.strip() for s in sentences if len(s.strip()) > 20]

    # Concatenate all snippets into a single text
    all_sources = " ".join(source_snippets).lower()

    suspicious = []
    for sentence in sentences:
        # Extract significant keywords (> 5 chars)
        keywords = [
            w.lower() for w in sentence.split()
            if len(w) > 5
        ]
        # Check coverage
        matches = sum(1 for kw in keywords if kw in all_sources)
        coverage = matches / max(len(keywords), 1)

        if coverage < 0.3:  # Less than 30% of keywords found
            suspicious.append({
                "sentence": sentence,
                "coverage": round(coverage, 2)
            })

    return suspicious

Kokoa luottamusputki

Tuotannossa nämä tarkistukset eivät ole vain analyysiskriptejä: niistä tulee portti, jonka vastauksen on läpäistävä ennen kuin se saavuttaa käyttäjän. GroundedRAG-luokka toteuttaa tämän portin. Se generoi viitatun vastauksen, validoi sen ja tiukassa tilassa hylkää suoraan vastaukset, joissa perustelu on riittämätön, palauttaen eksplisiittisen tilan epäilyttävän tekstin sijaan. Luottamuspistemäärä aggregoi kolme signaalia – viitteiden olemassaolon, lähteiden monimuotoisuuden ja tiheyden – jotta käyttöliittymäsi voi näyttää luotettavuustason tai reitittää matalan luottamuksen tapaukset ihmistarkasteluun.

class GroundedRAG:
    """RAG pipeline with grounding and validation."""

    def __init__(self, client, model="mistral-large-latest"):
        self.client = client
        self.model = model

    def query(self, question, references, strict=True):
        """Executes a RAG query with grounding validation."""

        # 1. Generate response with citations
        response = self._generate_with_citations(
            question, references
        )

        # 2. Validate grounding
        grounding = validate_grounding(response, min_citations=1)

        # 3. In strict mode, reject ungrounded responses
        if strict and not grounding["is_grounded"]:
            return {
                "status": "rejected",
                "reason": "Response insufficiently grounded in sources",
                "grounding_score": grounding
            }

        # 4. Return validated response
        return {
            "status": "ok",
            "response": response,
            "grounding_score": grounding,
            "confidence": self._compute_confidence(grounding)
        }

    def _compute_confidence(self, grounding):
        """Calculates a confidence score based on grounding."""
        score = 0.0
        if grounding["has_citations"]:
            score += 0.4
        if grounding["unique_sources"] >= 2:
            score += 0.3
        if grounding["citations_per_1000_chars"] >= 1.0:
            score += 0.3
        return round(score, 2)

Seuraa perustelua ajan myötä

Ensimmäisenä tuotantopäivänä hyvin perusteltu putki voi heiketä ajan myötä, koska dokumentaatiokanta vanhentuu, koska kehotetta on hienosäädetty tai koska liikenne siirtyy huonosti katettuihin aiheisiin. Alla olevat viisi mittaria lasketaan suoraan validate_grounding-funktion tulosteista ja ne ansaitsevat pysyvän paikan kojetaululla: juuri niiden drift, ei niiden absoluuttinen arvo, hälyttää sinua.

MittariMitä se mittaa
ViiteasteProsenttiosuus vastauksista, jotka sisältävät vähintään yhden viitteen
ViitetiheysViitteiden keskimääräinen määrä tuhatta merkkiä kohden
Lähteiden monimuotoisuusEri lähteiden keskimääräinen määrä vastausta kohden
HylkäysasteProsenttiosuus vastauksista, jotka hylättiin riittämättömän perustelun vuoksi
Keskimääräinen luottamuspistemääräLuottamuspistemäärän kehitys ajan myötä

Keskeiset asiat

  • Perustelu pakottaa mallin vastaamaan vain varmennettujen lähteiden pohjalta
  • Tiukka järjestelmäkehote on ensimmäinen puolustuslinja hallusinaatioita vastaan
  • Generoinnin jälkeinen validointi tarkistaa ohjelmallisesti jokaisen vastauksen perustelun
  • Yhdistä nämä strategiat monitasoiseen luottamusputkeen
  • Seuraa perustelumittareita jatkuvasti heikkenemisen havaitsemiseksi