Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Utemeljitev odgovorov v virih in zmanjšanje halucinacij

Lekcija 10 od 16 Posodobljeno 2. november 2026 Napredni
Na tej strani
  1. Problem halucinacij v produkcijskem okolju
  2. Sistemski poziv: vaša prva obrambna črta
  3. Preverjanje utemeljitve po generiranju
  4. Identifikacija trditev zunaj obsega
  5. Sestava cevovoda zaupanja
  6. Spremljanje utemeljitve skozi čas
  7. Ključne ugotovitve

Problem halucinacij v produkcijskem okolju

Halucinacija je dejansko napačen odgovor, podan s prepričljivostjo pravilnega. Prav ta prepričljivost ga dela nevarnega. Podporni klepetalni bot, ki si izmisli postopek, uporabnike popelje v slepo ulico; pravni pomočnik, ki navaja neobstoječ zakon, izpostavi vašo stranko tveganju; medicinsko orodje, ki priporoči napačen odmerek, povzroči resno škodo. V vseh treh primerih format odgovora na težavo nikakor ne opozori.

Utemeljitev (Grounding) to tveganje naslavlja tako, da model omeji na izključno uporabo preverjenih virov za svoje odgovore. V kombinaciji s sistemom navajanja, obravnavanim v prejšnjih lekcijah, ustvari večplastno varnostno mrežo: poziv določa pričakovano vedenje, razčlenjevanje navedb omogoča preverjanje, cevovod pa odloča, kako ravnati z odgovori, ki preverjanja ne prestanejo.

Sistemski poziv: vaša prva obrambna črta

Nejasen poziv proizvede nejasno utemeljitev. Pravila morate navesti kot specifikacijo: določite obseg virov, podajte točen stavek za uporabo, ko informacije manjkajo, prepovejte zapolnjevanje vrzeli s splošnim znanjem, zahtevajte navedbe za vsako trditev in določite ravnanje s protislovji med viri.

system_prompt = """
You are a specialized documentation assistant.

ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
   "This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""

Ta poziv ne zagotavlja ničelnega števila halucinacij in to morate jasno sporočiti svojim deležnikom: bistveno zmanjša njihovo pogostost. Modeli Mistral, usposobljeni za utemeljevanje, sledijo tem navodilom z visoko stopnjo skladnosti. Vendar visoka stopnja ni 100-odstotna stopnja, zato so naslednji koraki nujni.

Preverjanje utemeljitve po generiranju

Funkcija validate_grounding intuicijo – „ali ta odgovor izgleda utemeljen?” – pretvori v metrike. Iterira skozi dele odgovora, sešteva dolžino besedila na eni strani ter šteje navedbe in različne vire na drugi. Nato izpelje gostoto, izraženo kot število navedb na tisoč znakov. Odgovor z 2.000 znaki in samo eno referenco takoj postane sumljiv, medtem ko bi človeški pregledovalec to morda spregledal.

from mistralai.client.models import TextChunk, ReferenceChunk


def validate_grounding(response, min_citations=1):
    """Verifies that the response is grounded in sources."""
    content = response.choices[0].message.content

    text_length = 0
    citation_count = 0
    cited_refs = set()

    for chunk in content:
        if isinstance(chunk, TextChunk):
            text_length += len(chunk.text)
        elif isinstance(chunk, ReferenceChunk):
            citation_count += 1
            cited_refs.update(chunk.reference_ids)

    # Checks
    checks = {
        "has_citations": citation_count >= min_citations,
        "citation_count": citation_count,
        "unique_sources": len(cited_refs),
        "text_length": text_length,
        "citations_per_1000_chars": round(
            citation_count / max(text_length / 1000, 1), 1
        )
    }

    checks["is_grounded"] = checks["has_citations"]
    return checks


result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
    print("ALERT: Response potentially ungrounded!")
    print(f"  Citations found: {result['citation_count']}")

Identifikacija trditev zunaj obsega

Štetje navedb vam ne pove, ali besedilo med njimi ostaja zvesto virom. Funkcija detect_ungrounded_claims rešuje to slepo liso s preprosto leksikalno hevristiko: odgovor razdeli na stavke, primerja besede, daljše od petih znakov v vsakem stavku, s spojenimi izseki in označi vsak stavek, kjer se manj kot 30 % ključnih besed pojavi v virih. Za dokumentacijskega pomočnika so stavki, ki se uvrstijo na vrh seznama sumljivih, običajno „polnila” splošnega znanja, ki jih doda model.

def detect_ungrounded_claims(response_text, source_snippets):
    """Detects sentences that do not match any snippet."""
    import re

    # Split response into sentences
    sentences = re.split(r'[.!?]+', response_text)
    sentences = [s.strip() for s in sentences if len(s.strip()) > 20]

    # Concatenate all snippets into a single text
    all_sources = " ".join(source_snippets).lower()

    suspicious = []
    for sentence in sentences:
        # Extract significant keywords (> 5 chars)
        keywords = [
            w.lower() for w in sentence.split()
            if len(w) > 5
        ]
        # Check coverage
        matches = sum(1 for kw in keywords if kw in all_sources)
        coverage = matches / max(len(keywords), 1)

        if coverage < 0.3:  # Less than 30% of keywords found
            suspicious.append({
                "sentence": sentence,
                "coverage": round(coverage, 2)
            })

    return suspicious

Sestava cevovoda zaupanja

V produkcijskem okolju ti preverki niso le analitske skripte: postanejo prehod, ki ga mora odgovor opraviti, preden doseže uporabnika. Razred GroundedRAG izvaja ta prehod. Generira odgovor z navedbami, ga validira in v strogem načinu popolnoma zavrne odgovore z nezadostno utemeljitvijo, pri čemer vrne ekspliciten status namesto dvomljivega besedila. Ocena zaupanja združuje tri signale – prisotnost navedb, raznolikost virov in gostoto – tako da lahko vaš vmesnik prikaže raven zanesljivosti ali primere z nizko stopnjo zaupanja preusmeri v človeški pregled.

class GroundedRAG:
    """RAG pipeline with grounding and validation."""

    def __init__(self, client, model="mistral-large-latest"):
        self.client = client
        self.model = model

    def query(self, question, references, strict=True):
        """Executes a RAG query with grounding validation."""

        # 1. Generate response with citations
        response = self._generate_with_citations(
            question, references
        )

        # 2. Validate grounding
        grounding = validate_grounding(response, min_citations=1)

        # 3. In strict mode, reject ungrounded responses
        if strict and not grounding["is_grounded"]:
            return {
                "status": "rejected",
                "reason": "Response insufficiently grounded in sources",
                "grounding_score": grounding
            }

        # 4. Return validated response
        return {
            "status": "ok",
            "response": response,
            "grounding_score": grounding,
            "confidence": self._compute_confidence(grounding)
        }

    def _compute_confidence(self, grounding):
        """Calculates a confidence score based on grounding."""
        score = 0.0
        if grounding["has_citations"]:
            score += 0.4
        if grounding["unique_sources"] >= 2:
            score += 0.3
        if grounding["citations_per_1000_chars"] >= 1.0:
            score += 0.3
        return round(score, 2)

Spremljanje utemeljitve skozi čas

Utemeljen cevovod se lahko ob zagonu produkcije sčasoma poslabša, ker baza dokumentacije zastara, ker je bil poziv prilagojen ali ker se promet preusmeri na slabo pokrite teme. Pet spodnjih metrik se izračuna neposredno iz izhodov funkcije validate_grounding in si zaslužijo stalno nadzorno ploščo: prav njihov odmik, bolj kot njihova absolutna vrednost, vas opozori na težave.

MetrikaKaj meri
Stopnja navajanjaOdstotek odgovorov, ki vsebujejo vsaj eno navedbo
Gostota navajanjaPovprečno število navedb na 1.000 znakov
Raznolikost virovPovprečno število različnih virov na odgovor
Stopnja zavrnitveOdstotek odgovorov, zavrnjenih zaradi nezadostne utemeljitve
Povprečna ocena zaupanjaRazvoj ocene zaupanja skozi čas

Ključne ugotovitve

  • Utemeljitev omeji model, da odgovarja izključno na podlagi preverjenih virov
  • Strog sistemski poziv je prva obrambna črta proti halucinacijam
  • Validacija po generiranju programsko preveri utemeljenost vsakega odgovora
  • Te strategije združite v večstopenjski cevovod zaupanja
  • Neprestano spremljajte metrike utemeljitve za zaznavanje poslabšanj