Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Ukotvenie odpovedí v zdrojoch a obmedzenie halucinácií

Lekcia 10 z 16 Aktualizované 2. novembra 2026 Pokročilý
Na tejto strane
  1. Problém halucinácií v produkcii
  2. Systémový prompt: vaša prvá línia obrany
  3. Overenie ukotvenia po generovaní
  4. Identifikácia tvrdení mimo rozsahu
  5. Zostavenie pipeline dôvery
  6. Monitorovanie ukotvenia v čase
  7. Kľúčové poznatky

Problém halucinácií v produkcii

Halucinácia je fakticky nesprávna odpoveď podaná s istotou tej správnej. Práve táto istota ju robí nebezpečnou. Podporný chatbot, ktorý si vymyslí postup, pošle používateľov do slepej uličky; právny asistent, ktorý cituje neexistujúci zákon, vystaví vášho klienta riziku; lekársky nástroj, ktorý odporučí nesprávne dávkovanie, spôsobí reálnu škodu. Vo všetkých troch prípadoch nič vo formáte odpovede nenaznačuje problém.

Ukotvenie (Grounding) rieši toto riziko tým, že núti model zakladať svoje odpovede výlučne na overených zdrojoch. V kombinácii so systémom citácií, ktorý sme prebrali v predchádzajúcich lekciách, vytvára viacvrstvovú bezpečnostnú sieť: prompt definuje očakávané správanie, parsovanie citácií umožňuje overenie a pipeline rozhoduje, ako zaobchádzať s odpoveďami, ktoré kontrolou neprejdú.

Systémový prompt: vaša prvá línia obrany

Vágny prompt produkuje vágne ukotvenie. Pravidlá musíš stanoviť ako špecifikáciu: definuj rozsah zdrojov, uveď presnú frázu na použitie v prípade chýbajúcich informácií, zakáž dopĺňanie medzier všeobecnými znalosťami, vyžaduj citácie pre každé tvrdenie a špecifikuj, ako riešiť rozpory medzi zdrojmi.

system_prompt = """
You are a specialized documentation assistant.

ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
   "This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""

Tento prompt nezaručuje nulový výskyt halucinácií a musíš byť v tomto ohľade voči zainteresovaným stranám úprimný: výrazne znižuje ich frekvenciu. Modely Mistral, trénované na ukotvenie, dodržiavajú tieto inštrukcie s vysokou mierou súladu. Vysoká miera však nie je 100 % miera, čo je dôvodom, prečo sú nasledujúce kroky nevyhnutné.

Overenie ukotvenia po generovaní

Funkcia validate_grounding mení intuíciu – „vyzerá táto odpoveď ako podložená zdrojmi?“ – na metriku. Prechádza cez časti odpovede, sčítava dĺžku textu na jednej strane a počíta citácie a rôzne zdroje na druhej. Následne odvodzuje hustotu vyjadrenú ako počet citácií na tisíc znakov. Odpoveď s dĺžkou 2 000 znakov a iba jednou referenciou sa okamžite stáva podozrivou, hoci ľudský recenzent by si to mohol nevšimnúť.

from mistralai.client.models import TextChunk, ReferenceChunk


def validate_grounding(response, min_citations=1):
    """Verifies that the response is grounded in sources."""
    content = response.choices[0].message.content

    text_length = 0
    citation_count = 0
    cited_refs = set()

    for chunk in content:
        if isinstance(chunk, TextChunk):
            text_length += len(chunk.text)
        elif isinstance(chunk, ReferenceChunk):
            citation_count += 1
            cited_refs.update(chunk.reference_ids)

    # Checks
    checks = {
        "has_citations": citation_count >= min_citations,
        "citation_count": citation_count,
        "unique_sources": len(cited_refs),
        "text_length": text_length,
        "citations_per_1000_chars": round(
            citation_count / max(text_length / 1000, 1), 1
        )
    }

    checks["is_grounded"] = checks["has_citations"]
    return checks


result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
    print("ALERT: Response potentially ungrounded!")
    print(f"  Citations found: {result['citation_count']}")

Identifikácia tvrdení mimo rozsahu

Počítanie citácií ti nepovie, či text medzi nimi zostáva verný zdrojom. Funkcia detect_ungrounded_claims rieši toto slepé miesto pomocou jednoduchej lexikálnej heuristiky: rozdelí odpoveď na vety, porovná slová dlhšie ako päť znakov v každej vete so spojenými úryvkami zdrojov a označí každú vetu, kde sa vo zdrojoch objaví menej ako 30 % kľúčových slov. Pre asistenta dokumentácie sú vety, ktoré sa dostanú na vrchol zoznamu podozrivých, typicky „výplňové“ všeobecné znalosti pridané modelom.

def detect_ungrounded_claims(response_text, source_snippets):
    """Detects sentences that do not match any snippet."""
    import re

    # Split response into sentences
    sentences = re.split(r'[.!?]+', response_text)
    sentences = [s.strip() for s in sentences if len(s.strip()) > 20]

    # Concatenate all snippets into a single text
    all_sources = " ".join(source_snippets).lower()

    suspicious = []
    for sentence in sentences:
        # Extract significant keywords (> 5 chars)
        keywords = [
            w.lower() for w in sentence.split()
            if len(w) > 5
        ]
        # Check coverage
        matches = sum(1 for kw in keywords if kw in all_sources)
        coverage = matches / max(len(keywords), 1)

        if coverage < 0.3:  # Less than 30% of keywords found
            suspicious.append({
                "sentence": sentence,
                "coverage": round(coverage, 2)
            })

    return suspicious

Zostavenie pipeline dôvery

V produkcii nie sú tieto kontroly len analytické skripty: stávajú sa bránou, ktorou musí odpoveď prejsť, než sa dostane k používateľovi. Trieda GroundedRAG implementuje túto bránu. Vygeneruje citovanú odpoveď, overí ju a v striktnom režime priamo odmietne odpovede s nedostatočným ukotvením, pričom vráti explicitný stav namiesto pochybného textu. Skóre dôvery agreguje tri signály – prítomnosť citácií, diverzitu zdrojov a hustotu – takže tvoje rozhranie môže zobraziť úroveň spoľahlivosti alebo presmerovať prípady s nízkou dôverou na ľudnú kontrolu.

class GroundedRAG:
    """RAG pipeline with grounding and validation."""

    def __init__(self, client, model="mistral-large-latest"):
        self.client = client
        self.model = model

    def query(self, question, references, strict=True):
        """Executes a RAG query with grounding validation."""

        # 1. Generate response with citations
        response = self._generate_with_citations(
            question, references
        )

        # 2. Validate grounding
        grounding = validate_grounding(response, min_citations=1)

        # 3. In strict mode, reject ungrounded responses
        if strict and not grounding["is_grounded"]:
            return {
                "status": "rejected",
                "reason": "Response insufficiently grounded in sources",
                "grounding_score": grounding
            }

        # 4. Return validated response
        return {
            "status": "ok",
            "response": response,
            "grounding_score": grounding,
            "confidence": self._compute_confidence(grounding)
        }

    def _compute_confidence(self, grounding):
        """Calculates a confidence score based on grounding."""
        score = 0.0
        if grounding["has_citations"]:
            score += 0.4
        if grounding["unique_sources"] >= 2:
            score += 0.3
        if grounding["citations_per_1000_chars"] >= 1.0:
            score += 0.3
        return round(score, 2)

Monitorovanie ukotvenia v čase

Ukotvená pipeline môže v priebehu času degradovať, či už preto, že základňa dokumentácie zastaráva, bol upravený prompt, alebo sa premávka presunula na zle pokryté témy. Päť nižšie uvedených metrík sa počíta priamo z výstupov validate_grounding a zaslúži si trvalé miesto na dashboarde: práve ich drift, viac než ich absolútna hodnota, ťa upozorní na problém.

MetrikaČo meria
Miera citáciíPercento odpovedí obsahujúcich aspoň jednu citáciu
Hustota citáciíPriemerný počet citácií na 1 000 znakov
Diverzita zdrojovPriemerný počet rôznych zdrojov na odpoveď
Miera zamietnutiaPercento odpovedí zamietnutých pre nedostatočné ukotvenie
Priemerné skóre dôveryVývoj skóre dôvery v čase

Kľúčové poznatky

  • Ukotvenie núti model odpovedať iba na základe overených zdrojov
  • Striktný systémový prompt je prvou líniou obrany proti halucináciám
  • Validácia po generovaní programovo overuje ukotvenie každej odpovede
  • Skombinuj tieto stratégie do viacúrovňovej pipeline dôvery
  • Neustále monitoruj metriky ukotvenia, aby si odhalil degradáciu