Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Zakotvení odpovědí ve zdrojích a omezení halucinací

Lekce 10 z 16 Aktualizováno 2. listopadu 2026 Pokročilý
Na této stránce
  1. Problém halucinací v produkci
  2. Systémový prompt: tvá první linie obrany
  3. Ověření zakotvení po generování
  4. Identifikace tvrzení mimo rozsah
  5. Sestavení pipeline důvěry
  6. Monitorování zakotvení v čase
  7. Klíčové poznatky

Problém halucinací v produkci

Halucinace je fakticky nesprávná odpověď podaná s jistotou té správné. Právě tato jistota ji činí nebezpečnou. Podporový chatbot, který si vymyslí postup, pošle uživatele do slepé uličky; právní asistent citující neexistující paragraf vystaví klienta riziku; lékařský nástroj doporučující špatné dávkování způsobí reálnou újmu. Ve všech třech případech nic ve formátu odpovědi na problém neupozorní.

Zakotvení (Grounding) toto riziko řeší tím, že model donutí zakládat odpovědi výhradně na ověřených zdrojích. V kombinaci se systémem citací probíraným v předchozích lekcích vytváří vícevrstvou bezpečnostní síť: prompt definuje očekávané chování, parsování citací umožňuje ověření a pipeline rozhoduje, jak naložit s odpověďmi, které kontrolou neprojdou.

Systémový prompt: tvá první linie obrany

Vágní prompt produkuje vágní zakotvení. Pravidla musíš formulovat jako specifikaci: definuj rozsah zdrojů, uveď přesnou frázi pro případ chybějících informací, zakáž doplňování mezer obecnými znalostmi, vyžaduj citaci pro každé tvrzení a specifikuj řešení rozporů mezi zdroji.

system_prompt = """
You are a specialized documentation assistant.

ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
   "This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""

Tento prompt nezaručuje nulový výskyt halucinací a musíš to svým zainteresovaným stranám jasně sdělit: významně snižuje jejich četnost. Modely Mistral, trénované pro zakotvení, tyto instrukce dodržují s vysokou mírou shody. Vysoká míra však není 100%, a proto jsou nezbytné následující kroky.

Ověření zakotvení po generování

Funkce validate_grounding mění intuici – „vypadá tato odpověď jako podložená zdroji?“ – v metrický údaj. Prochází částmi odpovědi, sčítá délku textu na jedné straně a počítá citace a různé zdroje na straně druhé. Následně odvozuje hustotu vyjádřenou jako počet citací na tisíc znaků. Odpověď o 2 000 znacích s pouze jednou referencí se okamžitě stává podezřelou, zatímco lidský recenzent by si toho mohl nevšimnout.

from mistralai.client.models import TextChunk, ReferenceChunk


def validate_grounding(response, min_citations=1):
    """Verifies that the response is grounded in sources."""
    content = response.choices[0].message.content

    text_length = 0
    citation_count = 0
    cited_refs = set()

    for chunk in content:
        if isinstance(chunk, TextChunk):
            text_length += len(chunk.text)
        elif isinstance(chunk, ReferenceChunk):
            citation_count += 1
            cited_refs.update(chunk.reference_ids)

    # Checks
    checks = {
        "has_citations": citation_count >= min_citations,
        "citation_count": citation_count,
        "unique_sources": len(cited_refs),
        "text_length": text_length,
        "citations_per_1000_chars": round(
            citation_count / max(text_length / 1000, 1), 1
        )
    }

    checks["is_grounded"] = checks["has_citations"]
    return checks


result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
    print("ALERT: Response potentially ungrounded!")
    print(f"  Citations found: {result['citation_count']}")

Identifikace tvrzení mimo rozsah

Počítání citací ti neřekne, zda text mezi nimi zůstává věrný zdrojům. Funkce detect_ungrounded_claims řeší toto slepé místo pomocí jednoduché lexikální heuristiky: rozdělí odpověď na věty, porovná slova delší než pět znaků v každé větě se spojenými úryvky zdrojů a označí každou větu, kde se ve zdrojích objeví méně než 30 % klíčových slov. U dokumentačního asistenta jsou věty, které se dostanou na vrchol seznamu podezřelých, typicky „výplňové“ obecné znalosti přidané modelem.

def detect_ungrounded_claims(response_text, source_snippets):
    """Detects sentences that do not match any snippet."""
    import re

    # Split response into sentences
    sentences = re.split(r'[.!?]+', response_text)
    sentences = [s.strip() for s in sentences if len(s.strip()) > 20]

    # Concatenate all snippets into a single text
    all_sources = " ".join(source_snippets).lower()

    suspicious = []
    for sentence in sentences:
        # Extract significant keywords (> 5 chars)
        keywords = [
            w.lower() for w in sentence.split()
            if len(w) > 5
        ]
        # Check coverage
        matches = sum(1 for kw in keywords if kw in all_sources)
        coverage = matches / max(len(keywords), 1)

        if coverage < 0.3:  # Less than 30% of keywords found
            suspicious.append({
                "sentence": sentence,
                "coverage": round(coverage, 2)
            })

    return suspicious

Sestavení pipeline důvěry

V produkci nejsou tyto kontroly jen analytické skripty: stávají se bránou, kterou musí odpověď projít, než se dostane k uživateli. Třída GroundedRAG tuto bránu implementuje. Vygeneruje odpověď s citacemi, ověří ji a v přísném režimu přímo odmítne odpovědi s nedostatečným zakotvením, přičemž vrátí explicitní status místo pochybného textu. Skóre důvěry agreguje tři signály – přítomnost citací, rozmanitost zdrojů a hustotu – takže tvé rozhraní může zobrazit úroveň spolehlivosti nebo přesměrovat případy s nízkou důvěrou k lidské revizi.

class GroundedRAG:
    """RAG pipeline with grounding and validation."""

    def __init__(self, client, model="mistral-large-latest"):
        self.client = client
        self.model = model

    def query(self, question, references, strict=True):
        """Executes a RAG query with grounding validation."""

        # 1. Generate response with citations
        response = self._generate_with_citations(
            question, references
        )

        # 2. Validate grounding
        grounding = validate_grounding(response, min_citations=1)

        # 3. In strict mode, reject ungrounded responses
        if strict and not grounding["is_grounded"]:
            return {
                "status": "rejected",
                "reason": "Response insufficiently grounded in sources",
                "grounding_score": grounding
            }

        # 4. Return validated response
        return {
            "status": "ok",
            "response": response,
            "grounding_score": grounding,
            "confidence": self._compute_confidence(grounding)
        }

    def _compute_confidence(self, grounding):
        """Calculates a confidence score based on grounding."""
        score = 0.0
        if grounding["has_citations"]:
            score += 0.4
        if grounding["unique_sources"] >= 2:
            score += 0.3
        if grounding["citations_per_1000_chars"] >= 1.0:
            score += 0.3
        return round(score, 2)

Monitorování zakotvení v čase

Pipeline založená na zakotvení může v průběhu času degradovat, protože základna dokumentace stárne, protože byl upraven prompt nebo protože se provoz přesunul na špatně pokrytá témata. Následujících pět metrik se počítá přímo z výstupů validate_grounding a zaslouží si trvalé místo na dashboardu: je to jejich drift, více než jejich absolutní hodnota, co tě upozorní na problém.

MetrikaCo měří
Míra citacíProcento odpovědí obsahujících alespoň jednu citaci
Hustota citacíPrůměrný počet citací na 1 000 znaků
Rozmanitost zdrojůPrůměrný počet různých zdrojů na odpověď
Míra odmítnutíProcento odpovědí odmítnutých kvůli nedostatečnému zakotvení
Průměrné skóre důvěryVývoj skóre důvěry v čase

Klíčové poznatky

  • Zakotvení nutí model odpovídat pouze na základě ověřených zdrojů
  • Přísný systémový prompt je první linií obrany proti halucinacím
  • Validace po generování programově ověřuje zakotvení každé odpovědi
  • Kombinuj tyto strategie do víceúrovňové pipeline důvěry
  • Neustále monitoruj metriky zakotvení, abys odhalil degradaci