Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

A válaszok forrásokhoz kötése és a hallucinációk csökkentése

10. lecke 16 közül Frissítve 2026. november 2. Haladó
Ezen az oldalon
  1. A hallucináció problémája éles környezetben
  2. A rendszerprompt: az első védelmi vonal
  3. A forráskötés ellenőrzése generálás után
  4. A hatókörön kívüli állítások azonosítása
  5. Megbízhatósági folyamat összeállítása
  6. A forráskötés monitorozása időben
  7. Főbb megállapítások

A hallucináció problémája éles környezetben

A hallucináció ténybeli tévedés, amelyet a modell magabiztosan közöl, mintha helyes lenne. Pontosan ez a magabiztosság teszi veszélyessé. Egy ügyfélszolgálati chatbot, amely kitalál egy eljárást, zsákutcába küldi a felhasználót; egy jogi asszisztens, amely nem létező törvényre hivatkozik, kockázatnak teszi ki az ügyfelet; egy orvosi eszköz, amely rossz adagolást javasol, valós kárt okoz. A három esetben egyik válaszformátum sem jelzi a problémát.

A forrásokhoz kötés (grounding) ezt a kockázatot kezeli azzal, hogy a modellt kizárólag ellenőrzött források alapján történő válaszadásra kényszeríti. Az előző leckékben tárgyalt idézési rendszerrel kombinálva többrétegű biztonsági hálót alkot: a prompt meghatározza az elvárt viselkedést, az idézések elemzése lehetővé teszi az ellenőrzést, a folyamat pedig eldönti, hogyan kezelje az ellenőrzésen megbukó válaszokat.

A rendszerprompt: az első védelmi vonal

A bizonytalan prompt bizonytalan forráskötést eredményez. A szabályokat specifikációként kell megfogalmaznod: határozd meg a források körét, add meg a pontos kifejezést hiányzó információ esetén, tiltsd meg az általános tudás alapján történő kiegészítést, írj elő idézést minden állításhoz, és specifikáld az ellentmondó források kezelését.

system_prompt = """
You are a specialized documentation assistant.

ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
   "This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""

Ez a prompt nem garantálja a nulla hallucinációt, és ezt egyértelműen közölnöd kell az érintettekkel: jelentősen csökkenti azok gyakoriságát. A Mistral modellek, amelyeket forráskötésre képeztek ki, nagy megfelelési aránnyal követik ezeket az utasításokat. A nagy arány azonban nem 100%-os, ezért szükségesek a következő lépések.

A forráskötés ellenőrzése generálás után

A validate_grounding függvény az „úgy tűnik, ez forrásolt?“ intuícióból mérőszámot készít. Végigiterál a válaszblokkokon, összeadja a szöveghosszt az egyik oldalon, a másik oldalon pedig megszámolja az idézéseket és az egyedi forrásokat. Ezután sűrűséget számít ki, amelyet ezer karakterenkénti idézésként fejez ki. Egy 2000 karakteres válasz, amelyben csak egy hivatkozás van, azonnal gyanússá válik, amit egy emberi ellenőr esetleg elmulasztott volna.

from mistralai.client.models import TextChunk, ReferenceChunk


def validate_grounding(response, min_citations=1):
    """Verifies that the response is grounded in sources."""
    content = response.choices[0].message.content

    text_length = 0
    citation_count = 0
    cited_refs = set()

    for chunk in content:
        if isinstance(chunk, TextChunk):
            text_length += len(chunk.text)
        elif isinstance(chunk, ReferenceChunk):
            citation_count += 1
            cited_refs.update(chunk.reference_ids)

    # Checks
    checks = {
        "has_citations": citation_count >= min_citations,
        "citation_count": citation_count,
        "unique_sources": len(cited_refs),
        "text_length": text_length,
        "citations_per_1000_chars": round(
            citation_count / max(text_length / 1000, 1), 1
        )
    }

    checks["is_grounded"] = checks["has_citations"]
    return checks


result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
    print("ALERT: Response potentially ungrounded!")
    print(f"  Citations found: {result['citation_count']}")

A hatókörön kívüli állítások azonosítása

Az idézések megszámolása nem árulja el, hogy a közöttük lévő szöveg hű marad-e a forrásokhoz. A detect_ungrounded_claims ezt a vakfoltot küszöböli ki egy egyszerű lexikális heurisztikával: mondatokra bontja a választ, összehasonlítja az öt karakternél hosszabb szavakat minden mondatban az összefűzött kivonatokkal, és megjelöli azokat a mondatokat, ahol a kulcsszavak kevesebb mint 30%-a szerepel a forrásokban. Dokumentációs asszisztens esetén a gyanús lista élére általában azok a mondatok kerülnek, amelyeket a modell „általános tudás“ kitöltésként adott hozzá.

def detect_ungrounded_claims(response_text, source_snippets):
    """Detects sentences that do not match any snippet."""
    import re

    # Split response into sentences
    sentences = re.split(r'[.!?]+', response_text)
    sentences = [s.strip() for s in sentences if len(s.strip()) > 20]

    # Concatenate all snippets into a single text
    all_sources = " ".join(source_snippets).lower()

    suspicious = []
    for sentence in sentences:
        # Extract significant keywords (> 5 chars)
        keywords = [
            w.lower() for w in sentence.split()
            if len(w) > 5
        ]
        # Check coverage
        matches = sum(1 for kw in keywords if kw in all_sources)
        coverage = matches / max(len(keywords), 1)

        if coverage < 0.3:  # Less than 30% of keywords found
            suspicious.append({
                "sentence": sentence,
                "coverage": round(coverage, 2)
            })

    return suspicious

Megbízhatósági folyamat összeállítása

Éles környezetben ezek az ellenőrzések nem csupán elemző szkriptek: kapuvá válnak, amelyen a válasznak át kell haladnia, mielőtt elérné a felhasználót. A GroundedRAG osztály valósítja meg ezt a kaput. Generálja az idézett választ, ellenőrzi azt, és szigorú módban egyenesen elutasítja a nem megfelelően forrásolt válaszokat, explicit státuszt visszaadva a kétes szöveg helyett. A megbízhatósági pontszám három jelet aggregál – az idézések jelenlétét, a források sokszínűségét és a sűrűséget –, így a felületed megjeleníthet egy megbízhatósági szintet, vagy emberi felülvizsgálatra irányíthatja az alacsony megbízhatóságú eseteket.

class GroundedRAG:
    """RAG pipeline with grounding and validation."""

    def __init__(self, client, model="mistral-large-latest"):
        self.client = client
        self.model = model

    def query(self, question, references, strict=True):
        """Executes a RAG query with grounding validation."""

        # 1. Generate response with citations
        response = self._generate_with_citations(
            question, references
        )

        # 2. Validate grounding
        grounding = validate_grounding(response, min_citations=1)

        # 3. In strict mode, reject ungrounded responses
        if strict and not grounding["is_grounded"]:
            return {
                "status": "rejected",
                "reason": "Response insufficiently grounded in sources",
                "grounding_score": grounding
            }

        # 4. Return validated response
        return {
            "status": "ok",
            "response": response,
            "grounding_score": grounding,
            "confidence": self._compute_confidence(grounding)
        }

    def _compute_confidence(self, grounding):
        """Calculates a confidence score based on grounding."""
        score = 0.0
        if grounding["has_citations"]:
            score += 0.4
        if grounding["unique_sources"] >= 2:
            score += 0.3
        if grounding["citations_per_1000_chars"] >= 1.0:
            score += 0.3
        return round(score, 2)

A forráskötés monitorozása időben

Az első napon még jól működő forrásolt folyamat idővel romolhat: mert a dokumentációs bázis elavul, mert módosítottak egy promptot, vagy mert a forgalom gyengébben lefedett témák felé tolódik el. Az alábbi öt mérőszám közvetlenül a validate_grounding kimeneteiből számolható, és érdemes állandó dashboardon megjeleníteni őket: nem az abszolút értékük, hanem az elmozdulásuk (drift) az, ami figyelmeztet.

MérőszámMit mér
Idézési arányLegalább egy idézést tartalmazó válaszok százaléka
Idézési sűrűségÁtlagos idézések száma 1000 karakterenként
Források sokszínűségeÁtlagos egyedi források száma válaszonként
Elutasítási arányNem megfelelő forrásolás miatt elutasított válaszok százaléka
Átlagos megbízhatósági pontszámA megbízhatósági pontszám alakulása időben

Főbb megállapítások

  • A forrásokhoz kötés arra kényszeríti a modellt, hogy kizárólag ellenőrzött forrásokból válaszoljon
  • A szigorú rendszerprompt az első védelmi vonal a hallucinációk ellen
  • A generálás utáni ellenőrzés programozottan verifies minden válasz forráskötését
  • Kombináld ezeket a stratégiákat egy többszintű megbízhatósági folyamatban
  • Folyamatosan monitorozd a forráskötési mérőszámokat a romlás észlelésére