Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Įtvirtinti atsakymus šaltiniuose ir sumažinti haliucinacijas

Paskaita 10 iš 16 Atnaujinta 2026 m. lapkričio 2 d. Pažengusiems
Šiame puslapyje
  1. Haliucinacijų problema gamyboje
  2. Sistemos užklausa: jūsų pirmoji gynybos linija
  3. Patikrinkite įtvirtinimą po generavimo
  4. Nustatykite teiginius, išeinančius už ribų
  5. Surinkite patikimumo duomenų srautą
  6. Stebėkite įtvirtinimą laikui bėgant
  7. Svarbiausi punktai

Haliucinacijų problema gamyboje

Haliucinacija – tai faktiškai neteisingas atsakymas, pateikiamas su tokia pačia įsitikinimo jėga kaip ir teisingas. Būtent šis pasitikėjimas savimi daro ją pavojinga. Pagalbos pokalbių robotas, išgalvojantis procedūrą, nukreipia vartotojus į aklavietę; teisinis asistentas, cituojantis neegzistuojantį įstatymą, eksponuoja jūsų klientą rizikai; medicinos įrankis, rekomenduojantis neteisingą dozę, sukelia realią žalą. Visais trim atvejais niekas atsakymo formate nesignalizuoja apie problemą.

Įtvirtinimas (Grounding) sprendžia šią riziką, apribodamas modelį taip, kad jis savo atsakymus grįstų išskirtinai patikrintais šaltiniais. Kartu su ankstesnėse pamokose nagrinėta citavimo sistema tai sukuria daugiasluoksnį saugos tinklą: užklausa apibrėžia laukiamą elgesį, citavimų analizė leidžia atlikti patikrinimą, o duomenų srautas nusprendžia, kaip tvarkyti atsakymus, kurie šio patikrinimo neatlaiko.

Sistemos užklausa: jūsų pirmoji gynybos linija

Neaiški užklausa gimdo neaiškų įtvirtinimą. Taisykles turi suformuluoti kaip techninę specifikaciją: apibrėžk šaltinių aprėptį, pateik tikslią frazę, kurią naudoti trūkstant informacijos, uždrausk pildyti spragas bendrosiomis žiniomis, reikalauk citatos kiekvienam teiginiui ir nurodyk, kaip elgtis esant prieštaravimams tarp šaltinių.

system_prompt = """
You are a specialized documentation assistant.

ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
   "This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""

Ši užklausa negarantuoja visiško haliucinacijų nebuvimo, ir apie tai turite aiškiai informuoti savo suinteresuotąsias šalis: ji žymiai sumažina jų dažnumą. „Mistral“ modeliai, mokyti įtvirtinimo, šias instrukcijas vykdo labai tiksliai. Tačiau didelis tikslumas nėra 100 % tikslumas, todėl būtini šie tolesni veiksmai.

Patikrinkite įtvirtinimą po generavimo

Funkcija validate_grounding paverčia intuiciją – „ar šis atsakymas atrodo paremtas šaltiniais?“ – į metriką. Ji iteruoja per atsakymo fragmentus, vienoje pusėje sumuodama teksto ilgį, o kitoje skaičiuodama citatas ir unikalius šaltinius. Tada ji apskaičiuoja tankumą, išreiškiamą citatų skaičiumi tūkstančiui simbolių. 2000 simbolių atsakymas su tik viena nuoroda iškart kelia įtarimų, nors žmogus recenzentas tai galėjo ir praleisti.

from mistralai.client.models import TextChunk, ReferenceChunk


def validate_grounding(response, min_citations=1):
    """Verifies that the response is grounded in sources."""
    content = response.choices[0].message.content

    text_length = 0
    citation_count = 0
    cited_refs = set()

    for chunk in content:
        if isinstance(chunk, TextChunk):
            text_length += len(chunk.text)
        elif isinstance(chunk, ReferenceChunk):
            citation_count += 1
            cited_refs.update(chunk.reference_ids)

    # Checks
    checks = {
        "has_citations": citation_count >= min_citations,
        "citation_count": citation_count,
        "unique_sources": len(cited_refs),
        "text_length": text_length,
        "citations_per_1000_chars": round(
            citation_count / max(text_length / 1000, 1), 1
        )
    }

    checks["is_grounded"] = checks["has_citations"]
    return checks


result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
    print("ALERT: Response potentially ungrounded!")
    print(f"  Citations found: {result['citation_count']}")

Nustatykite teiginius, išeinančius už ribų

Citatų skaičiavimas nepasako, ar tekstas tarp jų lieka ištikimas šaltiniams. Funkcija detect_ungrounded_claims sprendžia šią akląją zoną naudodama paprastą leksinę heuristiką: ji suskaido atsakymą į sakinius, palygina kiekviename sakinyje esančius žodžius, ilgesnius nei penkios raidės, su sujungtais ištraukomis ir pažymi bet kurį sakinį, kuriame mažiau nei 30 % raktažodžių randama šaltiniuose. Dokumentacijos asistentui įtartinų sąrašo viršuje dažniausiai atsiduria sakiniai, kurie yra modelio pridėtas „bendrųjų žinių“ turinys.

def detect_ungrounded_claims(response_text, source_snippets):
    """Detects sentences that do not match any snippet."""
    import re

    # Split response into sentences
    sentences = re.split(r'[.!?]+', response_text)
    sentences = [s.strip() for s in sentences if len(s.strip()) > 20]

    # Concatenate all snippets into a single text
    all_sources = " ".join(source_snippets).lower()

    suspicious = []
    for sentence in sentences:
        # Extract significant keywords (> 5 chars)
        keywords = [
            w.lower() for w in sentence.split()
            if len(w) > 5
        ]
        # Check coverage
        matches = sum(1 for kw in keywords if kw in all_sources)
        coverage = matches / max(len(keywords), 1)

        if coverage < 0.3:  # Less than 30% of keywords found
            suspicious.append({
                "sentence": sentence,
                "coverage": round(coverage, 2)
            })

    return suspicious

Surinkite patikimumo duomenų srautą

Gamyboje šie patikrinimai yra ne tik analizės scenarijai: jie tampa vartais, kuriuos atsakymas privalo pereiti prieš pasiekdamas vartotoją. Klasė GroundedRAG įgyvendina šiuos vartus. Ji sugeneruoja cituojamą atsakymą, jį patikrina ir griežtu režimu tiesiogiai atmeta atsakymus, kurių įtvirtinimas nepakankamas, grąžindama aiškų būsenos kodą vietoj abejotino teksto. Pasitikėjimo balas apjungia tris signalus – citatų buvimą, šaltinių įvairovę ir tankumą – kad jūsų sąsaja galėtų rodyti patikimumo lygį arba nukreipti mažo pasitikėjimo atvejus žmogaus peržiūrai.

class GroundedRAG:
    """RAG pipeline with grounding and validation."""

    def __init__(self, client, model="mistral-large-latest"):
        self.client = client
        self.model = model

    def query(self, question, references, strict=True):
        """Executes a RAG query with grounding validation."""

        # 1. Generate response with citations
        response = self._generate_with_citations(
            question, references
        )

        # 2. Validate grounding
        grounding = validate_grounding(response, min_citations=1)

        # 3. In strict mode, reject ungrounded responses
        if strict and not grounding["is_grounded"]:
            return {
                "status": "rejected",
                "reason": "Response insufficiently grounded in sources",
                "grounding_score": grounding
            }

        # 4. Return validated response
        return {
            "status": "ok",
            "response": response,
            "grounding_score": grounding,
            "confidence": self._compute_confidence(grounding)
        }

    def _compute_confidence(self, grounding):
        """Calculates a confidence score based on grounding."""
        score = 0.0
        if grounding["has_citations"]:
            score += 0.4
        if grounding["unique_sources"] >= 2:
            score += 0.3
        if grounding["citations_per_1000_chars"] >= 1.0:
            score += 0.3
        return round(score, 2)

Stebėkite įtvirtinimą laikui bėgant

Pirmąją gamybos dieną veikiantis įtvirtintas duomenų srautas laikui bėgant gali prastėti, nes sensta dokumentacijos bazė, pakoreguojama užklausa arba srautas pasislenka link prastai aprėptų temų. Šios penkios metrikos apskaičiuojamos tiesiogiai iš validate_grounding išvesties ir nusipelno nuolatinio skydelio: būtent jų pokyčiai, o ne absoliučios vertės, jus įspėja.

MetrikaKą ji matuoja
Citatų dažnisAtsakymų, turinčių bent vieną citatą, procentinė dalis
Citatų tankisVidutinis citatų skaičius 1000 simbolių
Šaltinių įvairovėVidutinis unikalių šaltinių skaičius vienam atsakymui
Atmetimo dažnisAtsakymų, atmestų dėl nepakankamo įtvirtinimo, procentinė dalis
Vidutinis pasitikėjimo balasPasitikėjimo balo kitimas laikui bėgant

Svarbiausi punktai

  • Įtvirtinimas apriboja modelį atsakyti tik remiantis patikrintais šaltiniais
  • Griežta sistemos užklausa yra pirmoji gynybos linija prieš haliucinacijas
  • Patikrinimas po generavimo programiškai patikrina kiekvieno atsakymo įtvirtinimą
  • Derinkite šias strategijas daugialypiame patikimumo duomenų sraute
  • Nuolat stebėkite įtvirtinimo metrikas, kad aptiktumėte degradaciją