Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Utemeljenje odgovora u izvorima i smanjenje halucinacija

Lekcija 10 od 16 Ažurirano 2. studenoga 2026. Napredno
Na ovoj stranici
  1. Problem halucinacija u produkciji
  2. Sistemski upit: tvoja prva linija obrane
  3. Provjeri utemeljenje nakon generiranja
  4. Identificiraj tvrdnje izvan opsega
  5. Sastavi pipeline povjerenja
  6. Prati utemeljenje tijekom vremena
  7. Ključne točke

Problem halucinacija u produkciji

Halucinacija je činjenično netočan odgovor isporučen s uvjerenjem da je točan. Upravo to uvjerenje čini je opasnom. Chatbot za podršku koji izmisli postupak šalje korisnike u slijepu ulicu; pravni asistent koji citira nepostojeći statut izlaže vašeg klijenta riziku; medicinski alat koji preporuči pogrešnu dozu nanosi stvarnu štetu. U sva tri slučaja, ništa u formatu odgovora ne signalizira problem.

Utemeljenje (Grounding) rješava taj rizik ograničavanjem modela da svoje odgovore temelji isključivo na provjerenim izvorima. U kombinaciji sa sustavom citiranja obrađenim u prethodnim lekcijama, stvara se višeslojna sigurnosna mreža: upit definira očekivano ponašanje, parsiranje citata omogućuje provjeru, a pipeline odlučuje kako postupiti s odgovorima koji ne prođu provjeru.

Sistemski upit: tvoja prva linija obrane

Nejasan upit proizvodi nejasno utemeljenje. Moraš navesti pravila poput specifikacije: definiraj opseg izvora, navedi točnu frazu koju treba koristiti kada informacije nedostaju, zabrani popunjavanje praznina općim znanjem, zahtijevaj citate za svaku tvrdnju i odredi kako rukovati kontradikcijama između izvora.

system_prompt = """
You are a specialized documentation assistant.

ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
   "This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""

Ovaj upit ne garantira nula halucinacija i to moraš jasno staviti do znanja svojim dionicima: on značajno smanjuje njihovu učestalost. Mistral modeli, trenirani za utemeljenje, slijede ove upute s visokom stopom usklađenosti. Međutim, visoka stopa nije stopa od 100 %, zbog čega su sljedeći koraci nužni.

Provjeri utemeljenje nakon generiranja

Funkcija validate_grounding pretvara intuiciju – „izgleda li ovaj odgovor utemeljen na izvorima?“ – u metrika. Ona iterira kroz dijelove odgovora, zbrajajući duljinu teksta na jednoj strani te brojeći citate i različite izvore na drugoj. Zatim izvodi gustoću izraženu kao broj citata po tisuću znakova. Odgovor od 2000 znakova s samo jednom referencom odmah postaje sumnjiv, dok bi to ljudski recenzent mogao propustiti.

from mistralai.client.models import TextChunk, ReferenceChunk


def validate_grounding(response, min_citations=1):
    """Verifies that the response is grounded in sources."""
    content = response.choices[0].message.content

    text_length = 0
    citation_count = 0
    cited_refs = set()

    for chunk in content:
        if isinstance(chunk, TextChunk):
            text_length += len(chunk.text)
        elif isinstance(chunk, ReferenceChunk):
            citation_count += 1
            cited_refs.update(chunk.reference_ids)

    # Checks
    checks = {
        "has_citations": citation_count >= min_citations,
        "citation_count": citation_count,
        "unique_sources": len(cited_refs),
        "text_length": text_length,
        "citations_per_1000_chars": round(
            citation_count / max(text_length / 1000, 1), 1
        )
    }

    checks["is_grounded"] = checks["has_citations"]
    return checks


result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
    print("ALERT: Response potentially ungrounded!")
    print(f"  Citations found: {result['citation_count']}")

Identificiraj tvrdnje izvan opsega

Brojanje citata ne govori ti ostaje li tekst između njih vjeran izvorima. Funkcija detect_ungrounded_claims rješava tu slijepu točku jednostavnom leksičkom heuristikom: dijeli odgovor na rečenice, uspoređuje riječi dulje od pet znakova u svakoj rečenici sa spojenim isječcima i označava svaku rečenicu u kojoj se manje od 30 % ključnih riječi pojavljuje u izvorima. Za asistenta za dokumentaciju, rečenice koje se penju na vrh popisa osumnjičenih obično su „ispunjavači“ općeg znanja koje je dodao model.

def detect_ungrounded_claims(response_text, source_snippets):
    """Detects sentences that do not match any snippet."""
    import re

    # Split response into sentences
    sentences = re.split(r'[.!?]+', response_text)
    sentences = [s.strip() for s in sentences if len(s.strip()) > 20]

    # Concatenate all snippets into a single text
    all_sources = " ".join(source_snippets).lower()

    suspicious = []
    for sentence in sentences:
        # Extract significant keywords (> 5 chars)
        keywords = [
            w.lower() for w in sentence.split()
            if len(w) > 5
        ]
        # Check coverage
        matches = sum(1 for kw in keywords if kw in all_sources)
        coverage = matches / max(len(keywords), 1)

        if coverage < 0.3:  # Less than 30% of keywords found
            suspicious.append({
                "sentence": sentence,
                "coverage": round(coverage, 2)
            })

    return suspicious

Sastavi pipeline povjerenja

U produkciji ove provjere nisu samo skripte za analizu: one postaju prolaz kroz koji odgovor mora proći prije nego što stigne do korisnika. Klasa GroundedRAG implementira taj prolaz. Generira odgovor s citatima, validira ga i, u strogom načinu rada, izravno odbija odgovore s nedovoljnim utemeljenjem, vraćajući eksplicitan status umjesto sumnjivog teksta. Ocjena pouzdanosti agregira tri signala – prisutnost citata, raznolikost izvora i gustoću – tako da tvoje sučelje može prikazati razinu pouzdanosti ili proslijediti slučajeve s niskom razinom pouzdanosti na ljudsku provjeru.

class GroundedRAG:
    """RAG pipeline with grounding and validation."""

    def __init__(self, client, model="mistral-large-latest"):
        self.client = client
        self.model = model

    def query(self, question, references, strict=True):
        """Executes a RAG query with grounding validation."""

        # 1. Generate response with citations
        response = self._generate_with_citations(
            question, references
        )

        # 2. Validate grounding
        grounding = validate_grounding(response, min_citations=1)

        # 3. In strict mode, reject ungrounded responses
        if strict and not grounding["is_grounded"]:
            return {
                "status": "rejected",
                "reason": "Response insufficiently grounded in sources",
                "grounding_score": grounding
            }

        # 4. Return validated response
        return {
            "status": "ok",
            "response": response,
            "grounding_score": grounding,
            "confidence": self._compute_confidence(grounding)
        }

    def _compute_confidence(self, grounding):
        """Calculates a confidence score based on grounding."""
        score = 0.0
        if grounding["has_citations"]:
            score += 0.4
        if grounding["unique_sources"] >= 2:
            score += 0.3
        if grounding["citations_per_1000_chars"] >= 1.0:
            score += 0.3
        return round(score, 2)

Prati utemeljenje tijekom vremena

Utemeljeni pipeline prvog dana produkcije može s vremenom degradirati jer baza dokumentacije zastarijeva, jer je upit fino podešen ili jer se promet preusmjerava na slabo pokrivene teme. Pet metrika u nastavku izračunava se izravno iz izlaza funkcije validate_grounding i zaslužuju stalni nadzorni ploču: upravo njihov pomak, više nego njihova apsolutna vrijednost, upozorava te na probleme.

MetrikaŠto mjeri
Stopa citiranjaPostotak odgovora koji sadrže barem jedan citat
Gustoća citataProsječan broj citata na 1000 znakova
Raznolikost izvoraProsječan broj različitih izvora po odgovoru
Stopa odbijanjaPostotak odgovora odbijenih zbog nedovoljnog utemeljenja
Prosječna ocjena pouzdanostiEvolucija ocjene pouzdanosti tijekom vremena

Ključne točke

  • Utemeljenje ograničava model da odgovara isključivo na temelju provjerenih izvora
  • Strogi sistemski upit prva je linija obrane od halucinacija
  • Validacija nakon generiranja programski provjerava utemeljenost svakog odgovora
  • Kombiniraj ove strategije u višerazinski pipeline povjerenja
  • Neprestano prati metrike utemeljenja kako bi otkrio/la degradaciju