Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Irrisposti Bbażati fuq Is-Sorsi u Tnaqqis tal-Alluċinazzjonijiet

Lezzjoni 10 / 16 Aġġornat 2 ta’ Novembru 2026 Avvanzat
F'din il-paġna
  1. Il-problema tal-alluċinazzjonijiet fil-produzzjoni
  2. Is-sistema prompt: l-ewwel linja ta’ difiża tiegħek
  3. Ivvverifika r-radicament wara l-ġenerazzjoni
  4. Identifika affermazzjonijiet barra mill-ambitu
  5. Assembla pipeline ta’ fiduċja
  6. Immonitorja r-radicament maż-żmien
  7. Punti Ewlenin

Il-problema tal-alluċinazzjonijiet fil-produzzjoni

Alluċinazzjoni hija tweġiba fattwalment żbaljata mogħtija bl-istess kunfidenza ta’ waħda korretta. Hija preċiżament din il-kunfidenza li tagħmilha perikoluża. Chatbot tas-sostenn li jinventa proċedura jibgħat lill-utenti f’mogħdija bla ħruġ; assistent legali li jiċċita statuta li ma teżistix jesponi lill-klijent tiegħek għar-riskju; għodda medika li tirrakkomanda doża ħażina toħloq ħsara reali. Fit-tliet każijiet, xejn fil-format tar-risposta ma jissinjala l-problema.

Ir-radicament (Grounding) jindirizza dan ir-riskju billi jillimita l-mudell biex ibbaża t-tweġibiet tiegħu esklużivament fuq sorsi vverifikati. Meta tingħaqad mas-sistema ta’ ċitazzjonijiet koperta fil-lezzjonijiet preċedenti, toħloq netwerk ta’ sigurtà b’diversi saffi: il-prompt jiddefinixxi l-imġiba mistennija, l-analiżi taċ-ċitazzjonijiet tippermetti l-verifika, u l-pipeline tiddeċiedi kif tittratta r-risposti li jfallu l-kontroll.

Is-sistema prompt: l-ewwel linja ta’ difiża tiegħek

Prompt vagu jipproduċi radicament vagu. Tridd tiddikjara r-regoli bħal speċifikazzjoni: iddefinixxi l-ambitu tas-sorsi, ipprovdi l-frażi eżatta li għandha tintuża meta l-informazzjoni tkun nieqsa, ipprojbixxi li timla l-lakuni b’għarfien ġenerali, itlob ċitazzjonijiet għal kull affermazzjoni, u speċifika kif tittratta l-kontradizzjonijiet bejn is-sorsi.

system_prompt = """
You are a specialized documentation assistant.

ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
   "This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""

Dan il-prompt ma jiggarantix żero alluċinazzjonijiet, u trid tkun ċar dwar dan mal-partijiet ikkonċernati tiegħek: inaqqas b’mod sinifikanti l-frekwenza tagħhom. Il-mudelli Mistral, imħarrġa għar-radicament, isegwu dawn l-istruzzjonijiet b’rata għolja ta’ konformità. Madankollu, rata għolja mhix rata ta’ 100%, u għalhekk il-passi li ġejjin huma meħtieġa.

Ivvverifika r-radicament wara l-ġenerazzjoni

Il-funzjoni validate_grounding tbiddel intuizzjoni—“din ir-risposta tidher ibbażata fuq sorsi?”—f’metrika. Tgħaddi mill-biċċiet tar-risposta, tgħodd it-tul tat-test fuq naħa u tgħodd iċ-ċitazzjonijiet u s-sorsi distinti fuq in-naħa l-oħra. Imbagħad tidderiva densità espressa bħala ċitazzjonijiet kull elf karattru. Risposta ta’ 2,000 karattru b’referenza waħda biss issir immedjatament suspettuża, filwaqt li reviżur uman setgħet ma ndunatx biha.

from mistralai.client.models import TextChunk, ReferenceChunk


def validate_grounding(response, min_citations=1):
    """Verifies that the response is grounded in sources."""
    content = response.choices[0].message.content

    text_length = 0
    citation_count = 0
    cited_refs = set()

    for chunk in content:
        if isinstance(chunk, TextChunk):
            text_length += len(chunk.text)
        elif isinstance(chunk, ReferenceChunk):
            citation_count += 1
            cited_refs.update(chunk.reference_ids)

    # Checks
    checks = {
        "has_citations": citation_count >= min_citations,
        "citation_count": citation_count,
        "unique_sources": len(cited_refs),
        "text_length": text_length,
        "citations_per_1000_chars": round(
            citation_count / max(text_length / 1000, 1), 1
        )
    }

    checks["is_grounded"] = checks["has_citations"]
    return checks


result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
    print("ALERT: Response potentially ungrounded!")
    print(f"  Citations found: {result['citation_count']}")

Identifika affermazzjonijiet barra mill-ambitu

Li tgħodd iċ-ċitazzjonijiet ma jgħidlekx jekk it-test bejniethom jibqax leali għas-sorsi. detect_ungrounded_claims tittratta dan il-punt mhux viżibbli b’euristika lessikali sempliċi: taqsam ir-risposta f’sentenzi, tqabbel kliem itwal minn ħames karattri f’kull sentenza mal-frammenti kkombinati, u timmarka kull sentenza fejn inqas minn 30% tal-kliem ewlieni jidhru fis-sorsi. Għal assistent tad-dokumentazzjoni, is-sentenzi li jitilgħu fil-quċċata tal-lista tas-suspettati huma tipikament il-mili ta’ “għarfien ġenerali” miżjud mill-mudell.

def detect_ungrounded_claims(response_text, source_snippets):
    """Detects sentences that do not match any snippet."""
    import re

    # Split response into sentences
    sentences = re.split(r'[.!?]+', response_text)
    sentences = [s.strip() for s in sentences if len(s.strip()) > 20]

    # Concatenate all snippets into a single text
    all_sources = " ".join(source_snippets).lower()

    suspicious = []
    for sentence in sentences:
        # Extract significant keywords (> 5 chars)
        keywords = [
            w.lower() for w in sentence.split()
            if len(w) > 5
        ]
        # Check coverage
        matches = sum(1 for kw in keywords if kw in all_sources)
        coverage = matches / max(len(keywords), 1)

        if coverage < 0.3:  # Less than 30% of keywords found
            suspicious.append({
                "sentence": sentence,
                "coverage": round(coverage, 2)
            })

    return suspicious

Assembla pipeline ta’ fiduċja

Fil-produzzjoni, dawn il-kontrolli mhumiex biss skripts ta’ analiżi: isiru bieb li r-risposta trid tgħaddi minnu qabel ma tilħaq lill-utent. Il-klassi GroundedRAG timplimenta dan il-bieb. Tiġġenera r-risposta ċċitata, tivvalidaha, u f’mod strett, tirrifjuta direttament ir-risposti b’radicament insuffiċjenti, u tirritorna status espliċitu minflok test dubjuż. L-iskor tal-kunfidenza jgħaqqad tliet sinjali—preżenza ta’ ċitazzjonijiet, diversità tas-sorsi, u densità—biex l-interfaċċa tiegħek tkun tista’ turi livell ta’ affidabbiltà jew tgħaddi każijiet b’kunfidenza baxxa għal reviżjoni umana.

class GroundedRAG:
    """RAG pipeline with grounding and validation."""

    def __init__(self, client, model="mistral-large-latest"):
        self.client = client
        self.model = model

    def query(self, question, references, strict=True):
        """Executes a RAG query with grounding validation."""

        # 1. Generate response with citations
        response = self._generate_with_citations(
            question, references
        )

        # 2. Validate grounding
        grounding = validate_grounding(response, min_citations=1)

        # 3. In strict mode, reject ungrounded responses
        if strict and not grounding["is_grounded"]:
            return {
                "status": "rejected",
                "reason": "Response insufficiently grounded in sources",
                "grounding_score": grounding
            }

        # 4. Return validated response
        return {
            "status": "ok",
            "response": response,
            "grounding_score": grounding,
            "confidence": self._compute_confidence(grounding)
        }

    def _compute_confidence(self, grounding):
        """Calculates a confidence score based on grounding."""
        score = 0.0
        if grounding["has_citations"]:
            score += 0.4
        if grounding["unique_sources"] >= 2:
            score += 0.3
        if grounding["citations_per_1000_chars"] >= 1.0:
            score += 0.3
        return round(score, 2)

Immonitorja r-radicament maż-żmien

Pipeline b’radicament fl-ewwel jum tal-produzzjoni tista’ tiddegrada maż-żmien minħabba li l-bażi tad-dokumentazzjoni tixjieħ, minħabba li prompt ġie mmodifikat, jew minħabba li t-traffiku jċaqlaq lejn temi koperti ħażin. Il-ħames metriċi hawn taħt jiġu kkalkolati direttament mill-outputs ta’ validate_grounding u jistħoqqilhom dashboard permanenti: hija d-devjazzjoni tagħhom, aktar mill-valur assolut tagħhom, li twissik.

MetrikaX’tkejjel
Rata ta’ ċitazzjonijietPerċentwal ta’ risposti li fihom mill-inqas ċitazzjoni waħda
Densità ta’ ċitazzjonijietNumru medju ta’ ċitazzjonijiet kull 1,000 karattru
Diversità tas-sorsiNumru medju ta’ sorsi distinti kull risposta
Rata ta’ rifjutPerċentwal ta’ risposti miċħuda għal radicament insuffiċjenti
Skor medju ta’ kunfidenzaEvoluzzjoni tal-iskor tal-kunfidenza maż-żmien

Punti Ewlenin

  • Ir-radicament jillimita l-mudell biex iwieġeb biss minn sorsi vverifikati
  • Sistema prompt stretta hija l-ewwel linja ta’ difiża kontra l-alluċinazzjonijiet
  • Il-validazzjoni wara l-ġenerazzjoni tivverifika programmatakament ir-radicament ta’ kull risposta
  • Għaqqad dawn l-istrateġiji f’pipeline ta’ fiduċja b’diversi livelli
  • Immonitorja kontinwament il-metriċi tar-radicament biex tiskopri d-degradazzjoni