Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Freagairtí bunaithe ar fhoinse agus laghdú ar hailleacanáisiú

Ceacht 10 as 16 Nuashonraithe 2 Samhain 2026 Ardleibhéal
Ar an leathanach seo
  1. Fadhb an hailleacanáisiú sa táirgeadh
  2. An leid córais: do chéad líne cosanta
  3. Fíoraigh an bunú tar éis giniúna
  4. Maímh a shainaithint lasmuigh den scóip
  5. Píblíne muiníne a chur le chéile
  6. Monatóireacht a dhéanamh ar bhunú le himeacht ama
  7. Príomhphointí

Fadhb an hailleacanáisiú sa táirgeadh

Is freagairt mhícheart go fíriciúil é hailleacanáisiú a sheachadtar le muinín freagra cheart. Is í an mhuinín sin díreach a dhéanann contúirteach é. Seolann chatbot tacaíochta a chruthaíonn nós imeachta úsáideoirí chuig dead end; nochtann cúntóir dlí a luaíonn reacht nach bhfuil ann do chliaint riosca; cruthaíonn uirlis leighis a mholann an dáileog mícheart díobháil iarbhír. I ngach ceann de na trí chás, ní chuireann aon rud i bhformáid na freagra in iúl go bhfuil fadhb ann.

Déileálann Bunú leis an riosca seo tríd an tsamhail a theorannú chun a freagraí a bhunú go heisiach ar fhoinsí fíoraithe. I gcomhar leis an gcóras luaiteanna a clúdaíodh i gcúrsaí roimhe seo, cruthaíonn sé líon sábháilteachta ilchisealach: sainíonn an leid iompraíocht ionchais, cumasaíonn parsáil luaiteanna fíorú, agus cinneann an píblíne conas déileáil le freagraí a theipeann ar an seiceáil.

An leid córais: do chéad líne cosanta

Cruthaíonn leid doiléir bunú doiléir. Caithfidh tú na rialacha a rá mar shonraíocht: sainigh scóip na bhfoinsí, tabhair an frása beacht le húsáid nuair a bhíonn eolas ar iarraidh, toirmisc bearnaí a líonadh le heolas ginearálta, éiligh luaiteanna do gach maíomh, agus sonraigh conas déileáil le contrárthachtaí idir foinsí.

system_prompt = """
You are a specialized documentation assistant.

ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
   "This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""

Ní ráthaíonn an leid seo nialas hailleacanáisiú, agus caithfidh tú a bheith soiléir faoi seo le do pháirtithe leasmhara: laghdaíonn sé go mór a minicíocht. Leanann samhlacha Mistral, atá oiliúnaithe le haghaidh bunaithe, na treoracha seo le ráta comhlíontachta ard. Mar sin féin, ní ráta 100% é ráta ard, agus is é sin an fáth go bhfuil na céimeanna seo a leanas riachtanach.

Fíoraigh an bunú tar éis giniúna

Tiontaíonn an fheidhm validate_grounding intuigtheacht—“an bhfuil an freagairt seo bunaithe ar fhoinse?”—ina méadracht. Déanann sé athrá ar chodanna na freagra, ag suimiú fad an téacs ar thaobh amháin agus ag comhaireamh luaiteanna agus foinsí ar leith ar an taobh eile. Ansin díorthaíonn sé dlús arna shloinneadh mar luaiteanna in aghaidh míle carachtar. Éiríonn freagairt 2,000 carachtar le tagairt amháin láithreach amhrasach, cé go bhféadfadh athbhreithnitheoir daonna a bheith tar éis é a chailleadh.

from mistralai.client.models import TextChunk, ReferenceChunk


def validate_grounding(response, min_citations=1):
    """Verifies that the response is grounded in sources."""
    content = response.choices[0].message.content

    text_length = 0
    citation_count = 0
    cited_refs = set()

    for chunk in content:
        if isinstance(chunk, TextChunk):
            text_length += len(chunk.text)
        elif isinstance(chunk, ReferenceChunk):
            citation_count += 1
            cited_refs.update(chunk.reference_ids)

    # Checks
    checks = {
        "has_citations": citation_count >= min_citations,
        "citation_count": citation_count,
        "unique_sources": len(cited_refs),
        "text_length": text_length,
        "citations_per_1000_chars": round(
            citation_count / max(text_length / 1000, 1), 1
        )
    }

    checks["is_grounded"] = checks["has_citations"]
    return checks


result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
    print("ALERT: Response potentially ungrounded!")
    print(f"  Citations found: {result['citation_count']}")

Maímh a shainaithint lasmuigh den scóip

Ní insíonn comhaireamh luaiteanna duit an bhfuil an téacs eatarthu fíortha d’fhoinse. Déileálann detect_ungrounded_claims leis an bpointe dall seo le heuristic léacsach simplí: roinneann sé an freagairt ina abairtí, déanann sé comparáid idir focail níos faide ná cúig charachtar i ngach abairt leis na blúirí chomhcheangailte, agus cuireann sé bratach ar aon abairt ina bhfuil níos lú ná 30% de na heochairfhocail le feiceáil sna foinsí. Do chúntóir doiciméadúcháin, is iad na habairtí a éiríonn go barr an liosta amhrasaigh de ghnáth an líonadh “eolais ghinearálta” a chuireann an tsamhail leis.

def detect_ungrounded_claims(response_text, source_snippets):
    """Detects sentences that do not match any snippet."""
    import re

    # Split response into sentences
    sentences = re.split(r'[.!?]+', response_text)
    sentences = [s.strip() for s in sentences if len(s.strip()) > 20]

    # Concatenate all snippets into a single text
    all_sources = " ".join(source_snippets).lower()

    suspicious = []
    for sentence in sentences:
        # Extract significant keywords (> 5 chars)
        keywords = [
            w.lower() for w in sentence.split()
            if len(w) > 5
        ]
        # Check coverage
        matches = sum(1 for kw in keywords if kw in all_sources)
        coverage = matches / max(len(keywords), 1)

        if coverage < 0.3:  # Less than 30% of keywords found
            suspicious.append({
                "sentence": sentence,
                "coverage": round(coverage, 2)
            })

    return suspicious

Píblíne muiníne a chur le chéile

Sa táirgeadh, ní scripteanna anailíse amháin iad na seiceálacha seo: éiríonn siad ina gheata caithfidh an freagairt dul tríd sula sroicheann sé an t-úsáideoir. Cuireann an rang GroundedRAG an geata seo i bhfeidhm. Gineann sé an freagairt luaite, fíoraíonn sé í, agus i mód dian, diúltaíonn sé go hiomlán do fhreagraí le bunú neamhleor, ag filleadh stádas sainráite seachas téacs amhrasach. Déanann an scór muiníne trí chomhartha a chomhiomlánú—láithreacht luaiteanna, éagsúlacht foinse, agus dlús—ionas gur féidir le do chomhéadan leibhéal iontaofachta a thaispeáint nó cásanna muiníne ísle a chur ar aghaidh le haghaidh athbhreithniú daonna.

class GroundedRAG:
    """RAG pipeline with grounding and validation."""

    def __init__(self, client, model="mistral-large-latest"):
        self.client = client
        self.model = model

    def query(self, question, references, strict=True):
        """Executes a RAG query with grounding validation."""

        # 1. Generate response with citations
        response = self._generate_with_citations(
            question, references
        )

        # 2. Validate grounding
        grounding = validate_grounding(response, min_citations=1)

        # 3. In strict mode, reject ungrounded responses
        if strict and not grounding["is_grounded"]:
            return {
                "status": "rejected",
                "reason": "Response insufficiently grounded in sources",
                "grounding_score": grounding
            }

        # 4. Return validated response
        return {
            "status": "ok",
            "response": response,
            "grounding_score": grounding,
            "confidence": self._compute_confidence(grounding)
        }

    def _compute_confidence(self, grounding):
        """Calculates a confidence score based on grounding."""
        score = 0.0
        if grounding["has_citations"]:
            score += 0.4
        if grounding["unique_sources"] >= 2:
            score += 0.3
        if grounding["citations_per_1000_chars"] >= 1.0:
            score += 0.3
        return round(score, 2)

Monatóireacht a dhéanamh ar bhunú le himeacht ama

Is féidir le píblíne bhunaithe ar an gcéad lá táirgthe dul in olcas le himeacht ama toisc go n-aostaíonn an bonn doiciméadúcháin, toisc go ndearnadh leasú ar leid, nó toisc go n-aistríonn trácht chuig topaicí nach bhfuil clúdaithe go maith. Ríomhtar na cúig mhéadrach thíos go díreach as aschuir validate_grounding agus tuilleann siad deais bhuan: is é a n-imeacht, seachas a luach absalóideach, a chuireann in iúl duit.

MéadrachCad a thomhaiseann sé
Ráta luaiteannaCéatadán na bhfreagraí ina bhfuil lua amháin ar a laghad
Dlús luaiteannaMeánlíon na luaiteanna in aghaidh 1,000 carachtar
Éagsúlacht foinseMeánlíon na bhfoinsí ar leith in aghaidh na freagra
Ráta diúltaitheCéatadán na bhfreagraí a diúltaíodh mar gheall ar bhunú neamhleor
Meánscór muiníneÉabhlóid an scóir muiníne le himeacht ama

Príomhphointí

  • Cuireann bunú srian ar an tsamhail chun freagairt ach amháin ó fhoinsí fíoraithe
  • Is é leid córais dian an chéad líne cosanta in aghaidh hailleacanáisiú
  • Fíoraíonn bailíochtú tar éis giniúna bunú gach freagra go cláraithe
  • Comhcheangail na straitéisí seo i bpíblíne muiníne illeibhéil
  • Déan monatóireacht leanúnach ar mhéadracha bunaithe chun meath a bhrath