Przejdź do głównej treści
Polski— Wybierz język
Menu

Ugruntowanie odpowiedzi w źródłach i redukcja halucynacji

Lekcja 10 z 16 Zaktualizowano 2 listopada 2026 Zaawansowany
Na tej stronie
  1. Problem halucynacji w środowisku produkcyjnym
  2. Prompt systemowy: twoja pierwsza linia obrony
  3. Weryfikacja ugruntowania po generowaniu
  4. Identyfikacja twierdzeń wykraczających poza zakres
  5. Budowa pipeline’u zaufania
  6. Monitorowanie ugruntowania w czasie
  7. Kluczowe wnioski

Problem halucynacji w środowisku produkcyjnym

Halucynacja to odpowiedź faktograficznie błędna, podana z pewnością właściwą dla odpowiedzi poprawnej. To właśnie owa pewność czyni ją niebezpieczną. Chatbot wsparcia, który wymyśla procedurę, prowadzi użytkowników w ślepy zaułek; asystent prawny, powołujący się na nieistniejący statut, naraża klienta na ryzyko; narzędzie medyczne rekomendujące niewłaściwą dawkę, wyrządza realną krzywdę. We wszystkich trzech przypadkach format odpowiedzi w żaden sposób nie sygnalizuje problemu.

Ugruntowanie (grounding) niweluje to ryzyko, zmuszając model do opierania odpowiedzi wyłącznie na zweryfikowanych źródłach. W połączeniu z systemem cytowań omówionym w poprzednich lekcjach, tworzy ono wielowarstwową siatkę bezpieczeństwa: prompt definiuje oczekiwane zachowanie, parsowanie cytowań umożliwia weryfikację, a pipeline decyduje, jak obsługiwać odpowiedzi, które nie przejdą tej kontroli.

Prompt systemowy: twoja pierwsza linia obrony

Nieprecyzyjny prompt rodzi nieprecyzyjne ugruntowanie. Musisz sformułować zasady jak specyfikację: zdefiniuj zakres źródeł, podaj dokładną frazę do użycia, gdy brakuje informacji, zabroń uzupełniania luk wiedzą ogólną, wymagaj cytowania każdego twierdzenia i określ sposób obsługi sprzeczności między źródłami.

system_prompt = """
You are a specialized documentation assistant.

ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
   "This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""

Ten prompt nie gwarantuje zerowej liczby halucynacji i musisz być co do tego szczery wobec interesariuszy: znacząco redukuje ich częstotliwość. Modele Mistral, trenowane pod kątem ugruntowania, przestrzegają tych instrukcji z wysokim wskaźnikiem zgodności. Jednak wysoki wskaźnik to nie 100%, dlatego konieczne są kolejne kroki.

Weryfikacja ugruntowania po generowaniu

Funkcja validate_grounding zamienia intuicję – „czy ta odpowiedź wygląda na opartą na źródłach?“ – w metrykę. Iteruje przez fragmenty odpowiedzi, sumując długość tekstu po jednej stronie i licząc cytowania oraz odrębne źródła po drugiej. Następnie wyprowadza gęstość wyrażoną jako liczba cytowań na tysiąc znaków. Odpowiedź licząca 2000 znaków z tylko jednym odniesieniem natychmiast staje się podejrzana, podczas gdy ludzki recenzent mógłby to przeoczyć.

from mistralai.client.models import TextChunk, ReferenceChunk


def validate_grounding(response, min_citations=1):
    """Verifies that the response is grounded in sources."""
    content = response.choices[0].message.content

    text_length = 0
    citation_count = 0
    cited_refs = set()

    for chunk in content:
        if isinstance(chunk, TextChunk):
            text_length += len(chunk.text)
        elif isinstance(chunk, ReferenceChunk):
            citation_count += 1
            cited_refs.update(chunk.reference_ids)

    # Checks
    checks = {
        "has_citations": citation_count >= min_citations,
        "citation_count": citation_count,
        "unique_sources": len(cited_refs),
        "text_length": text_length,
        "citations_per_1000_chars": round(
            citation_count / max(text_length / 1000, 1), 1
        )
    }

    checks["is_grounded"] = checks["has_citations"]
    return checks


result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
    print("ALERT: Response potentially ungrounded!")
    print(f"  Citations found: {result['citation_count']}")

Identyfikacja twierdzeń wykraczających poza zakres

Liczenie cytowań nie mówi ci, czy tekst znajdujący się między nimi pozostaje wierny źródłom. Funkcja detect_ungrounded_claims rozwiązuje ten ślepy punkt za pomocą prostej heurystyki leksykalnej: dzieli odpowiedź na zdania, porównuje słowa dłuższe niż pięć znaków w każdym zdaniu ze scalonymi fragmentami źródłowymi i flaguje każde zdanie, w którym mniej niż 30% słów kluczowych pojawia się w źródłach. W przypadku asystenta dokumentacji, zdania wysuwające się na szczyt listy podejrzanych to zazwyczaj „wypełniacze“ z wiedzy ogólnej dodane przez model.

def detect_ungrounded_claims(response_text, source_snippets):
    """Detects sentences that do not match any snippet."""
    import re

    # Split response into sentences
    sentences = re.split(r'[.!?]+', response_text)
    sentences = [s.strip() for s in sentences if len(s.strip()) > 20]

    # Concatenate all snippets into a single text
    all_sources = " ".join(source_snippets).lower()

    suspicious = []
    for sentence in sentences:
        # Extract significant keywords (> 5 chars)
        keywords = [
            w.lower() for w in sentence.split()
            if len(w) > 5
        ]
        # Check coverage
        matches = sum(1 for kw in keywords if kw in all_sources)
        coverage = matches / max(len(keywords), 1)

        if coverage < 0.3:  # Less than 30% of keywords found
            suspicious.append({
                "sentence": sentence,
                "coverage": round(coverage, 2)
            })

    return suspicious

Budowa pipeline’u zaufania

W środowisku produkcyjnym te sprawdzenia to nie tylko skrypty analityczne: stają się bramą, przez którą odpowiedź musi przejść, zanim dotrze do użytkownika. Klasa GroundedRAG implementuje taką bramę. Generuje odpowiedź z cytowaniami, waliduje ją, a w trybie ścisłym outright odrzuca odpowiedzi z niewystarczającym ugruntowaniem, zwracając explicitny status zamiast wątpliwego tekstu. Wynik pewności agreguje trzy sygnały – obecność cytowań, różnorodność źródeł i gęstość – dzięki czemu twój interfejs może wyświetlać poziom niezawodności lub kierować przypadki o niskim poziomie pewności do przeglądu przez człowieka.

class GroundedRAG:
    """RAG pipeline with grounding and validation."""

    def __init__(self, client, model="mistral-large-latest"):
        self.client = client
        self.model = model

    def query(self, question, references, strict=True):
        """Executes a RAG query with grounding validation."""

        # 1. Generate response with citations
        response = self._generate_with_citations(
            question, references
        )

        # 2. Validate grounding
        grounding = validate_grounding(response, min_citations=1)

        # 3. In strict mode, reject ungrounded responses
        if strict and not grounding["is_grounded"]:
            return {
                "status": "rejected",
                "reason": "Response insufficiently grounded in sources",
                "grounding_score": grounding
            }

        # 4. Return validated response
        return {
            "status": "ok",
            "response": response,
            "grounding_score": grounding,
            "confidence": self._compute_confidence(grounding)
        }

    def _compute_confidence(self, grounding):
        """Calculates a confidence score based on grounding."""
        score = 0.0
        if grounding["has_citations"]:
            score += 0.4
        if grounding["unique_sources"] >= 2:
            score += 0.3
        if grounding["citations_per_1000_chars"] >= 1.0:
            score += 0.3
        return round(score, 2)

Monitorowanie ugruntowania w czasie

Pipeline ugruntowany pierwszego dnia produkcji może ulec degradacji z upływem czasu, ponieważ baza dokumentacji się starzeje, ponieważ dostosowano prompt lub ponieważ ruch przesuwa się na tematy słabo pokryte źródłami. Poniższych pięć metryk oblicza się bezpośrednio z wyników validate_grounding i zasługują one na stały dashboard: to ich dryft, a nie wartość bezwzględna, powinien cię alarmować.

MetrykaCo mierzy
Wskaźnik cytowańProcent odpowiedzi zawierających co najmniej jedno cytowanie
Gęstość cytowańŚrednia liczba cytowań na 1000 znaków
Różnorodność źródełŚrednia liczba odrębnych źródeł na odpowiedź
Wskaźnik odrzuceńProcent odpowiedzi odrzuconych z powodu niewystarczającego ugruntowania
Średni wynik pewnościEwolucja wyniku pewności w czasie

Kluczowe wnioski

  • Ugruntowanie zmusza model do odpowiadania wyłącznie na podstawie zweryfikowanych źródeł
  • Ścisły prompt systemowy to pierwsza linia obrony przed halucynacjami
  • Walidacja po generowaniu programowo weryfikuje ugruntowanie każdej odpowiedzi
  • Połącz te strategie w wielopoziomowym pipeline’u zaufania
  • Ciągle monitoruj metryki ugruntowania, aby wykryć degradację