Ugruntowanie odpowiedzi w źródłach i redukcja halucynacji
Na tej stronie
Problem halucynacji w środowisku produkcyjnym
Halucynacja to odpowiedź faktograficznie błędna, podana z pewnością właściwą dla odpowiedzi poprawnej. To właśnie owa pewność czyni ją niebezpieczną. Chatbot wsparcia, który wymyśla procedurę, prowadzi użytkowników w ślepy zaułek; asystent prawny, powołujący się na nieistniejący statut, naraża klienta na ryzyko; narzędzie medyczne rekomendujące niewłaściwą dawkę, wyrządza realną krzywdę. We wszystkich trzech przypadkach format odpowiedzi w żaden sposób nie sygnalizuje problemu.
Ugruntowanie (grounding) niweluje to ryzyko, zmuszając model do opierania odpowiedzi wyłącznie na zweryfikowanych źródłach. W połączeniu z systemem cytowań omówionym w poprzednich lekcjach, tworzy ono wielowarstwową siatkę bezpieczeństwa: prompt definiuje oczekiwane zachowanie, parsowanie cytowań umożliwia weryfikację, a pipeline decyduje, jak obsługiwać odpowiedzi, które nie przejdą tej kontroli.
Prompt systemowy: twoja pierwsza linia obrony
Nieprecyzyjny prompt rodzi nieprecyzyjne ugruntowanie. Musisz sformułować zasady jak specyfikację: zdefiniuj zakres źródeł, podaj dokładną frazę do użycia, gdy brakuje informacji, zabroń uzupełniania luk wiedzą ogólną, wymagaj cytowania każdego twierdzenia i określ sposób obsługi sprzeczności między źródłami.
system_prompt = """
You are a specialized documentation assistant.
ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
"This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""
Ten prompt nie gwarantuje zerowej liczby halucynacji i musisz być co do tego szczery wobec interesariuszy: znacząco redukuje ich częstotliwość. Modele Mistral, trenowane pod kątem ugruntowania, przestrzegają tych instrukcji z wysokim wskaźnikiem zgodności. Jednak wysoki wskaźnik to nie 100%, dlatego konieczne są kolejne kroki.
Weryfikacja ugruntowania po generowaniu
Funkcja validate_grounding zamienia intuicję – „czy ta odpowiedź wygląda na opartą na źródłach?“ – w metrykę. Iteruje przez fragmenty odpowiedzi, sumując długość tekstu po jednej stronie i licząc cytowania oraz odrębne źródła po drugiej. Następnie wyprowadza gęstość wyrażoną jako liczba cytowań na tysiąc znaków. Odpowiedź licząca 2000 znaków z tylko jednym odniesieniem natychmiast staje się podejrzana, podczas gdy ludzki recenzent mógłby to przeoczyć.
from mistralai.client.models import TextChunk, ReferenceChunk
def validate_grounding(response, min_citations=1):
"""Verifies that the response is grounded in sources."""
content = response.choices[0].message.content
text_length = 0
citation_count = 0
cited_refs = set()
for chunk in content:
if isinstance(chunk, TextChunk):
text_length += len(chunk.text)
elif isinstance(chunk, ReferenceChunk):
citation_count += 1
cited_refs.update(chunk.reference_ids)
# Checks
checks = {
"has_citations": citation_count >= min_citations,
"citation_count": citation_count,
"unique_sources": len(cited_refs),
"text_length": text_length,
"citations_per_1000_chars": round(
citation_count / max(text_length / 1000, 1), 1
)
}
checks["is_grounded"] = checks["has_citations"]
return checks
result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
print("ALERT: Response potentially ungrounded!")
print(f" Citations found: {result['citation_count']}")
Identyfikacja twierdzeń wykraczających poza zakres
Liczenie cytowań nie mówi ci, czy tekst znajdujący się między nimi pozostaje wierny źródłom. Funkcja detect_ungrounded_claims rozwiązuje ten ślepy punkt za pomocą prostej heurystyki leksykalnej: dzieli odpowiedź na zdania, porównuje słowa dłuższe niż pięć znaków w każdym zdaniu ze scalonymi fragmentami źródłowymi i flaguje każde zdanie, w którym mniej niż 30% słów kluczowych pojawia się w źródłach. W przypadku asystenta dokumentacji, zdania wysuwające się na szczyt listy podejrzanych to zazwyczaj „wypełniacze“ z wiedzy ogólnej dodane przez model.
def detect_ungrounded_claims(response_text, source_snippets):
"""Detects sentences that do not match any snippet."""
import re
# Split response into sentences
sentences = re.split(r'[.!?]+', response_text)
sentences = [s.strip() for s in sentences if len(s.strip()) > 20]
# Concatenate all snippets into a single text
all_sources = " ".join(source_snippets).lower()
suspicious = []
for sentence in sentences:
# Extract significant keywords (> 5 chars)
keywords = [
w.lower() for w in sentence.split()
if len(w) > 5
]
# Check coverage
matches = sum(1 for kw in keywords if kw in all_sources)
coverage = matches / max(len(keywords), 1)
if coverage < 0.3: # Less than 30% of keywords found
suspicious.append({
"sentence": sentence,
"coverage": round(coverage, 2)
})
return suspicious
Budowa pipeline’u zaufania
W środowisku produkcyjnym te sprawdzenia to nie tylko skrypty analityczne: stają się bramą, przez którą odpowiedź musi przejść, zanim dotrze do użytkownika. Klasa GroundedRAG implementuje taką bramę. Generuje odpowiedź z cytowaniami, waliduje ją, a w trybie ścisłym outright odrzuca odpowiedzi z niewystarczającym ugruntowaniem, zwracając explicitny status zamiast wątpliwego tekstu. Wynik pewności agreguje trzy sygnały – obecność cytowań, różnorodność źródeł i gęstość – dzięki czemu twój interfejs może wyświetlać poziom niezawodności lub kierować przypadki o niskim poziomie pewności do przeglądu przez człowieka.
class GroundedRAG:
"""RAG pipeline with grounding and validation."""
def __init__(self, client, model="mistral-large-latest"):
self.client = client
self.model = model
def query(self, question, references, strict=True):
"""Executes a RAG query with grounding validation."""
# 1. Generate response with citations
response = self._generate_with_citations(
question, references
)
# 2. Validate grounding
grounding = validate_grounding(response, min_citations=1)
# 3. In strict mode, reject ungrounded responses
if strict and not grounding["is_grounded"]:
return {
"status": "rejected",
"reason": "Response insufficiently grounded in sources",
"grounding_score": grounding
}
# 4. Return validated response
return {
"status": "ok",
"response": response,
"grounding_score": grounding,
"confidence": self._compute_confidence(grounding)
}
def _compute_confidence(self, grounding):
"""Calculates a confidence score based on grounding."""
score = 0.0
if grounding["has_citations"]:
score += 0.4
if grounding["unique_sources"] >= 2:
score += 0.3
if grounding["citations_per_1000_chars"] >= 1.0:
score += 0.3
return round(score, 2)
Monitorowanie ugruntowania w czasie
Pipeline ugruntowany pierwszego dnia produkcji może ulec degradacji z upływem czasu, ponieważ baza dokumentacji się starzeje, ponieważ dostosowano prompt lub ponieważ ruch przesuwa się na tematy słabo pokryte źródłami. Poniższych pięć metryk oblicza się bezpośrednio z wyników validate_grounding i zasługują one na stały dashboard: to ich dryft, a nie wartość bezwzględna, powinien cię alarmować.
| Metryka | Co mierzy |
|---|---|
| Wskaźnik cytowań | Procent odpowiedzi zawierających co najmniej jedno cytowanie |
| Gęstość cytowań | Średnia liczba cytowań na 1000 znaków |
| Różnorodność źródeł | Średnia liczba odrębnych źródeł na odpowiedź |
| Wskaźnik odrzuceń | Procent odpowiedzi odrzuconych z powodu niewystarczającego ugruntowania |
| Średni wynik pewności | Ewolucja wyniku pewności w czasie |
Kluczowe wnioski
- Ugruntowanie zmusza model do odpowiadania wyłącznie na podstawie zweryfikowanych źródeł
- Ścisły prompt systemowy to pierwsza linia obrony przed halucynacjami
- Walidacja po generowaniu programowo weryfikuje ugruntowanie każdej odpowiedzi
- Połącz te strategie w wielopoziomowym pipeline’u zaufania
- Ciągle monitoruj metryki ugruntowania, aby wykryć degradację