Премини към основното съдържание
Български— Изберете език
Меню

Закотвяне на отговорите в източниците и намаляване на халюцинациите

Урок 10 от 16 Обновен 2 ноември 2026 г. Напреднало
На тази страница
  1. Проблемът с халюцинациите в продукционна среда
  2. Системният промпт: Вашата първа линия на защита
  3. Верифициране на закотвянето след генериране
  4. Идентифициране на твърдения извън обхвата
  5. Изграждане на пайплайн за доверие
  6. Мониторинг на закотвянето във времето
  7. Ключови изводи

Проблемът с халюцинациите в продукционна среда

Халюцинацията е фактологически неправилен отговор, доставен с увереността на верен такъв. Именно тази увереност я прави опасна. Чатбот за поддръжка, който измисли процедура, води потребителите до задънена улица; юридически асистент, който цитира несъществуващ закон, излага клиента Ви на риск; медицински инструмент, който препоръча грешна доза, причинява реална вреда. И в трите случая нищо във формата на отговора не сигнализира за проблема.

Закотвянето (Grounding) адресира този риск, като ограничава модела да базира отговорите си изключително на проверени източници. В комбинация със системата за цитиране, разгледана в предишните уроци, то създава многопластова мрежа за сигурност: промптът дефинира очакваното поведение, парсирането на цитатите позволява верификация, а пайплайнът решава как да обработи отговорите, които не преминат проверката.

Системният промпт: Вашата първа линия на защита

Неясният промпт води до неясно закотвяне. Трябва да формулирате правилата като спецификация: дефинирайте обхвата на източниците, предоставете точната фраза за използване при липса на информация, забранете попълването на пропуски с общи знания, изисквайте цитати за всяко твърдение и уточнете как да се обработват противоречия между източниците.

system_prompt = """
You are a specialized documentation assistant.

ABSOLUTE RULES:
1. Answer ONLY using the sources provided via references.
2. If the information is not in the sources, respond:
   "This information is not available in the provided sources."
3. NEVER supplement with your general knowledge.
4. Cite every claim with the corresponding reference.
5. If two sources contradict each other, mention both versions.
"""

Този промпт не гарантира нулеви халюцинации и трябва да бъдете ясни по този въпрос със заинтересованите страни: той значително намалява тяхната честота. Моделите на Mistral, обучени за закотвяне, следват тези инструкции с висока степен на съответствие. Въпреки това, високият процент не е 100%, поради което следващите стъпки са необходими.

Верифициране на закотвянето след генериране

Функцията validate_grounding превръща интуицията – „изглежда ли този отговор базиран на източници?“ – в метрика. Тя итерира през чънковете на отговора, сумирайки дължината на текста от едната страна и броейки цитатите и различните източници от другата. След това извежда плътност, изразена като цитати на хиляда знака. Отговор от 2000 знака с само една препратка веднага става подозрителен, докато човешки рецензент може да го е пропуснал.

from mistralai.client.models import TextChunk, ReferenceChunk


def validate_grounding(response, min_citations=1):
    """Verifies that the response is grounded in sources."""
    content = response.choices[0].message.content

    text_length = 0
    citation_count = 0
    cited_refs = set()

    for chunk in content:
        if isinstance(chunk, TextChunk):
            text_length += len(chunk.text)
        elif isinstance(chunk, ReferenceChunk):
            citation_count += 1
            cited_refs.update(chunk.reference_ids)

    # Checks
    checks = {
        "has_citations": citation_count >= min_citations,
        "citation_count": citation_count,
        "unique_sources": len(cited_refs),
        "text_length": text_length,
        "citations_per_1000_chars": round(
            citation_count / max(text_length / 1000, 1), 1
        )
    }

    checks["is_grounded"] = checks["has_citations"]
    return checks


result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
    print("ALERT: Response potentially ungrounded!")
    print(f"  Citations found: {result['citation_count']}")

Идентифициране на твърдения извън обхвата

Броенето на цитатите не Ви казва дали текстът между тях остава верен на източниците. Функцията detect_ungrounded_claims решава този сляп ъгъл с проста лексикална евристика: тя разделя отговора на изречения, сравнява думите с дължина над пет знака във всяко изречение със съединените фрагменти и маркира всяко изречение, където по-малко от 30% от ключовите думи се появяват в източниците. За асистент за документация, изреченията, които излизат на върха на списъка с подозрителни, обикновено са „попълненията с общи знания“, добавени от модела.

def detect_ungrounded_claims(response_text, source_snippets):
    """Detects sentences that do not match any snippet."""
    import re

    # Split response into sentences
    sentences = re.split(r'[.!?]+', response_text)
    sentences = [s.strip() for s in sentences if len(s.strip()) > 20]

    # Concatenate all snippets into a single text
    all_sources = " ".join(source_snippets).lower()

    suspicious = []
    for sentence in sentences:
        # Extract significant keywords (> 5 chars)
        keywords = [
            w.lower() for w in sentence.split()
            if len(w) > 5
        ]
        # Check coverage
        matches = sum(1 for kw in keywords if kw in all_sources)
        coverage = matches / max(len(keywords), 1)

        if coverage < 0.3:  # Less than 30% of keywords found
            suspicious.append({
                "sentence": sentence,
                "coverage": round(coverage, 2)
            })

    return suspicious

Изграждане на пайплайн за доверие

В продукционна среда тези проверки не са просто скриптове за анализ: те се превръщат в порта, през която отговорът трябва да премине, преди да достигне до потребителя. Класът GroundedRAG реализира тази порта. Той генерира цитирания отговор, валидира го и в строг режим директно отхвърля отговорите с недостатъчно закотвяне, връщайки изричен статус вместо съмнителен текст. Оценката за увереност агрегира три сигнала – наличие на цитати, разнообразие на източниците и плътност – така че Вашият интерфейс да може да показва ниво на надеждност или да насочва случаите с ниска увереност за човешка проверка.

class GroundedRAG:
    """RAG pipeline with grounding and validation."""

    def __init__(self, client, model="mistral-large-latest"):
        self.client = client
        self.model = model

    def query(self, question, references, strict=True):
        """Executes a RAG query with grounding validation."""

        # 1. Generate response with citations
        response = self._generate_with_citations(
            question, references
        )

        # 2. Validate grounding
        grounding = validate_grounding(response, min_citations=1)

        # 3. In strict mode, reject ungrounded responses
        if strict and not grounding["is_grounded"]:
            return {
                "status": "rejected",
                "reason": "Response insufficiently grounded in sources",
                "grounding_score": grounding
            }

        # 4. Return validated response
        return {
            "status": "ok",
            "response": response,
            "grounding_score": grounding,
            "confidence": self._compute_confidence(grounding)
        }

    def _compute_confidence(self, grounding):
        """Calculates a confidence score based on grounding."""
        score = 0.0
        if grounding["has_citations"]:
            score += 0.4
        if grounding["unique_sources"] >= 2:
            score += 0.3
        if grounding["citations_per_1000_chars"] >= 1.0:
            score += 0.3
        return round(score, 2)

Мониторинг на закотвянето във времето

Закотвен пайплайн в първия ден на продукционна експлоатация може да деградира с времето, защото базата с документация остарява, защото промптът е бил коригиран или защото трафикът се измества към слабо покрити теми. Петте метрики по-долу се изчисляват директно от изходите на validate_grounding и заслужават постоянен табло с показатели: именно тяхното отклонение (drift), а не абсолютната им стойност, Ви предупреждава.

МетрикаКакво измерва
Честота на цитиранеПроцент от отговорите, съдържащи поне един цитат
Плътност на цитиранеСреден брой цитати на 1000 знака
Разнообразие на източницитеСреден брой различни източници на отговор
Честота на отхвърлянеПроцент от отговорите, отхвърлени поради недостатъчно закотвяне
Средна оценка за увереностЕволюция на оценката за увереност във времето

Ключови изводи

  • Закотвянето ограничава модела да отговаря само въз основа на проверени източници
  • Строгият системен промпт е първата линия на защита срещу халюцинации
  • Валидацията след генериране програмно проверява закотвянето на всеки отговор
  • Комбинирайте тези стратегии в многопластов пайплайн за доверие
  • Непрекъснато наблюдавайте метриките за закотвяне, за да откриете деградация