Ir al contenido principal
Español— Elegir un idioma
Menú

Anclar las respuestas en las fuentes y reducir las alucinaciones

Lección 10 de 16 Actualizado el 2 de noviembre de 2026 Avanzado
En esta página
  1. El problema de las alucinaciones en producción
  2. El prompt del sistema: tu primera línea de defensa
  3. Verificar el anclaje tras la generación
  4. Identificar afirmaciones fuera de alcance
  5. Ensamblar una tubería de confianza
  6. Monitorizar el anclaje a lo largo del tiempo
  7. Puntos clave

El problema de las alucinaciones en producción

Una alucinación es una respuesta factualmente incorrecta entregada con la misma confianza que una correcta. Esa confianza es precisamente lo que la hace peligrosa. Un chatbot de soporte que inventa un procedimiento envía a los usuarios a un callejón sin salida; un asistente legal que cita un estatuto inexistente expone a tu cliente a riesgos; una herramienta médica que recomienda una dosis errónea causa daños reales. En los tres casos, nada en el formato de la respuesta señala el problema.

El anclaje (grounding) aborda este riesgo al restringir al modelo para que base sus respuestas exclusivamente en fuentes verificadas. Combinado con el sistema de citas tratado en lecciones anteriores, crea una red de seguridad multicapa: el prompt define el comportamiento esperado, el análisis de citas permite la verificación y la tubería decide cómo gestionar las respuestas que fallan la comprobación.

El prompt del sistema: tu primera línea de defensa

Un prompt vago produce un anclaje vago. Debes establecer las reglas como una especificación técnica: define el alcance de las fuentes, proporciona la frase exacta que debe usarse cuando falta información, prohíbe rellenar huecos con conocimiento general, exige citas para cada afirmación y especifica cómo manejar las contradicciones entre fuentes.

system_prompt = """
Eres un asistente especializado en documentación.

REGLAS ABSOLUTAS:
1. Responde ÚNICAMENTE usando las fuentes proporcionadas mediante referencias.
2. Si la información no está en las fuentes, responde:
   "Esta información no está disponible en las fuentes proporcionadas."
3. NUNCA complementes con tu conocimiento general.
4. Cita cada afirmación con la referencia correspondiente.
5. Si dos fuentes se contradicen, menciona ambas versiones.
"""

Este prompt no garantiza cero alucinaciones, y debes ser claro sobre esto con tus partes interesadas: reduce significativamente su frecuencia. Los modelos Mistral, entrenados para el anclaje, siguen estas instrucciones con una alta tasa de cumplimiento. Sin embargo, una tasa alta no es una tasa del 100 %, razón por la cual son necesarios los siguientes pasos.

Verificar el anclaje tras la generación

La función validate_grounding convierte una intuición («¿parece que esta respuesta tiene fuentes?») en una métrica. Itera a través de los fragmentos de la respuesta, sumando la longitud del texto por un lado y contando las citas y fuentes distintas por el otro. A continuación, deriva una densidad expresada como citas por mil caracteres. Una respuesta de 2.000 caracteres con solo una referencia se vuelve inmediatamente sospechosa, mientras que un revisor humano podría haberla pasado por alto.

from mistralai.client.models import TextChunk, ReferenceChunk


def validate_grounding(response, min_citations=1):
    """Verifica que la respuesta esté anclada en las fuentes."""
    content = response.choices[0].message.content

    text_length = 0
    citation_count = 0
    cited_refs = set()

    for chunk in content:
        if isinstance(chunk, TextChunk):
            text_length += len(chunk.text)
        elif isinstance(chunk, ReferenceChunk):
            citation_count += 1
            cited_refs.update(chunk.reference_ids)

    # Comprobaciones
    checks = {
        "has_citations": citation_count >= min_citations,
        "citation_count": citation_count,
        "unique_sources": len(cited_refs),
        "text_length": text_length,
        "citations_per_1000_chars": round(
            citation_count / max(text_length / 1000, 1), 1
        )
    }

    checks["is_grounded"] = checks["has_citations"]
    return checks


result = validate_grounding(final_response, min_citations=2)
if not result["is_grounded"]:
    print("ALERTA: ¡Respuesta posiblemente no anclada!")
    print(f"  Citas encontradas: {result['citation_count']}")

Identificar afirmaciones fuera de alcance

Contar citas no indica si el texto entre ellas se mantiene fiel a las fuentes. detect_ungrounded_claims aborda este punto ciego con una heurística léxica simple: divide la respuesta en oraciones, compara las palabras de más de cinco caracteres en cada oración con los fragmentos concatenados y marca cualquier oración donde menos del 30 % de las palabras clave aparezcan en las fuentes. Para un asistente de documentación, las oraciones que encabezan la lista de sospechosas suelen ser el relleno de «conocimiento general» añadido por el modelo.

def detect_ungrounded_claims(response_text, source_snippets):
    """Detecta oraciones que no coinciden con ningún fragmento."""
    import re

    # Dividir la respuesta en oraciones
    sentences = re.split(r'[.!?]+', response_text)
    sentences = [s.strip() for s in sentences if len(s.strip()) > 20]

    # Concatenar todos los fragmentos en un único texto
    all_sources = " ".join(source_snippets).lower()

    suspicious = []
    for sentence in sentences:
        # Extraer palabras clave significativas (> 5 caracteres)
        keywords = [
            w.lower() for w in sentence.split()
            if len(w) > 5
        ]
        # Comprobar cobertura
        matches = sum(1 for kw in keywords if kw in all_sources)
        coverage = matches / max(len(keywords), 1)

        if coverage < 0.3:  # Menos del 30 % de palabras clave encontradas
            suspicious.append({
                "sentence": sentence,
                "coverage": round(coverage, 2)
            })

    return suspicious

Ensamblar una tubería de confianza

En producción, estas comprobaciones no son solo scripts de análisis: se convierten en una puerta que la respuesta debe atravesar antes de llegar al usuario. La clase GroundedRAG implementa esta puerta. Genera la respuesta citada, la valida y, en modo estricto, rechaza directamente las respuestas con un anclaje insuficiente, devolviendo un estado explícito en lugar de texto dudoso. La puntuación de confianza agrega tres señales —presencia de citas, diversidad de fuentes y densidad— para que tu interfaz pueda mostrar un nivel de fiabilidad o derivar los casos de baja confianza a revisión humana.

class GroundedRAG:
    """Tubería RAG con anclaje y validación."""

    def __init__(self, client, model="mistral-large-latest"):
        self.client = client
        self.model = model

    def query(self, question, references, strict=True):
        """Ejecuta una consulta RAG con validación de anclaje."""

        # 1. Generar respuesta con citas
        response = self._generate_with_citations(
            question, references
        )

        # 2. Validar anclaje
        grounding = validate_grounding(response, min_citations=1)

        # 3. En modo estricto, rechazar respuestas no ancladas
        if strict and not grounding["is_grounded"]:
            return {
                "status": "rejected",
                "reason": "Respuesta insuficientemente anclada en las fuentes",
                "grounding_score": grounding
            }

        # 4. Devolver respuesta validada
        return {
            "status": "ok",
            "response": response,
            "grounding_score": grounding,
            "confidence": self._compute_confidence(grounding)
        }

    def _compute_confidence(self, grounding):
        """Calcula una puntuación de confianza basada en el anclaje."""
        score = 0.0
        if grounding["has_citations"]:
            score += 0.4
        if grounding["unique_sources"] >= 2:
            score += 0.3
        if grounding["citations_per_1000_chars"] >= 1.0:
            score += 0.3
        return round(score, 2)

Monitorizar el anclaje a lo largo del tiempo

Una tubería anclada el primer día de producción puede degradarse con el tiempo porque la base de documentación envejece, porque se ha ajustado un prompt o porque el tráfico se desplaza hacia temas poco cubiertos. Las cinco métricas siguientes se calculan directamente a partir de las salidas de validate_grounding y merecen un panel de control permanente: es su deriva, más que su valor absoluto, lo que debe alertarte.

MétricaQué mide
Tasa de citasPorcentaje de respuestas que contienen al menos una cita
Densidad de citasNúmero medio de citas por 1.000 caracteres
Diversidad de fuentesNúmero medio de fuentes distintas por respuesta
Tasa de rechazoPorcentaje de respuestas rechazadas por anclaje insuficiente
Puntuación media de confianzaEvolución de la puntuación de confianza a lo largo del tiempo

Puntos clave

  • El anclaje restringe al modelo para que responda solo a partir de fuentes verificadas
  • Un prompt de sistema estricto es la primera línea de defensa contra las alucinaciones
  • La validación posterior a la generación verifica programáticamente el anclaje de cada respuesta
  • Combina estas estrategias en una tubería de confianza multinivel
  • Monitoriza continuamente las métricas de anclaje para detectar degradación