Ir al contenido principal
Español— Elegir un idioma
Menú

Recuperación: Fragmentación y Clasificación

Lección 8 de 20 Desarrollador
En esta página
  1. Recuperación: Fragmentación y Clasificación
  2. La Canalización de Recuperación
  3. Configuración de la Estrategia de Fragmentación
  4. Umbral de Relevancia y Clasificación
  5. Optimización de la Calidad de la Recuperación
  6. Medición de la Calidad de la Recuperación
  7. Estrategias Avanzadas
  8. Puntos Clave

Recuperación: Fragmentación y Clasificación

File Search depende de una canalización de recuperación completa: tus documentos se dividen en fragmentos, se vectorizan, se indexan y, finalmente, se clasifican por relevancia cuando llega una consulta. Comprender esta canalización te permite optimizar la calidad de las respuestas.

La Canalización de Recuperación

Cuando subes un archivo a un almacén vectorial, OpenAI ejecuta automáticamente lo siguiente:

  1. Análisis (Parsing): Extrae el texto sin formato del archivo de origen.
  2. Fragmentación (Chunking): Divide el texto en segmentos de tamaño controlado.
  3. Incrustación (Embedding): Vectoriza cada fragmento.
  4. Indexación: Almacena los vectores en el índice vectorial.

En el momento de la consulta:

  1. Incrustación de la consulta: La pregunta se convierte en vector.
  2. Búsqueda vectorial: Identifica los fragmentos más cercanos.
  3. Clasificación: Reordena los resultados por relevancia.
  4. Inyección: Introduce los mejores fragmentos en el contexto del modelo.

Configuración de la Estrategia de Fragmentación

La fragmentación es el parámetro que impulsa todo lo demás, y la compensación es sencilla. Los fragmentos cortos ofrecen resultados de búsqueda precisos, pero proporcionan extractos desprovistos de contexto: encuentras la frase correcta, pero pierdes a qué se refiere. Los fragmentos largos preservan el contexto, pero sepultan la información relevante entre texto irrelevante, lo que debilita la puntuación de similitud.

No existe un valor universal: la configuración adecuada depende de la estructura de tu documento, tal y como se resume en la tabla siguiente.

from openai import OpenAI

client = OpenAI()

# Estrategia predeterminada: auto
vector_store = client.vector_stores.create(
    name="legal-base",
    chunking_strategy={"type": "auto"}
)

# Estrategia personalizada: fragmentos más pequeños para mayor precisión
vector_store = client.vector_stores.create(
    name="support-faq",
    chunking_strategy={
        "type": "static",
        "static": {
            "max_chunk_size_tokens": 400,
            "chunk_overlap_tokens": 100
        }
    }
)

Elección del Tamaño de Fragmento Adecuado

Tipo de contenidomax_chunk_sizeoverlapPor qué
FAQ, preguntas y respuestas200-40050Respuestas cortas y autocontenidas
Documentación técnica600-800200Párrafos con contexto
Contratos, textos legales800-1200300Cláusulas largas e interconectadas
Código fuente400-600100Funciones y clases

Impacto del Solapamiento

El solapamiento resuelve un problema concreto: la información que cruza el límite de un fragmento quedaría cortada por la mitad; en tal caso, ninguna de las dos mitades coincidiría con la consulta. Al solapar los fragmentos, garantizas que cada frase aparezca íntegra en al menos un segmento. El coste es la redundancia: un solapamiento de 300 tokens en fragmentos de 800 tokens almacena casi un 40 % de texto duplicado.

# Texto original (simplificado)
# "La cláusula 5.1 establece que el proveedor debe entregar en 30 días.
#  En caso de retraso, se aplican penalizaciones del 1 % diario.
#  La cláusula 5.2 especifica que las penalizaciones están limitadas al 15 %."

# Sin solapamiento: la cláusula 5.1 y las penalizaciones podrían acabar en fragmentos distintos
# Con solapamiento: se preserva el vínculo entre la cláusula y las penalizaciones

Umbral de Relevancia y Clasificación

La clasificación determina qué fragmentos se conservan. Puedes configurar un filtro:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="¿Cuál es la política de devoluciones?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id],
        "max_num_results": 10,
        "ranking_options": {
            "ranker": "auto",
            "score_threshold": 0.5
        }
    }]
)

El parámetro score_threshold filtra los resultados por debajo de un umbral de relevancia. Un valor de 0,0 devuelve todo, mientras que 1,0 sería demasiado restrictivo. En la práctica, valores entre 0,3 y 0,6 ofrecen buenos resultados.

Optimización de la Calidad de la Recuperación

Preparación de Documentos

Esta es la palanca más rentable de toda esta lección y la única que no cuesta nada en configuración: un documento bien estructurado se indexa correctamente. Utiliza encabezados explícitos, una frase introductoria para cada sección y evita tablas convertidas en una masa de texto informe. Por el contrario, ninguna configuración de fragmentación salvará un PDF cuya extracción produzca columnas enredadas.

# Malo: PDF escaneado con OCR aproximado
# -> Fragmentos incoherentes, incrustaciones de baja calidad

# Bueno: Documento estructurado con encabezados y secciones
# -> Fragmentos alineados con secciones lógicas

# Patrón: Preprocesar antes de la subida
def prepare_document(raw_text: str) -> str:
    """Limpia y estructura el texto antes de la indexación."""
    # Eliminar encabezados y pies de página repetitivos
    lines = raw_text.split("\n")
    lines = [l for l in lines if not is_header_footer(l)]

    # Normalizar espacios
    text = "\n".join(lines)
    text = re.sub(r"\n{3,}", "\n\n", text)

    return text

Enriquecimiento con Metadatos

Los metadatos permiten un prefiltrado antes de la búsqueda vectorial, lo que mejora la precisión:

# Subida con metadatos enriquecidos
documents = [
    {"file": "hr-policy-2026.pdf", "department": "hr", "type": "policy", "year": 2026},
    {"file": "supplier-contract-a.pdf", "department": "procurement", "type": "contract", "year": 2026},
    {"file": "it-security-guide.pdf", "department": "it", "type": "guide", "year": 2025},
]

for doc in documents:
    with open(doc["file"], "rb") as f:
        file_obj = client.files.create(file=f, purpose="assistants")

    client.vector_stores.files.create(
        vector_store_id=vector_store.id,
        file_id=file_obj.id,
        attributes={
            "department": doc["department"],
            "document_type": doc["type"],
            "year": doc["year"]
        }
    )

Medición de la Calidad de la Recuperación

Sin medición, cualquier configuración de fragmentación es pura intuición. Un conjunto de veinte preguntas donde conozcas la respuesta esperada y el documento que la contiene es suficiente para objetivar el proceso: cambia un parámetro, vuelve a ejecutar el conjunto de pruebas y compara. Es poco trabajo en comparación con horas debatindo sobre el tamaño del fragmento sin datos.

def evaluate_retrieval(test_questions: list[dict], vs_id: str) -> dict:
    """Evalúa la calidad de la recuperación en un conjunto de pruebas.

    Cada elemento en test_questions contiene:
    - question: la pregunta a formular
    - expected_answer: palabras clave o frases esperadas en la respuesta
    """
    results = {"total": 0, "relevant": 0, "irrelevant": 0}

    for test in test_questions:
        response = client.responses.create(
            model="gpt-5.6-terra",
            input=test["question"],
            tools=[{
                "type": "file_search",
                "vector_store_ids": [vs_id],
                "max_num_results": 5
            }]
        )

        answer = response.output_text.lower()
        found_keywords = sum(
            1 for word in test["expected_answer"]
            if word.lower() in answer
        )

        results["total"] += 1
        if found_keywords >= len(test["expected_answer"]) * 0.5:
            results["relevant"] += 1
        else:
            results["irrelevant"] += 1

    results["relevance_rate"] = results["relevant"] / results["total"]
    return results

Estrategias Avanzadas

Múltiples Almacenes Vectoriales

Consulta varias bases documentales en paralelo:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="Compara nuestra política de RR. HH. con las obligaciones legales",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [
            vs_internal_policies,
            vs_legal_texts
        ],
        "max_num_results": 15
    }]
)

Consultas Descompuestas

Una pregunta que contiene múltiples solicitudes produce un vector promedio que no se parece a ninguna de ellas, lo que conduce a malos resultados de búsqueda para todas. Descomponerla en subpreguntas separadas ofrece resultados significativamente mejores; es el mismo principio que en la búsqueda web: una consulta precisa vence a una exhaustiva.

def decomposed_search(complex_question: str, vs_id: str) -> str:
    """Descompone una pregunta compleja en subbúsquedas."""
    # Paso 1: Descomponer la pregunta
    decomposition = client.responses.create(
        model="gpt-5.6-terra",
        input=f"Descompón esta pregunta en 2-3 subpreguntas simples: {complex_question}",
    )

    # Paso 2: Buscar para cada subpregunta
    sub_results = []
    for sub_q in decomposition.output_text.split("\n"):
        if sub_q.strip():
            r = client.responses.create(
                model="gpt-5.6-terra",
                input=sub_q.strip(),
                tools=[{"type": "file_search", "vector_store_ids": [vs_id]}]
            )
            sub_results.append(r.output_text)

    # Paso 3: Sintetizar
    synthesis = client.responses.create(
        model="gpt-5.6-terra",
        input=f"Pregunta original: {complex_question}\n\n"
              f"Resultados intermedios:\n" + "\n---\n".join(sub_results) +
              "\n\nSintetiza una respuesta completa y coherente."
    )
    return synthesis.output_text

Puntos Clave

  • La fragmentación static con tamaño y solapamiento personalizados mejora la precisión.
  • Fragmentos pequeños para FAQ, fragmentos grandes para documentos legales.
  • score_threshold filtra los resultados irrelevantes.
  • Limpia y estructura tus documentos antes de indexarlos.
  • Evalúa la calidad de la recuperación con un conjunto de pruebas.