Salt la conținutul principal
Română— Alege o limbă
Meniu

Recuperare: Fragmentare și Clasare

Lecția 8 din 20 Dezvoltator
Pe această pagină
  1. Recuperare: Fragmentare și Clasare
  2. Fluxul de Recuperare
  3. Configurarea Strategiei de Fragmentare
  4. Prag de Relevanță și Clasare
  5. Optimizarea Calității Recuperării
  6. Măsurarea Calității Recuperării
  7. Strategii Avansate
  8. Puncte cheie

Recuperare: Fragmentare și Clasare

Căutarea în fișiere se bazează pe un flux complet de recuperare: documentele dumneavoastră sunt divizate în fragmente, transformate în vectori, indexate și apoi clasate în funcție de relevanță atunci când sosește o interogare. Înțelegerea acestui flux vă permite să optimizați calitatea răspunsurilor.

Fluxul de Recuperare

Atunci când încărcați un fișier într-un stoc vectorial, OpenAI execută automat următorii pași:

  1. Analiză (Parsing): Extrage textul brut din formatul sursă
  2. Fragmentare (Chunking): Divizează textul în segmente de dimensiune controlată
  3. Încapsulare (Embedding): Transformă fiecare fragment într-un vector
  4. Indexare: Stochează vectorii în indexul vectorial

La momentul interogării:

  1. Încapsularea Interogării: Întrebarea este transformată într-un vector
  2. Căutare Vectorială: Identifică fragmentele cele mai apropiate
  3. Clasare: Reordonează rezultatele în funcție de relevanță
  4. Injectare: Injectează cele mai bune fragmente în contextul modelului

Configurarea Strategiei de Fragmentare

Fragmentarea este setarea care conduce întregul proces, iar compromisul este simplu. Fragmentele scurte oferă rezultate de căutare precise, dar furnizează extrase lipsite de context – găsiți propoziția corectă, dar pierdeți referințele acesteia. Fragmentele lungi păstrează contextul, dar îngroapă informațiile relevante în text irelevant, ceea ce slăbește scorul de similaritate.

Nu există o valoare universală: setarea corectă depinde de structura documentului dumneavoastră, exact așa cum este rezumat în tabelul de mai jos.

from openai import OpenAI

client = OpenAI()

# Strategie implicită: auto
vector_store = client.vector_stores.create(
    name="legal-base",
    chunking_strategy={"type": "auto"}
)

# Strategie personalizată: fragmente mai mici pentru o precizie mai mare
vector_store = client.vector_stores.create(
    name="support-faq",
    chunking_strategy={
        "type": "static",
        "static": {
            "max_chunk_size_tokens": 400,
            "chunk_overlap_tokens": 100
        }
    }
)

Alegerea Dimensiunii Corecte a Fragmentului

Tip de Conținutmax_chunk_sizesuprapunere (overlap)De ce
Întrebări frecvente (FAQ), Q&A200-40050Răspunsuri scurte și autonome
Documentație Tehnică600-800200Paragrafe cu context
Contracte, Texte Juridice800-1200300Clauze lungi și interconectate
Cod Sursă400-600100Funcții și clase

Impactul Suprapunerii

Suprapunerea rezolvă o problemă specifică: informațiile care se întind pe limita dintre două fragmente ar fi altfel tăiate în jumătate, ceea ce înseamnă că niciuna dintre jumătăți nu s-ar potrivi cu interogarea. Prin suprapunerea fragmentelor, garantați că fiecare propoziție apare intactă în cel puțin un segment. Costul este redundanța – o suprapunere de 300 de tokeni pe fragmente de 800 de tokeni stochează aproape 40% text duplicat.

# Text original (simplificat)
# "Clauza 5.1 stipulează că furnizorul trebuie să livreze în 30 de zile.
#  În caz de întârziere, se aplică penalități de 1% pe zi.
#  Clauza 5.2 specifică faptul că penalitățile sunt limitate la 15%."

# Fără suprapunere: Clauza 5.1 și penalitățile ar putea ajunge în fragmente diferite
# Cu suprapunere: legătura dintre clauză și penalități este păstrată

Prag de Relevanță și Clasare

Clasarea determină ce fragmente sunt reținute. Puteți configura un filtru:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="Care este politica de returnare?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id],
        "max_num_results": 10,
        "ranking_options": {
            "ranker": "auto",
            "score_threshold": 0.5
        }
    }]
)

Parametrul score_threshold filtrează rezultatele care se află sub un prag de relevanță. O valoare de 0.0 returnează totul, în timp ce 1.0 ar fi prea restrictivă. În practică, o valoare între 0.3 și 0.6 oferă rezultate bune.

Optimizarea Calității Recuperării

Pregătirea Documentelor

Aceasta este pârghia cea mai eficientă din punct de vedere al costurilor în această lecție și singura care nu costă nimic în ceea ce privește setările: un document bine structurat se indexează corect. Utilizați titluri explicite, o propoziție introductivă pentru fiecare secțiune și evitați tabelele convertite într-un amestec de text. În schimb, nicio setare de fragmentare nu va salva un PDF a cărui extracție produce coloane încâlcite.

# Rău: PDF scanat cu OCR aproximativ
# -> Fragmente incoerente, încapsulări de calitate slabă

# Bun: Document structurat cu titluri și secțiuni
# -> Fragmente aliniate cu secțiunile logice

# Model: Pre-procesare înainte de încărcare
def prepare_document(raw_text: str) -> str:
    """Curăță și structurează textul înainte de indexare."""
    # Elimină anteturile/subsolurile repetitive
    lines = raw_text.split("\n")
    lines = [l for l in lines if not is_header_footer(l)]

    # Normalizează spațiile
    text = "\n".join(lines)
    text = re.sub(r"\n{3,}", "\n\n", text)

    return text

Îmbogățirea cu Metadate

Metadatele permit pre-filtrarea înainte de căutarea vectorială, ceea ce îmbunătățește precizia:

# Încărcare cu metadate bogate
documents = [
    {"file": "hr-policy-2026.pdf", "department": "hr", "type": "policy", "year": 2026},
    {"file": "supplier-contract-a.pdf", "department": "procurement", "type": "contract", "year": 2026},
    {"file": "it-security-guide.pdf", "department": "it", "type": "guide", "year": 2025},
]

for doc in documents:
    with open(doc["file"], "rb") as f:
        file_obj = client.files.create(file=f, purpose="assistants")

    client.vector_stores.files.create(
        vector_store_id=vector_store.id,
        file_id=file_obj.id,
        attributes={
            "department": doc["department"],
            "document_type": doc["type"],
            "year": doc["year"]
        }
    )

Măsurarea Calității Recuperării

Fără măsurare, orice setare de fragmentare este doar intuiție. Un set de douăzeci de întrebări pentru care cunoașteți răspunsul așteptat și documentul care îl conține este suficient pentru a obiectiva procesul: schimbați un parametru, re-rulați setul de test și comparați. Aceasta necesită puțin efort comparativ cu orele petrecute debatând dimensiunea fragmentelor fără date concrete.

def evaluate_retrieval(test_questions: list[dict], vs_id: str) -> dict:
    """Evaluează calitatea recuperării pe un set de test.

    Fiecare element din test_questions conține:
    - question: întrebarea de pus
    - expected_answer: cuvinte cheie sau fraze așteptate în răspuns
    """
    results = {"total": 0, "relevant": 0, "irrelevant": 0}

    for test in test_questions:
        response = client.responses.create(
            model="gpt-5.6-terra",
            input=test["question"],
            tools=[{
                "type": "file_search",
                "vector_store_ids": [vs_id],
                "max_num_results": 5
            }]
        )

        answer = response.output_text.lower()
        found_keywords = sum(
            1 for word in test["expected_answer"]
            if word.lower() in answer
        )

        results["total"] += 1
        if found_keywords >= len(test["expected_answer"]) * 0.5:
            results["relevant"] += 1
        else:
            results["irrelevant"] += 1

    results["relevance_rate"] = results["relevant"] / results["total"]
    return results

Strategii Avansate

Multi-Vector-Store

Interogați mai multe baze de documente în paralel:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="Comparați politica noastră de HR cu obligațiile legale",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [
            vs_internal_policies,
            vs_legal_texts
        ],
        "max_num_results": 15
    }]
)

Interogări Decompozate

O întrebare care conține mai multe cereri produce un vector mediu care nu seamănă cu niciuna dintre ele, ducând la rezultate slabe de căutare pentru toate. Descompunerea acesteia în sub-întrebări separate oferă rezultate semnificativ mai bune – acesta este același principiu ca în căutarea pe web: o interogare precisă bate una exhaustivă.

def decomposed_search(complex_question: str, vs_id: str) -> str:
    """Decompune o întrebare complexă în sub-căutări."""
    # Pasul 1: Decompunerea întrebării
    decomposition = client.responses.create(
        model="gpt-5.6-terra",
        input=f"Decompune această întrebare în 2-3 sub-întrebări simple: {complex_question}",
    )

    # Pasul 2: Căutare pentru fiecare sub-întrebare
    sub_results = []
    for sub_q in decomposition.output_text.split("\n"):
        if sub_q.strip():
            r = client.responses.create(
                model="gpt-5.6-terra",
                input=sub_q.strip(),
                tools=[{"type": "file_search", "vector_store_ids": [vs_id]}]
            )
            sub_results.append(r.output_text)

    # Pasul 3: Sinteză
    synthesis = client.responses.create(
        model="gpt-5.6-terra",
        input=f"Întrebarea originală: {complex_question}\n\n"
              f"Rezultate intermediare:\n" + "\n---\n".join(sub_results) +
              "\n\nSintetizează un răspuns complet și coerent."
    )
    return synthesis.output_text

Puncte cheie

  • Fragmentarea static cu dimensiune și suprapunere personalizate îmbunătățește precizia
  • Fragmente mici pentru Întrebări frecvente (FAQ), fragmente mari pentru documente juridice
  • score_threshold filtrează rezultatele irelevante
  • Curățați și structurați documentele înainte de indexare
  • Evaluați calitatea recuperării cu un set de test