Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Pridobivanje: razdeljevanje na dele in razvrščanje

Lekcija 8 od 20 Razvijalec
Na tej strani
  1. Pridobivanje: razdeljevanje na dele in razvrščanje
  2. Cevovod za pridobivanje podatkov
  3. Konfiguracija strategije razdeljevanja na dele
  4. Prag pomembnosti in razvrščanje
  5. Optimizacija kakovosti pridobivanja podatkov
  6. Merjenje kakovosti pridobivanja podatkov
  7. Napredne strategije
  8. Ključne ugotovitve

Pridobivanje: razdeljevanje na dele in razvrščanje

Iskanje po datotekah temelji na celotnem cevovodu za pridobivanje podatkov: vaši dokumenti se razdelijo na manjše dele (chunking), pretvorijo v vektorje, indeksirajo in nato razvrstijo po pomembnosti, ko prispe poizvedba. Razumevanje tega cevovoda vam omogoča optimizacijo kakovosti odgovorov.

Cevovod za pridobivanje podatkov

Ko naložite datoteko v vektorsko shrambo, OpenAI samodejno izvede naslednje korake:

  1. Razčlenjevanje (Parsing): Izvleče surovo besedilo iz izvorne oblike.
  2. Razdeljevanje na dele (Chunking): Besedilo razdeli na segmente nadzorovane velikosti.
  3. Vdelava (Embedding): Vsak del pretvori v vektor.
  4. Indeksiranje: Vektorje shrani v vektorski indeks.

Ob času poizvedbe:

  1. Vdelava poizvedbe: Vprašanje se pretvori v vektor.
  2. Vektorsko iskanje: Identificira najbližje dele.
  3. Razvrščanje: Ponovno razvrsti rezultate glede na pomembnost.
  4. Vstavljanje: Najboljše dele vstavi v kontekst modela.

Konfiguracija strategije razdeljevanja na dele

Razdeljevanje na dele je nastavitev, ki poganja vse ostalo, kompromis pa je preprost. Kratki deli zagotavljajo natančne rezultate iskanja, vendar ponujajo izvlečke brez konteksta – najdete pravi stavek, a izgubite informacijo, na kaj se nanaša. Dolgi deli ohranjajo kontekst, a pokopljejo relevantne informacije v nerelevantno besedilo, kar oslabi oceno podobnosti.

Ne obstaja univerzalna vrednost: prava nastavitev je odvisna od strukture vašega dokumenta, natančno kot je povzeto v spodnji tabeli.

from openai import OpenAI

client = OpenAI()

# Default strategy: auto
vector_store = client.vector_stores.create(
    name="legal-base",
    chunking_strategy={"type": "auto"}
)

# Custom strategy: smaller chunks for higher precision
vector_store = client.vector_stores.create(
    name="support-faq",
    chunking_strategy={
        "type": "static",
        "static": {
            "max_chunk_size_tokens": 400,
            "chunk_overlap_tokens": 100
        }
    }
)

Izbira prave velikosti dela

Vrsta vsebinemax_chunk_sizeprekrivanjeZakaj
Pogosta vprašanja (FAQ), Vprašanja in odgovori200-40050Kratki, samostojni odgovori
Tehnična dokumentacija600-800200Odstavki s kontekstom
Pogodbe, pravna besedila800-1200300Dolge, medsebojno povezane klavzule
Izvorna koda400-600100Funkcije in razredi

Vpliv prekrivanja

Prekrivanje rešuje specifičen problem: informacije, ki prehajajo mejo med deli, bi bile sicer prerezane na pol, kar pomeni, da se nobena polovica ne bi ujemala s poizvedbo. S prekrivanjem delov zagotovite, da se vsak stavek v celoti pojavi vsaj v enem segmentu. Cena tega je podvajanje – prekrivanje 300 tokenov pri delih z 800 tokeni shrani skoraj 40 % podvojenega besedila.

# Original text (simplified)
# "Clause 5.1 states the supplier must deliver within 30 days.
#  In case of delay, penalties of 1% per day apply.
#  Clause 5.2 specifies penalties are capped at 15%."

# Without overlap: Clause 5.1 and penalties might end up in different chunks
# With overlap: the link between clause and penalties is preserved

Prag pomembnosti in razvrščanje

Razvrščanje določa, kateri deli se obdržijo. Konfigurirate lahko filter:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="What is the return policy?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id],
        "max_num_results": 10,
        "ranking_options": {
            "ranker": "auto",
            "score_threshold": 0.5
        }
    }]
)

Parametr score_threshold filtrira rezultate pod določenim pragom pomembnosti. Vrednost 0,0 vrne vse, medtem ko bi bila 1,0 preveč omejujoča. V praksi vrednosti med 0,3 in 0,6 dajejo dobre rezultate.

Optimizacija kakovosti pridobivanja podatkov

Priprava dokumentov

To je najbolj stroškovno učinkovit vzvod v tej lekciji in edini, ki ne stane ničesar pri nastavitvah: dobro strukturiran dokument se dobro indeksira. Uporabite eksplicitne naslove, uvodni stavek za vsak razdelek in se izogibajte tabelam, pretvorjenim v besedilno kašo. Nasprotno pa nobena nastavitev razdeljevanja ne bo rešila PDF-ja, katerega ekstrakcija proizvede zapletene stolpce.

# Bad: Scanned PDF with approximate OCR
# -> Incoherent chunks, poor-quality embeddings

# Good: Structured document with headings and sections
# -> Chunks aligned with logical sections

# Pattern: Pre-process before upload
def prepare_document(raw_text: str) -> str:
    """Cleans and structures text before indexing."""
    # Remove repetitive headers/footers
    lines = raw_text.split("\n")
    lines = [l for l in lines if not is_header_footer(l)]

    # Normalize spaces
    text = "\n".join(lines)
    text = re.sub(r"\n{3,}", "\n\n", text)

    return text

Obogatitev z metapodatki

Metapodatki omogočajo predhodno filtriranje pred vektorskim iskanjem, kar izboljša natančnost:

# Upload with rich metadata
documents = [
    {"file": "hr-policy-2026.pdf", "department": "hr", "type": "policy", "year": 2026},
    {"file": "supplier-contract-a.pdf", "department": "procurement", "type": "contract", "year": 2026},
    {"file": "it-security-guide.pdf", "department": "it", "type": "guide", "year": 2025},
]

for doc in documents:
    with open(doc["file"], "rb") as f:
        file_obj = client.files.create(file=f, purpose="assistants")

    client.vector_stores.files.create(
        vector_store_id=vector_store.id,
        file_id=file_obj.id,
        attributes={
            "department": doc["department"],
            "document_type": doc["type"],
            "year": doc["year"]
        }
    )

Merjenje kakovosti pridobivanja podatkov

Brez merjenja je vsaka nastavitev razdeljevanja le intuicija. Nabor dvajsetih vprašanj, kjer poznate pričakovani odgovor in dokument, ki ga vsebuje, zadostuje za objektivizacijo procesa: spremenite parameter, ponovno zaženite testni nabor in primerjajte rezultate. To je malo dela v primerjavi z urami, porabljenimi za razprave o velikosti delov brez podatkov.

def evaluate_retrieval(test_questions: list[dict], vs_id: str) -> dict:
    """Evaluates retrieval quality on a test set.

    Each element in test_questions contains:
    - question: the question to ask
    - expected_answer: keywords or phrases expected in the response
    """
    results = {"total": 0, "relevant": 0, "irrelevant": 0}

    for test in test_questions:
        response = client.responses.create(
            model="gpt-5.6-terra",
            input=test["question"],
            tools=[{
                "type": "file_search",
                "vector_store_ids": [vs_id],
                "max_num_results": 5
            }]
        )

        answer = response.output_text.lower()
        found_keywords = sum(
            1 for word in test["expected_answer"]
            if word.lower() in answer
        )

        results["total"] += 1
        if found_keywords >= len(test["expected_answer"]) * 0.5:
            results["relevant"] += 1
        else:
            results["irrelevant"] += 1

    results["relevance_rate"] = results["relevant"] / results["total"]
    return results

Napredne strategije

Več vektorskih shramb (Multi-Vector-Store)

Poizvedujte po več bazah dokumentov vzporedno:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="Compare our HR policy with legal obligations",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [
            vs_internal_policies,
            vs_legal_texts
        ],
        "max_num_results": 15
    }]
)

Razčlenjene poizvedbe

Vprašanje, ki vsebuje več zahtev, proizvede povprečni vektor, ki ne spominja na nobenega od njih, kar vodi do slabih rezultatov iskanja za vse. Razčlenitev na ločena podvprašanja prinaša bistveno boljše rezultate – to je isto načelo kot pri spletnem iskanju: natančna poizvedba premaga izčrpno.

def decomposed_search(complex_question: str, vs_id: str) -> str:
    """Decomposes a complex question into sub-searches."""
    # Step 1: Decompose the question
    decomposition = client.responses.create(
        model="gpt-5.6-terra",
        input=f"Decompose this question into 2-3 simple sub-questions: {complex_question}",
    )

    # Step 2: Search for each sub-question
    sub_results = []
    for sub_q in decomposition.output_text.split("\n"):
        if sub_q.strip():
            r = client.responses.create(
                model="gpt-5.6-terra",
                input=sub_q.strip(),
                tools=[{"type": "file_search", "vector_store_ids": [vs_id]}]
            )
            sub_results.append(r.output_text)

    # Step 3: Synthesize
    synthesis = client.responses.create(
        model="gpt-5.6-terra",
        input=f"Original question: {complex_question}\n\n"
              f"Intermediate results:\n" + "\n---\n".join(sub_results) +
              "\n\nSynthesize a complete and coherent answer."
    )
    return synthesis.output_text

Ključne ugotovitve

  • Statično (static) razdeljevanje na dele z prilagojeno velikostjo in prekrivanjem izboljša natančnost.
  • Majhni deli za pogosta vprašanja (FAQ), veliki deli za pravne dokumente.
  • score_threshold filtrira nerelevantne rezultate.
  • Pred indeksiranjem očistite in strukturirajte svoje dokumente.
  • Kakovost pridobivanja podatkov ovrednotite s testnim naborom.