Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Dohvaćanje: Dijeljenje na dijelove i rangiranje

Lekcija 8 od 20 Programer
Na ovoj stranici
  1. Dohvaćanje: Dijeljenje na dijelove i rangiranje
  2. Cjevovod dohvaćanja
  3. Konfiguriranje strategije dijeljenja na dijelove
  4. Prag relevantnosti i rangiranje
  5. Optimizacija kvalitete dohvaćanja
  6. Mjerenje kvalitete dohvaćanja
  7. Napredne strategije
  8. Ključne točke

Dohvaćanje: Dijeljenje na dijelove i rangiranje

Pretraživanje datoteka oslanja se na kompletan cjevovod dohvaćanja: tvoji se dokumenti dijele na dijelove (chunkove), vektoriziraju, indeksiraju, a zatim rangiraju prema relevantnosti kada stigne upit. Razumijevanje ovog cjevovoda omogućuje ti optimizaciju kvalitete odgovora.

Cjevovod dohvaćanja

Kada učitaš datoteku u vektorsku pohranu, OpenAI automatski izvršava:

  1. Raščlanjivanje (Parsing): Izvlači sirovi tekst iz izvornog formata
  2. Dijeljenje na dijelove (Chunking): Dijeli tekst na segmente kontrolirane veličine
  3. Ugradnja (Embedding): Vektorizira svaki dio
  4. Indeksiranje: Pohranjuje vektore u vektorski indeks

U trenutku upita:

  1. Ugradnja upita: Pitanje se vektorizira
  2. Vektorsko pretraživanje: Identificira najbliže dijelove
  3. Rangiranje: Ponovno rangira rezultate prema relevantnosti
  4. Umetanje: Umeće najbolje dijelove u kontekst modela

Konfiguriranje strategije dijeljenja na dijelove

Dijeljenje na dijelove postavka je koja pokreće sve ostalo, a kompromis je jednostavan. Kratki dijelovi daju precizne rezultate pretraživanja, ali pružaju izvatke lišene konteksta – pronalaziš pravu rečenicu, ali gubiš ono na što se ona odnosi. Dugi dijelovi čuvaju kontekst, ali zakapaju relevantne informacije u nebitan tekst, što slabi ocjenu sličnosti.

Ne postoji univerzalna vrijednost: prava postavka ovisi o strukturi tvog dokumenta, točno kako je sažeto u donjoj tablici.

from openai import OpenAI

client = OpenAI()

# Default strategy: auto
vector_store = client.vector_stores.create(
    name="legal-base",
    chunking_strategy={"type": "auto"}
)

# Custom strategy: smaller chunks for higher precision
vector_store = client.vector_stores.create(
    name="support-faq",
    chunking_strategy={
        "type": "static",
        "static": {
            "max_chunk_size_tokens": 400,
            "chunk_overlap_tokens": 100
        }
    }
)

Odabir prave veličine dijela

Vrsta sadržajamax_chunk_sizeoverlapZašto
ČPP, Pitanja i odgovori200-40050Kratki, samostalni odgovori
Tehnička dokumentacija600-800200Odlomci s kontekstom
Ugovori, pravni tekstovi800-1200300Duge, međusobno povezane klauzule
Izvorni kod400-600100Funkcije i klase

Utjecaj preklapanja

Preklapanje rješava specifičan problem: informacije koje prelaze granicu dijela inače bi bile prerezane na pola, što znači da ni jedna polovica ne bi odgovarala upitu. Preklapanjem dijelova osiguravaš da se svaka rečenica pojavljuje netaknuta u barem jednom segmentu. Cijena je redundancija – preklapanje od 300 tokena na dijelovima od 800 tokena pohranjuje gotovo 40 % dupliciranog teksta.

# Original text (simplified)
# "Clause 5.1 states the supplier must deliver within 30 days.
#  In case of delay, penalties of 1% per day apply.
#  Clause 5.2 specifies penalties are capped at 15%."

# Without overlap: Clause 5.1 and penalties might end up in different chunks
# With overlap: the link between clause and penalties is preserved

Prag relevantnosti i rangiranje

Rangiranje određuje koji se dijelovi zadržavaju. Možeš konfigurirati filtar:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="What is the return policy?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id],
        "max_num_results": 10,
        "ranking_options": {
            "ranker": "auto",
            "score_threshold": 0.5
        }
    }]
)

Parametar score_threshold filtrira rezultate ispod praga relevantnosti. Vrijednost 0,0 vraća sve, dok bi 1,0 bilo previše restriktivno. U praksi, vrijednosti od 0,3 do 0,6 daju dobre rezultate.

Optimizacija kvalitete dohvaćanja

Priprema dokumenata

Ovo je najisplativija poluga u cijeloj ovoj lekciji i jedina koja ne košta ništa u postavkama: dobro strukturiran dokument dobro se indeksira. Koristi eksplicitna zaglavlja, uvodnu rečenicu za svaki odjeljak i izbjegavaj tablice pretvorene u tekstualnu kašu. Suprotno tome, nijedna postavka dijeljenja neće spasiti PDF čije vađenje proizvodi isprepletene stupce.

# Bad: Scanned PDF with approximate OCR
# -> Incoherent chunks, poor-quality embeddings

# Good: Structured document with headings and sections
# -> Chunks aligned with logical sections

# Pattern: Pre-process before upload
def prepare_document(raw_text: str) -> str:
    """Cleans and structures text before indexing."""
    # Remove repetitive headers/footers
    lines = raw_text.split("\n")
    lines = [l for l in lines if not is_header_footer(l)]

    # Normalize spaces
    text = "\n".join(lines)
    text = re.sub(r"\n{3,}", "\n\n", text)

    return text

Obogaćivanje metapodacima

Metapodaci omogućuju pred-filtriranje prije vektorskog pretraživanja, što poboljšava preciznost:

# Upload with rich metadata
documents = [
    {"file": "hr-policy-2026.pdf", "department": "hr", "type": "policy", "year": 2026},
    {"file": "supplier-contract-a.pdf", "department": "procurement", "type": "contract", "year": 2026},
    {"file": "it-security-guide.pdf", "department": "it", "type": "guide", "year": 2025},
]

for doc in documents:
    with open(doc["file"], "rb") as f:
        file_obj = client.files.create(file=f, purpose="assistants")

    client.vector_stores.files.create(
        vector_store_id=vector_store.id,
        file_id=file_obj.id,
        attributes={
            "department": doc["department"],
            "document_type": doc["type"],
            "year": doc["year"]
        }
    )

Mjerenje kvalitete dohvaćanja

Bez mjerenja, svaka postavka dijeljenja na dijelove samo je intuicija. Skup od dvadeset pitanja za koja znaš očekivani odgovor i dokument u kojem se nalazi dovoljan je da se proces učini objektivnim: promijeni parametar, ponovno pokreni testni skup i usporedi. To je malo posla u usporedbi sa satima provedenima u raspravi o veličini dijela bez podataka.

def evaluate_retrieval(test_questions: list[dict], vs_id: str) -> dict:
    """Evaluates retrieval quality on a test set.

    Each element in test_questions contains:
    - question: the question to ask
    - expected_answer: keywords or phrases expected in the response
    """
    results = {"total": 0, "relevant": 0, "irrelevant": 0}

    for test in test_questions:
        response = client.responses.create(
            model="gpt-5.6-terra",
            input=test["question"],
            tools=[{
                "type": "file_search",
                "vector_store_ids": [vs_id],
                "max_num_results": 5
            }]
        )

        answer = response.output_text.lower()
        found_keywords = sum(
            1 for word in test["expected_answer"]
            if word.lower() in answer
        )

        results["total"] += 1
        if found_keywords >= len(test["expected_answer"]) * 0.5:
            results["relevant"] += 1
        else:
            results["irrelevant"] += 1

    results["relevance_rate"] = results["relevant"] / results["total"]
    return results

Napredne strategije

Više vektorskih pohrana

Istovremeno upiti više baza dokumenata:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="Compare our HR policy with legal obligations",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [
            vs_internal_policies,
            vs_legal_texts
        ],
        "max_num_results": 15
    }]
)

Rastavljeni upiti

Pitanje koje sadrži više zahtjeva proizvodi prosječni vektor koji ne nalikuje nijednom od njih, što dovodi do loših rezultata pretraživanja za sve. Razbijanje na zasebna potpitanja daje znatno bolje rezultate – to je isti princip kao kod web pretraživanja: precizan upit pobjeđuje iscrpan.

def decomposed_search(complex_question: str, vs_id: str) -> str:
    """Decomposes a complex question into sub-searches."""
    # Step 1: Decompose the question
    decomposition = client.responses.create(
        model="gpt-5.6-terra",
        input=f"Decompose this question into 2-3 simple sub-questions: {complex_question}",
    )

    # Step 2: Search for each sub-question
    sub_results = []
    for sub_q in decomposition.output_text.split("\n"):
        if sub_q.strip():
            r = client.responses.create(
                model="gpt-5.6-terra",
                input=sub_q.strip(),
                tools=[{"type": "file_search", "vector_store_ids": [vs_id]}]
            )
            sub_results.append(r.output_text)

    # Step 3: Synthesize
    synthesis = client.responses.create(
        model="gpt-5.6-terra",
        input=f"Original question: {complex_question}\n\n"
              f"Intermediate results:\n" + "\n---\n".join(sub_results) +
              "\n\nSynthesize a complete and coherent answer."
    )
    return synthesis.output_text

Ključne točke

  • static dijeljenje na dijelove s prilagođenom veličinom i preklapanjem poboljšava preciznost
  • Mali dijelovi za ČPP, veliki dijelovi za pravne dokumente
  • score_threshold filtrira nebitne rezultate
  • Očisti i strukturiraj svoje dokumente prije indeksiranja
  • Procijeni kvalitetu dohvaćanja pomoću testnog skupa