Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Päring: Tükeldamine ja järjestamine

Õppetund 8 / 20 Arendajatele
Sellel lehel
  1. Päring: Tükeldamine ja järjestamine
  2. Päringutorustik
  3. Tükeldamisstrateegia seadistamine
  4. Asjakohasuse lävi ja järjestamine
  5. Päringu kvaliteedi optimeerimine
  6. Päringu kvaliteedi mõõtmine
  7. Täiustatud strateegiad
  8. Peamised punktid

Päring: Tükeldamine ja järjestamine

Failiotsing tugineb terviklikule päringutorustikule: sinu dokumendid jagatakse tükkideks, teisendatakse vektoriteks, indekseeritakse ja seejärel järjestatakse päringu saabumisel asjakohasuse alusel. Selle torustiku mõistmine võimaldab sul vastuste kvaliteeti optimeerida.

Päringutorustik

Kui laadid faili vektorhoidlasse, viib OpenAI automaatselt läbi järgmised sammud:

  1. Parsimine: Eraldab toorvormingust teksti
  2. Tükeldamine: Jagab teksti kontrollitud suurusega segmentideks
  3. Manustamine (Embedding): Teisendab iga tüki vektoriks
  4. Indekseerimine: Salvestab vektorid vektorindeksisse

Päringu esitamisel:

  1. Päringu manustamine: Küsimus teisendatakse vektoriks
  2. Vektorotsing: Tuvastab kõige sarnasemad tükid
  3. Järjestamine: Järjestab tulemused uuesti asjakohasuse alusel
  4. Sisestamine: Sisestab parimad tükid mudeli konteksti

Tükeldamisstrateegia seadistamine

Tükeldamine on seade, mis määrab kõik ülejäänu, ja kompromiss on lihtne. Lühikesed tükid annavad täpseid otsingutulemusi, kuid pakuvad väljavõtteid, millest puudub kontekst – leiad õige lause, kuid kaotad viite sellele, millele see viitab. Pikad tükid säilitavad konteksti, kuid matavad olulise info ebaolulisse teksti, mis nõrgendab sarnasusskoori.

Universaalset väärtust ei ole: õige seade sõltub sinu dokumendi struktuurist, nagu allpool olevas tabelis kokku võetud.

from openai import OpenAI

client = OpenAI()

# Vaikimisi strateegia: auto
vector_store = client.vector_stores.create(
    name="legal-base",
    chunking_strategy={"type": "auto"}
)

# Kohandatud strateegia: väiksemad tükid suurema täpsuse jaoks
vector_store = client.vector_stores.create(
    name="support-faq",
    chunking_strategy={
        "type": "static",
        "static": {
            "max_chunk_size_tokens": 400,
            "chunk_overlap_tokens": 100
        }
    }
)

Õige tüki suuruse valimine

Sisu tüüpmax_chunk_sizeoverlapMiks
KKK, K&V200-40050Lühikesed, iseseisvad vastused
Tehniline dokumentatsioon600-800200Lõigud koos kontekstiga
Lepingud, juriidilised tekstid800-1200300Pikad, omavahel seotud klauslid
Lähtekood400-600100Funktsioonid ja klassid

Ülekattumise mõju

Ülekattumine lahendab konkreetset probleemi: info, mis asub tüki piiril, lõigataks muidu pooleks, mistõttu ei sobiks kumbki pool päringuga. Tükke kattudes tagad, et iga lause esineb tervikuna vähemalt ühes segmendis. Hind on dubleerimine – 800-tokeniliste tükkide 300-tokeniline ülekattumine salvestab peaaegu 40% duplikaatteksti.

# Algne tekst (lihtsustatud)
# "Klausel 5.1 sätestab, et tarnija peab tarne tegema 30 päeva jooksul.
#  Viivituse korral rakendatakse trahvi 1% päevas.
#  Klausel 5.2 täpsustab, et trahvid on piiratud 15%-ga."

# Ilma ülekattumiseta: Klausel 5.1 ja trahvid võivad sattuda erinevatesse tükkidesse
# Ülekattumisega: seos klausli ja trahvide vahel säilib

Asjakohasuse lävi ja järjestamine

Järjestamine määrab, millised tükid alles jäetakse. Saad konfigureerida filtri:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="Mis on tagastuspoliitika?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id],
        "max_num_results": 10,
        "ranking_options": {
            "ranker": "auto",
            "score_threshold": 0.5
        }
    }]
)

score_threshold filtreerib välja tulemused, mis jäävad alla asjakohasuse läve. Väärtus 0,0 tagastab kõik, samas kui 1,0 oleks liiga piirav. Praktikas annavad väärtused 0,3 kuni 0,6 häid tulemusi.

Päringu kvaliteedi optimeerimine

Dokumentide ettevalmistamine

See on kogu selles õppetükis kõige kulutõhusam hoob ja ainus, mis seadistuste osas midagi ei maksa: hästi struktureeritud dokument indekseerub hästi. Kasuta selgeid pealkirju, iga jaotise jaoks sissejuhatavat lauset ja väldi tabelite teisendamist tekstipudruks. Vastupidiselt ei päästa ükski tükeldamisseade PDF-i, mille ekstraktsioon tekitab sassi läinud veerge.

# Halb: Skaneeritud PDF ligikaudse OCR-iga
# -> Ebajärjekindlad tükid, halva kvaliteediga manustused

# Hea: Struktureeritud dokument pealkirjade ja jaotistega
# -> Tükid joondatud loogiliste jaotistega

# Muster: Eeltöötlus enne üleslaadimist
def prepare_document(raw_text: str) -> str:
    """Puhastab ja struktureerib teksti enne indekseerimist."""
    # Eemalda korduvad päised/jalused
    lines = raw_text.split("\n")
    lines = [l for l in lines if not is_header_footer(l)]

    # Normaliseeri tühikud
    text = "\n".join(lines)
    text = re.sub(r"\n{3,}", "\n\n", text)

    return text

Rikastamine metaandmetega

Metaandmed võimaldavad eelfiltreerimist enne vektorotsingut, mis parandab täpsust:

# Üleslaadimine rikkalike metaandmetega
documents = [
    {"file": "hr-policy-2026.pdf", "department": "hr", "type": "policy", "year": 2026},
    {"file": "supplier-contract-a.pdf", "department": "procurement", "type": "contract", "year": 2026},
    {"file": "it-security-guide.pdf", "department": "it", "type": "guide", "year": 2025},
]

for doc in documents:
    with open(doc["file"], "rb") as f:
        file_obj = client.files.create(file=f, purpose="assistants")

    client.vector_stores.files.create(
        vector_store_id=vector_store.id,
        file_id=file_obj.id,
        attributes={
            "department": doc["department"],
            "document_type": doc["type"],
            "year": doc["year"]
        }
    )

Päringu kvaliteedi mõõtmine

Ilma mõõtmiseta on iga tükeldamisseade pelgalt intuitsioon. Kakskümmend küsimust, kus tead oodatavat vastust ja seda sisaldavat dokumenti, piisab protsessi objektiivseks muutmiseks: muuda parameetrit, käivita testkomplekt uuesti ja võrdle tulemusi. See on väike töö võrreldes tundidega, mis kulub tükisuuruse arutamisele ilma andmeteta.

def evaluate_retrieval(test_questions: list[dict], vs_id: str) -> dict:
    """Hindab päringu kvaliteeti testkomplektil.

    Iga element test_questions sisaldab:
    - question: küsimus, mida esitada
    - expected_answer: märksõnad või fraasid, mida vastuses oodatakse
    """
    results = {"total": 0, "relevant": 0, "irrelevant": 0}

    for test in test_questions:
        response = client.responses.create(
            model="gpt-5.6-terra",
            input=test["question"],
            tools=[{
                "type": "file_search",
                "vector_store_ids": [vs_id],
                "max_num_results": 5
            }]
        )

        answer = response.output_text.lower()
        found_keywords = sum(
            1 for word in test["expected_answer"]
            if word.lower() in answer
        )

        results["total"] += 1
        if found_keywords >= len(test["expected_answer"]) * 0.5:
            results["relevant"] += 1
        else:
            results["irrelevant"] += 1

    results["relevance_rate"] = results["relevant"] / results["total"]
    return results

Täiustatud strateegiad

Mitu vektorhoidlat

Päri mitut dokumendibaasi paralleelselt:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="Võrdle meie HR-poliitikat juriidiliste kohustustega",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [
            vs_internal_policies,
            vs_legal_texts
        ],
        "max_num_results": 15
    }]
)

Lagundatud päringud

Mitut taotlust sisaldav küsimus tekitab keskmise vektori, mis ei sarnane ühegagi neist, mis viib kõigi jaoks halbade otsingutulemusteni. Selle lagundamine eraldi alaküsimusteks annab oluliselt paremaid tulemusi – see on sama põhimõte mis veebiotsingul: täpne päring lööb ammendava päringu.

def decomposed_search(complex_question: str, vs_id: str) -> str:
    """Lagundab keerulise küsimuse alaotsinguteks."""
    # 1. samm: Lagunda küsimus
    decomposition = client.responses.create(
        model="gpt-5.6-terra",
        input=f"Lagunda see küsimus 2-3 lihtsaks alaküsimuseks: {complex_question}",
    )

    # 2. samm: Otsi iga alaküsimuse jaoks
    sub_results = []
    for sub_q in decomposition.output_text.split("\n"):
        if sub_q.strip():
            r = client.responses.create(
                model="gpt-5.6-terra",
                input=sub_q.strip(),
                tools=[{"type": "file_search", "vector_store_ids": [vs_id]}]
            )
            sub_results.append(r.output_text)

    # 3. samm: Sünteesi
    synthesis = client.responses.create(
        model="gpt-5.6-terra",
        input=f"Algne küsimus: {complex_question}\n\n"
              f"Vahe tulemused:\n" + "\n---\n".join(sub_results) +
              "\n\nSünteesi täielik ja kooskõlaline vastus."
    )
    return synthesis.output_text

Peamised punktid

  • static tükeldamine kohandatud suuruse ja ülekattumisega parandab täpsust
  • Väikesed tükid KKK-de jaoks, suured tükid juriidiliste dokumentide jaoks
  • score_threshold filtreerib välja ebaolulised tulemused
  • Puhasta ja struktureeri oma dokumendid enne indekseerimist
  • Hinda päringu kvaliteeti testkomplektiga