Päring: Tükeldamine ja järjestamine
Sellel lehel
Päring: Tükeldamine ja järjestamine
Failiotsing tugineb terviklikule päringutorustikule: sinu dokumendid jagatakse tükkideks, teisendatakse vektoriteks, indekseeritakse ja seejärel järjestatakse päringu saabumisel asjakohasuse alusel. Selle torustiku mõistmine võimaldab sul vastuste kvaliteeti optimeerida.
Päringutorustik
Kui laadid faili vektorhoidlasse, viib OpenAI automaatselt läbi järgmised sammud:
- Parsimine: Eraldab toorvormingust teksti
- Tükeldamine: Jagab teksti kontrollitud suurusega segmentideks
- Manustamine (Embedding): Teisendab iga tüki vektoriks
- Indekseerimine: Salvestab vektorid vektorindeksisse
Päringu esitamisel:
- Päringu manustamine: Küsimus teisendatakse vektoriks
- Vektorotsing: Tuvastab kõige sarnasemad tükid
- Järjestamine: Järjestab tulemused uuesti asjakohasuse alusel
- Sisestamine: Sisestab parimad tükid mudeli konteksti
Tükeldamisstrateegia seadistamine
Tükeldamine on seade, mis määrab kõik ülejäänu, ja kompromiss on lihtne. Lühikesed tükid annavad täpseid otsingutulemusi, kuid pakuvad väljavõtteid, millest puudub kontekst – leiad õige lause, kuid kaotad viite sellele, millele see viitab. Pikad tükid säilitavad konteksti, kuid matavad olulise info ebaolulisse teksti, mis nõrgendab sarnasusskoori.
Universaalset väärtust ei ole: õige seade sõltub sinu dokumendi struktuurist, nagu allpool olevas tabelis kokku võetud.
from openai import OpenAI
client = OpenAI()
# Vaikimisi strateegia: auto
vector_store = client.vector_stores.create(
name="legal-base",
chunking_strategy={"type": "auto"}
)
# Kohandatud strateegia: väiksemad tükid suurema täpsuse jaoks
vector_store = client.vector_stores.create(
name="support-faq",
chunking_strategy={
"type": "static",
"static": {
"max_chunk_size_tokens": 400,
"chunk_overlap_tokens": 100
}
}
)
Õige tüki suuruse valimine
| Sisu tüüp | max_chunk_size | overlap | Miks |
|---|---|---|---|
| KKK, K&V | 200-400 | 50 | Lühikesed, iseseisvad vastused |
| Tehniline dokumentatsioon | 600-800 | 200 | Lõigud koos kontekstiga |
| Lepingud, juriidilised tekstid | 800-1200 | 300 | Pikad, omavahel seotud klauslid |
| Lähtekood | 400-600 | 100 | Funktsioonid ja klassid |
Ülekattumise mõju
Ülekattumine lahendab konkreetset probleemi: info, mis asub tüki piiril, lõigataks muidu pooleks, mistõttu ei sobiks kumbki pool päringuga. Tükke kattudes tagad, et iga lause esineb tervikuna vähemalt ühes segmendis. Hind on dubleerimine – 800-tokeniliste tükkide 300-tokeniline ülekattumine salvestab peaaegu 40% duplikaatteksti.
# Algne tekst (lihtsustatud)
# "Klausel 5.1 sätestab, et tarnija peab tarne tegema 30 päeva jooksul.
# Viivituse korral rakendatakse trahvi 1% päevas.
# Klausel 5.2 täpsustab, et trahvid on piiratud 15%-ga."
# Ilma ülekattumiseta: Klausel 5.1 ja trahvid võivad sattuda erinevatesse tükkidesse
# Ülekattumisega: seos klausli ja trahvide vahel säilib
Asjakohasuse lävi ja järjestamine
Järjestamine määrab, millised tükid alles jäetakse. Saad konfigureerida filtri:
response = client.responses.create(
model="gpt-5.6-terra",
input="Mis on tagastuspoliitika?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"max_num_results": 10,
"ranking_options": {
"ranker": "auto",
"score_threshold": 0.5
}
}]
)
score_threshold filtreerib välja tulemused, mis jäävad alla asjakohasuse läve. Väärtus 0,0 tagastab kõik, samas kui 1,0 oleks liiga piirav. Praktikas annavad väärtused 0,3 kuni 0,6 häid tulemusi.
Päringu kvaliteedi optimeerimine
Dokumentide ettevalmistamine
See on kogu selles õppetükis kõige kulutõhusam hoob ja ainus, mis seadistuste osas midagi ei maksa: hästi struktureeritud dokument indekseerub hästi. Kasuta selgeid pealkirju, iga jaotise jaoks sissejuhatavat lauset ja väldi tabelite teisendamist tekstipudruks. Vastupidiselt ei päästa ükski tükeldamisseade PDF-i, mille ekstraktsioon tekitab sassi läinud veerge.
# Halb: Skaneeritud PDF ligikaudse OCR-iga
# -> Ebajärjekindlad tükid, halva kvaliteediga manustused
# Hea: Struktureeritud dokument pealkirjade ja jaotistega
# -> Tükid joondatud loogiliste jaotistega
# Muster: Eeltöötlus enne üleslaadimist
def prepare_document(raw_text: str) -> str:
"""Puhastab ja struktureerib teksti enne indekseerimist."""
# Eemalda korduvad päised/jalused
lines = raw_text.split("\n")
lines = [l for l in lines if not is_header_footer(l)]
# Normaliseeri tühikud
text = "\n".join(lines)
text = re.sub(r"\n{3,}", "\n\n", text)
return text
Rikastamine metaandmetega
Metaandmed võimaldavad eelfiltreerimist enne vektorotsingut, mis parandab täpsust:
# Üleslaadimine rikkalike metaandmetega
documents = [
{"file": "hr-policy-2026.pdf", "department": "hr", "type": "policy", "year": 2026},
{"file": "supplier-contract-a.pdf", "department": "procurement", "type": "contract", "year": 2026},
{"file": "it-security-guide.pdf", "department": "it", "type": "guide", "year": 2025},
]
for doc in documents:
with open(doc["file"], "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id,
attributes={
"department": doc["department"],
"document_type": doc["type"],
"year": doc["year"]
}
)
Päringu kvaliteedi mõõtmine
Ilma mõõtmiseta on iga tükeldamisseade pelgalt intuitsioon. Kakskümmend küsimust, kus tead oodatavat vastust ja seda sisaldavat dokumenti, piisab protsessi objektiivseks muutmiseks: muuda parameetrit, käivita testkomplekt uuesti ja võrdle tulemusi. See on väike töö võrreldes tundidega, mis kulub tükisuuruse arutamisele ilma andmeteta.
def evaluate_retrieval(test_questions: list[dict], vs_id: str) -> dict:
"""Hindab päringu kvaliteeti testkomplektil.
Iga element test_questions sisaldab:
- question: küsimus, mida esitada
- expected_answer: märksõnad või fraasid, mida vastuses oodatakse
"""
results = {"total": 0, "relevant": 0, "irrelevant": 0}
for test in test_questions:
response = client.responses.create(
model="gpt-5.6-terra",
input=test["question"],
tools=[{
"type": "file_search",
"vector_store_ids": [vs_id],
"max_num_results": 5
}]
)
answer = response.output_text.lower()
found_keywords = sum(
1 for word in test["expected_answer"]
if word.lower() in answer
)
results["total"] += 1
if found_keywords >= len(test["expected_answer"]) * 0.5:
results["relevant"] += 1
else:
results["irrelevant"] += 1
results["relevance_rate"] = results["relevant"] / results["total"]
return results
Täiustatud strateegiad
Mitu vektorhoidlat
Päri mitut dokumendibaasi paralleelselt:
response = client.responses.create(
model="gpt-5.6-terra",
input="Võrdle meie HR-poliitikat juriidiliste kohustustega",
tools=[{
"type": "file_search",
"vector_store_ids": [
vs_internal_policies,
vs_legal_texts
],
"max_num_results": 15
}]
)
Lagundatud päringud
Mitut taotlust sisaldav küsimus tekitab keskmise vektori, mis ei sarnane ühegagi neist, mis viib kõigi jaoks halbade otsingutulemusteni. Selle lagundamine eraldi alaküsimusteks annab oluliselt paremaid tulemusi – see on sama põhimõte mis veebiotsingul: täpne päring lööb ammendava päringu.
def decomposed_search(complex_question: str, vs_id: str) -> str:
"""Lagundab keerulise küsimuse alaotsinguteks."""
# 1. samm: Lagunda küsimus
decomposition = client.responses.create(
model="gpt-5.6-terra",
input=f"Lagunda see küsimus 2-3 lihtsaks alaküsimuseks: {complex_question}",
)
# 2. samm: Otsi iga alaküsimuse jaoks
sub_results = []
for sub_q in decomposition.output_text.split("\n"):
if sub_q.strip():
r = client.responses.create(
model="gpt-5.6-terra",
input=sub_q.strip(),
tools=[{"type": "file_search", "vector_store_ids": [vs_id]}]
)
sub_results.append(r.output_text)
# 3. samm: Sünteesi
synthesis = client.responses.create(
model="gpt-5.6-terra",
input=f"Algne küsimus: {complex_question}\n\n"
f"Vahe tulemused:\n" + "\n---\n".join(sub_results) +
"\n\nSünteesi täielik ja kooskõlaline vastus."
)
return synthesis.output_text
Peamised punktid
statictükeldamine kohandatud suuruse ja ülekattumisega parandab täpsust- Väikesed tükid KKK-de jaoks, suured tükid juriidiliste dokumentide jaoks
score_thresholdfiltreerib välja ebaolulised tulemused- Puhasta ja struktureeri oma dokumendid enne indekseerimist
- Hinda päringu kvaliteeti testkomplektiga