Pridobivanje: razdeljevanje na dele in razvrščanje
Na tej strani
Pridobivanje: razdeljevanje na dele in razvrščanje
Iskanje po datotekah temelji na celotnem cevovodu za pridobivanje podatkov: vaši dokumenti se razdelijo na manjše dele (chunking), pretvorijo v vektorje, indeksirajo in nato razvrstijo po pomembnosti, ko prispe poizvedba. Razumevanje tega cevovoda vam omogoča optimizacijo kakovosti odgovorov.
Cevovod za pridobivanje podatkov
Ko naložite datoteko v vektorsko shrambo, OpenAI samodejno izvede naslednje korake:
- Razčlenjevanje (Parsing): Izvleče surovo besedilo iz izvorne oblike.
- Razdeljevanje na dele (Chunking): Besedilo razdeli na segmente nadzorovane velikosti.
- Vdelava (Embedding): Vsak del pretvori v vektor.
- Indeksiranje: Vektorje shrani v vektorski indeks.
Ob času poizvedbe:
- Vdelava poizvedbe: Vprašanje se pretvori v vektor.
- Vektorsko iskanje: Identificira najbližje dele.
- Razvrščanje: Ponovno razvrsti rezultate glede na pomembnost.
- Vstavljanje: Najboljše dele vstavi v kontekst modela.
Konfiguracija strategije razdeljevanja na dele
Razdeljevanje na dele je nastavitev, ki poganja vse ostalo, kompromis pa je preprost. Kratki deli zagotavljajo natančne rezultate iskanja, vendar ponujajo izvlečke brez konteksta – najdete pravi stavek, a izgubite informacijo, na kaj se nanaša. Dolgi deli ohranjajo kontekst, a pokopljejo relevantne informacije v nerelevantno besedilo, kar oslabi oceno podobnosti.
Ne obstaja univerzalna vrednost: prava nastavitev je odvisna od strukture vašega dokumenta, natančno kot je povzeto v spodnji tabeli.
from openai import OpenAI
client = OpenAI()
# Default strategy: auto
vector_store = client.vector_stores.create(
name="legal-base",
chunking_strategy={"type": "auto"}
)
# Custom strategy: smaller chunks for higher precision
vector_store = client.vector_stores.create(
name="support-faq",
chunking_strategy={
"type": "static",
"static": {
"max_chunk_size_tokens": 400,
"chunk_overlap_tokens": 100
}
}
)
Izbira prave velikosti dela
| Vrsta vsebine | max_chunk_size | prekrivanje | Zakaj |
|---|---|---|---|
| Pogosta vprašanja (FAQ), Vprašanja in odgovori | 200-400 | 50 | Kratki, samostojni odgovori |
| Tehnična dokumentacija | 600-800 | 200 | Odstavki s kontekstom |
| Pogodbe, pravna besedila | 800-1200 | 300 | Dolge, medsebojno povezane klavzule |
| Izvorna koda | 400-600 | 100 | Funkcije in razredi |
Vpliv prekrivanja
Prekrivanje rešuje specifičen problem: informacije, ki prehajajo mejo med deli, bi bile sicer prerezane na pol, kar pomeni, da se nobena polovica ne bi ujemala s poizvedbo. S prekrivanjem delov zagotovite, da se vsak stavek v celoti pojavi vsaj v enem segmentu. Cena tega je podvajanje – prekrivanje 300 tokenov pri delih z 800 tokeni shrani skoraj 40 % podvojenega besedila.
# Original text (simplified)
# "Clause 5.1 states the supplier must deliver within 30 days.
# In case of delay, penalties of 1% per day apply.
# Clause 5.2 specifies penalties are capped at 15%."
# Without overlap: Clause 5.1 and penalties might end up in different chunks
# With overlap: the link between clause and penalties is preserved
Prag pomembnosti in razvrščanje
Razvrščanje določa, kateri deli se obdržijo. Konfigurirate lahko filter:
response = client.responses.create(
model="gpt-5.6-terra",
input="What is the return policy?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"max_num_results": 10,
"ranking_options": {
"ranker": "auto",
"score_threshold": 0.5
}
}]
)
Parametr score_threshold filtrira rezultate pod določenim pragom pomembnosti. Vrednost 0,0 vrne vse, medtem ko bi bila 1,0 preveč omejujoča. V praksi vrednosti med 0,3 in 0,6 dajejo dobre rezultate.
Optimizacija kakovosti pridobivanja podatkov
Priprava dokumentov
To je najbolj stroškovno učinkovit vzvod v tej lekciji in edini, ki ne stane ničesar pri nastavitvah: dobro strukturiran dokument se dobro indeksira. Uporabite eksplicitne naslove, uvodni stavek za vsak razdelek in se izogibajte tabelam, pretvorjenim v besedilno kašo. Nasprotno pa nobena nastavitev razdeljevanja ne bo rešila PDF-ja, katerega ekstrakcija proizvede zapletene stolpce.
# Bad: Scanned PDF with approximate OCR
# -> Incoherent chunks, poor-quality embeddings
# Good: Structured document with headings and sections
# -> Chunks aligned with logical sections
# Pattern: Pre-process before upload
def prepare_document(raw_text: str) -> str:
"""Cleans and structures text before indexing."""
# Remove repetitive headers/footers
lines = raw_text.split("\n")
lines = [l for l in lines if not is_header_footer(l)]
# Normalize spaces
text = "\n".join(lines)
text = re.sub(r"\n{3,}", "\n\n", text)
return text
Obogatitev z metapodatki
Metapodatki omogočajo predhodno filtriranje pred vektorskim iskanjem, kar izboljša natančnost:
# Upload with rich metadata
documents = [
{"file": "hr-policy-2026.pdf", "department": "hr", "type": "policy", "year": 2026},
{"file": "supplier-contract-a.pdf", "department": "procurement", "type": "contract", "year": 2026},
{"file": "it-security-guide.pdf", "department": "it", "type": "guide", "year": 2025},
]
for doc in documents:
with open(doc["file"], "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id,
attributes={
"department": doc["department"],
"document_type": doc["type"],
"year": doc["year"]
}
)
Merjenje kakovosti pridobivanja podatkov
Brez merjenja je vsaka nastavitev razdeljevanja le intuicija. Nabor dvajsetih vprašanj, kjer poznate pričakovani odgovor in dokument, ki ga vsebuje, zadostuje za objektivizacijo procesa: spremenite parameter, ponovno zaženite testni nabor in primerjajte rezultate. To je malo dela v primerjavi z urami, porabljenimi za razprave o velikosti delov brez podatkov.
def evaluate_retrieval(test_questions: list[dict], vs_id: str) -> dict:
"""Evaluates retrieval quality on a test set.
Each element in test_questions contains:
- question: the question to ask
- expected_answer: keywords or phrases expected in the response
"""
results = {"total": 0, "relevant": 0, "irrelevant": 0}
for test in test_questions:
response = client.responses.create(
model="gpt-5.6-terra",
input=test["question"],
tools=[{
"type": "file_search",
"vector_store_ids": [vs_id],
"max_num_results": 5
}]
)
answer = response.output_text.lower()
found_keywords = sum(
1 for word in test["expected_answer"]
if word.lower() in answer
)
results["total"] += 1
if found_keywords >= len(test["expected_answer"]) * 0.5:
results["relevant"] += 1
else:
results["irrelevant"] += 1
results["relevance_rate"] = results["relevant"] / results["total"]
return results
Napredne strategije
Več vektorskih shramb (Multi-Vector-Store)
Poizvedujte po več bazah dokumentov vzporedno:
response = client.responses.create(
model="gpt-5.6-terra",
input="Compare our HR policy with legal obligations",
tools=[{
"type": "file_search",
"vector_store_ids": [
vs_internal_policies,
vs_legal_texts
],
"max_num_results": 15
}]
)
Razčlenjene poizvedbe
Vprašanje, ki vsebuje več zahtev, proizvede povprečni vektor, ki ne spominja na nobenega od njih, kar vodi do slabih rezultatov iskanja za vse. Razčlenitev na ločena podvprašanja prinaša bistveno boljše rezultate – to je isto načelo kot pri spletnem iskanju: natančna poizvedba premaga izčrpno.
def decomposed_search(complex_question: str, vs_id: str) -> str:
"""Decomposes a complex question into sub-searches."""
# Step 1: Decompose the question
decomposition = client.responses.create(
model="gpt-5.6-terra",
input=f"Decompose this question into 2-3 simple sub-questions: {complex_question}",
)
# Step 2: Search for each sub-question
sub_results = []
for sub_q in decomposition.output_text.split("\n"):
if sub_q.strip():
r = client.responses.create(
model="gpt-5.6-terra",
input=sub_q.strip(),
tools=[{"type": "file_search", "vector_store_ids": [vs_id]}]
)
sub_results.append(r.output_text)
# Step 3: Synthesize
synthesis = client.responses.create(
model="gpt-5.6-terra",
input=f"Original question: {complex_question}\n\n"
f"Intermediate results:\n" + "\n---\n".join(sub_results) +
"\n\nSynthesize a complete and coherent answer."
)
return synthesis.output_text
Ključne ugotovitve
- Statično (
static) razdeljevanje na dele z prilagojeno velikostjo in prekrivanjem izboljša natančnost. - Majhni deli za pogosta vprašanja (FAQ), veliki deli za pravne dokumente.
score_thresholdfiltrira nerelevantne rezultate.- Pred indeksiranjem očistite in strukturirajte svoje dokumente.
- Kakovost pridobivanja podatkov ovrednotite s testnim naborom.