Lekérdezés: Darabolás és rangsorolás
Ezen az oldalon
Lekérdezés: Darabolás és rangsorolás
A Fájlkeresés egy teljes lekérdezési folyamatra (retrieval pipeline) épül: a dokumentumaidat darabokra bontjuk, vektorizáljuk, indexeljük, majd egy lekérdezés érkezésekor relevancia szerint rangsoroljuk őket. E folyamat megértése lehetővé teszi, hogy optimalizáld a válaszok minőségét.
A lekérdezési folyamat
Amikor feltöltesz egy fájlt egy vektortárba, az OpenAI automatikusan végrehajtja a következő lépéseket:
- Elemzés (Parsing): Kinyeri a nyers szöveget a forrásformátumból.
- Darabolás (Chunking): Szabályozott méretű szegmensekre bontja a szöveget.
- Beágyazás (Embedding): Vektorrá alakítja az egyes darabokat.
- Indexelés: Eltárolja a vektorokat a vektorindexben.
Lekérdezéskor:
- Lekérdezés beágyazása: A kérdést vektorrá alakítjuk.
- Vektoros keresés: Megkeressük a legközelebbi darabokat.
- Rangsorolás: Újrarangsoroljuk az eredményeket relevancia alapján.
- Beillesztés: A legjobb darabokat beillesztjük a modell kontextusába.
A darabolási stratégia konfigurálása
A darabolás az a beállítás, amely mindent meghatároz, és az előny-hátrány mérlegelése egyszerű. A rövid darabok pontos keresési eredményeket adnak, de kontextusuktól megfosztott részleteket szolgáltatnak – megtalálod a helyes mondatot, de elveszíted, mire vonatkozik. A hosszú darabok megőrzik a kontextust, de elnyelik a releváns információt az irreleváns szövegben, ami gyengíti a hasonlósági pontszámot.
Nincs univerzális érték: a megfelelő beállítás a dokumentumod szerkezetétől függ, ahogy az alábbi táblázat is összefoglalja.
from openai import OpenAI
client = OpenAI()
# Alapértelmezett stratégia: auto
vector_store = client.vector_stores.create(
name="legal-base",
chunking_strategy={"type": "auto"}
)
# Egyéni stratégia: kisebb darabok a nagyobb pontosság érdekében
vector_store = client.vector_stores.create(
name="support-faq",
chunking_strategy={
"type": "static",
"static": {
"max_chunk_size_tokens": 400,
"chunk_overlap_tokens": 100
}
}
)
A megfelelő darabméret kiválasztása
| Tartalom típusa | max_chunk_size | átfedés (overlap) | Miért? |
|---|---|---|---|
| GYIK, Kérdés-felelet | 200-400 | 50 | Rövid, önmagukban álló válaszok |
| Műszaki dokumentáció | 600-800 | 200 | Bekezdések kontextussal |
| Szerződések, jogi szövegek | 800-1200 | 300 | Hosszú, összefüggő záradékok |
| Forráskód | 400-600 | 100 | Függvények és osztályok |
Az átfedés hatása
Az átfedés egy konkrét problémát old meg: a darab határán átnyúló információ egyébként kettévágódna, ami azt jelentené, hogy egyik fél sem egyezne meg a lekérdezéssel. A darabok átfedésével garantálod, hogy minden mondat sértetlenül szerepeljen legalább egy szegmensben. Ennek költsége a redundancia: 800 tokenes daraboknál 300 tokenes átfedés csaknem 40%-os ismétlődő szöveget tárol.
# Eredeti szöveg (egyszerűsítve)
# "Az 5.1. záradék kimondja, hogy a szállítónak 30 napon belül teljesítenie kell.
# Késedelem esetén napi 1% kötbér jár.
# Az 5.2. záradék előírja, hogy a kötbér maximum 15% lehet."
# Átfedés nélkül: Az 5.1. záradék és a kötbér különböző darabokba kerülhet
# Átfedéssel: a záradék és a kötbér közötti kapcsolat megmarad
Relevancia küszöb és rangsorolás
A rangsorolás határozza meg, mely darabok maradnak meg. Beállíthatsz egy szűrőt:
response = client.responses.create(
model="gpt-5.6-terra",
input="Mi a visszaküldési szabályzat?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"max_num_results": 10,
"ranking_options": {
"ranker": "auto",
"score_threshold": 0.5
}
}]
)
A score_threshold kiszűri a relevancia-küszöb alatti eredményeket. A 0,0 érték mindent visszaad, míg az 1,0 túl szigorú lenne. A gyakorlatban a 0,3 és 0,6 közötti érték jó eredményeket hoz.
A lekérdezés minőségének optimalizálása
Dokumentumok előkészítése
Ez a legköltséghatékonyabb eszköz ebben a leckében, és az egyetlen, amely semmibe nem kerül a beállítások terén: egy jól strukturált dokumentum jól indexelhető. Használj egyértelmű címsorokat, bevezető mondatot minden szakaszhoz, és kerüld a szöveghalmazzá alakított táblázatokat. Ezzel szemben egyetlen darabolási beállítás sem menti meg azt a PDF-et, amelynek kinyerése összemosódott oszlopokat eredményez.
# Rossz: Szkennelt PDF közelítő OCR-rel
# -> Összefüggéstelen darabok, gyenge minőségű beágyazások
# Jó: Strukturált dokumentum címsorokkal és szakaszokkal
# -> A logikai szakaszokhoz igazodó darabok
# Minta: Előfeldolgozás feltöltés előtt
def prepare_document(raw_text: str) -> str:
"""Megtisztítja és strukturálja a szöveget indexelés előtt."""
# Ismétlődő fejlécek/láblécek eltávolítása
lines = raw_text.split("\n")
lines = [l for l in lines if not is_header_footer(l)]
# Szóközök normalizálása
text = "\n".join(lines)
text = re.sub(r"\n{3,}", "\n\n", text)
return text
Metaadatokkal való gazdagítás
A metaadatok lehetővé teszik a vektoros keresés előtti szűrést, ami javítja a pontosságot:
# Feltöltés gazdag metaadatokkal
documents = [
{"file": "hr-policy-2026.pdf", "department": "hr", "type": "policy", "year": 2026},
{"file": "supplier-contract-a.pdf", "department": "procurement", "type": "contract", "year": 2026},
{"file": "it-security-guide.pdf", "department": "it", "type": "guide", "year": 2025},
]
for doc in documents:
with open(doc["file"], "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id,
attributes={
"department": doc["department"],
"document_type": doc["type"],
"year": doc["year"]
}
)
A lekérdezés minőségének mérése
Mérés nélkül bármilyen darabolási beállítás csupán intuíción alapul. Húsz kérdésből álló készlet, ahol ismered a várt választ és a tartalmazó dokumentumot, elegendő a folyamat objektivizálásához: módosíts egy paramétert, futtasd újra a tesztkészletet, és hasonlítsd össze az eredményeket. Ez csekély munka ahhoz képest, mint órákat tölteni a darabméret vitatkozásával adatok nélkül.
def evaluate_retrieval(test_questions: list[dict], vs_id: str) -> dict:
"""Kiértékeli a lekérdezés minőségét egy tesztkészleten.
A test_questions minden eleme tartalmazza:
- question: a felteendő kérdés
- expected_answer: a válaszban várható kulcsszavak vagy kifejezések
"""
results = {"total": 0, "relevant": 0, "irrelevant": 0}
for test in test_questions:
response = client.responses.create(
model="gpt-5.6-terra",
input=test["question"],
tools=[{
"type": "file_search",
"vector_store_ids": [vs_id],
"max_num_results": 5
}]
)
answer = response.output_text.lower()
found_keywords = sum(
1 for word in test["expected_answer"]
if word.lower() in answer
)
results["total"] += 1
if found_keywords >= len(test["expected_answer"]) * 0.5:
results["relevant"] += 1
else:
results["irrelevant"] += 1
results["relevance_rate"] = results["relevant"] / results["total"]
return results
Haladó stratégiák
Több vektortár (Multi-Vector-Store)
Több dokumentumbázis párhuzamos lekérdezése:
response = client.responses.create(
model="gpt-5.6-terra",
input="Hasonlítsd össze a HR szabályzatunkat a jogi kötelezettségekkel",
tools=[{
"type": "file_search",
"vector_store_ids": [
vs_internal_policies,
vs_legal_texts
],
"max_num_results": 15
}]
)
Felbontott lekérdezések
A több kérést tartalmazó kérdés olyan átlagos vektort hoz létre, amely egyikre sem hasonlít igazán, ami mindenkinek rossz keresési eredményt ad. Ha külön alkérdésekre bontod, jelentősen jobb eredményeket érsz el – ez ugyanaz az elv, mint a webes keresésnél: a pontos lekérdezés jobb, mint a kimerítő.
def decomposed_search(complex_question: str, vs_id: str) -> str:
"""Felbont egy összetett kérdést al-keresésekre."""
# 1. lépés: A kérdés felbontása
decomposition = client.responses.create(
model="gpt-5.6-terra",
input=f"Bontsd ezt a kérdést 2-3 egyszerű al-kérdésre: {complex_question}",
)
# 2. lépés: Keresés minden al-kérdésre
sub_results = []
for sub_q in decomposition.output_text.split("\n"):
if sub_q.strip():
r = client.responses.create(
model="gpt-5.6-terra",
input=sub_q.strip(),
tools=[{"type": "file_search", "vector_store_ids": [vs_id]}]
)
sub_results.append(r.output_text)
# 3. lépés: Szintézis
synthesis = client.responses.create(
model="gpt-5.6-terra",
input=f"Eredeti kérdés: {complex_question}\n\n"
f"Közbenső eredmények:\n" + "\n---\n".join(sub_results) +
"\n\nKészíts egy teljes és koherens választ szintetizálva."
)
return synthesis.output_text
Főbb megállapítások
- A
staticdarabolás egyéni mérettel és átfedéssel javítja a pontosságot - Kicsi darabok a GYIK-okhoz, nagy darabok a jogi dokumentumokhoz
- A
score_thresholdkiszűri az irreleváns eredményeket - Tisztítsd meg és strukturáld dokumentumaidat indexelés előtt
- Mérd a lekérdezés minőségét egy tesztkészlettel