Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Lekérdezés: Darabolás és rangsorolás

8. lecke 20 közül Fejlesztő
Ezen az oldalon
  1. Lekérdezés: Darabolás és rangsorolás
  2. A lekérdezési folyamat
  3. A darabolási stratégia konfigurálása
  4. Relevancia küszöb és rangsorolás
  5. A lekérdezés minőségének optimalizálása
  6. A lekérdezés minőségének mérése
  7. Haladó stratégiák
  8. Főbb megállapítások

Lekérdezés: Darabolás és rangsorolás

A Fájlkeresés egy teljes lekérdezési folyamatra (retrieval pipeline) épül: a dokumentumaidat darabokra bontjuk, vektorizáljuk, indexeljük, majd egy lekérdezés érkezésekor relevancia szerint rangsoroljuk őket. E folyamat megértése lehetővé teszi, hogy optimalizáld a válaszok minőségét.

A lekérdezési folyamat

Amikor feltöltesz egy fájlt egy vektortárba, az OpenAI automatikusan végrehajtja a következő lépéseket:

  1. Elemzés (Parsing): Kinyeri a nyers szöveget a forrásformátumból.
  2. Darabolás (Chunking): Szabályozott méretű szegmensekre bontja a szöveget.
  3. Beágyazás (Embedding): Vektorrá alakítja az egyes darabokat.
  4. Indexelés: Eltárolja a vektorokat a vektorindexben.

Lekérdezéskor:

  1. Lekérdezés beágyazása: A kérdést vektorrá alakítjuk.
  2. Vektoros keresés: Megkeressük a legközelebbi darabokat.
  3. Rangsorolás: Újrarangsoroljuk az eredményeket relevancia alapján.
  4. Beillesztés: A legjobb darabokat beillesztjük a modell kontextusába.

A darabolási stratégia konfigurálása

A darabolás az a beállítás, amely mindent meghatároz, és az előny-hátrány mérlegelése egyszerű. A rövid darabok pontos keresési eredményeket adnak, de kontextusuktól megfosztott részleteket szolgáltatnak – megtalálod a helyes mondatot, de elveszíted, mire vonatkozik. A hosszú darabok megőrzik a kontextust, de elnyelik a releváns információt az irreleváns szövegben, ami gyengíti a hasonlósági pontszámot.

Nincs univerzális érték: a megfelelő beállítás a dokumentumod szerkezetétől függ, ahogy az alábbi táblázat is összefoglalja.

from openai import OpenAI

client = OpenAI()

# Alapértelmezett stratégia: auto
vector_store = client.vector_stores.create(
    name="legal-base",
    chunking_strategy={"type": "auto"}
)

# Egyéni stratégia: kisebb darabok a nagyobb pontosság érdekében
vector_store = client.vector_stores.create(
    name="support-faq",
    chunking_strategy={
        "type": "static",
        "static": {
            "max_chunk_size_tokens": 400,
            "chunk_overlap_tokens": 100
        }
    }
)

A megfelelő darabméret kiválasztása

Tartalom típusamax_chunk_sizeátfedés (overlap)Miért?
GYIK, Kérdés-felelet200-40050Rövid, önmagukban álló válaszok
Műszaki dokumentáció600-800200Bekezdések kontextussal
Szerződések, jogi szövegek800-1200300Hosszú, összefüggő záradékok
Forráskód400-600100Függvények és osztályok

Az átfedés hatása

Az átfedés egy konkrét problémát old meg: a darab határán átnyúló információ egyébként kettévágódna, ami azt jelentené, hogy egyik fél sem egyezne meg a lekérdezéssel. A darabok átfedésével garantálod, hogy minden mondat sértetlenül szerepeljen legalább egy szegmensben. Ennek költsége a redundancia: 800 tokenes daraboknál 300 tokenes átfedés csaknem 40%-os ismétlődő szöveget tárol.

# Eredeti szöveg (egyszerűsítve)
# "Az 5.1. záradék kimondja, hogy a szállítónak 30 napon belül teljesítenie kell.
#  Késedelem esetén napi 1% kötbér jár.
#  Az 5.2. záradék előírja, hogy a kötbér maximum 15% lehet."

# Átfedés nélkül: Az 5.1. záradék és a kötbér különböző darabokba kerülhet
# Átfedéssel: a záradék és a kötbér közötti kapcsolat megmarad

Relevancia küszöb és rangsorolás

A rangsorolás határozza meg, mely darabok maradnak meg. Beállíthatsz egy szűrőt:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="Mi a visszaküldési szabályzat?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id],
        "max_num_results": 10,
        "ranking_options": {
            "ranker": "auto",
            "score_threshold": 0.5
        }
    }]
)

A score_threshold kiszűri a relevancia-küszöb alatti eredményeket. A 0,0 érték mindent visszaad, míg az 1,0 túl szigorú lenne. A gyakorlatban a 0,3 és 0,6 közötti érték jó eredményeket hoz.

A lekérdezés minőségének optimalizálása

Dokumentumok előkészítése

Ez a legköltséghatékonyabb eszköz ebben a leckében, és az egyetlen, amely semmibe nem kerül a beállítások terén: egy jól strukturált dokumentum jól indexelhető. Használj egyértelmű címsorokat, bevezető mondatot minden szakaszhoz, és kerüld a szöveghalmazzá alakított táblázatokat. Ezzel szemben egyetlen darabolási beállítás sem menti meg azt a PDF-et, amelynek kinyerése összemosódott oszlopokat eredményez.

# Rossz: Szkennelt PDF közelítő OCR-rel
# -> Összefüggéstelen darabok, gyenge minőségű beágyazások

# Jó: Strukturált dokumentum címsorokkal és szakaszokkal
# -> A logikai szakaszokhoz igazodó darabok

# Minta: Előfeldolgozás feltöltés előtt
def prepare_document(raw_text: str) -> str:
    """Megtisztítja és strukturálja a szöveget indexelés előtt."""
    # Ismétlődő fejlécek/láblécek eltávolítása
    lines = raw_text.split("\n")
    lines = [l for l in lines if not is_header_footer(l)]

    # Szóközök normalizálása
    text = "\n".join(lines)
    text = re.sub(r"\n{3,}", "\n\n", text)

    return text

Metaadatokkal való gazdagítás

A metaadatok lehetővé teszik a vektoros keresés előtti szűrést, ami javítja a pontosságot:

# Feltöltés gazdag metaadatokkal
documents = [
    {"file": "hr-policy-2026.pdf", "department": "hr", "type": "policy", "year": 2026},
    {"file": "supplier-contract-a.pdf", "department": "procurement", "type": "contract", "year": 2026},
    {"file": "it-security-guide.pdf", "department": "it", "type": "guide", "year": 2025},
]

for doc in documents:
    with open(doc["file"], "rb") as f:
        file_obj = client.files.create(file=f, purpose="assistants")

    client.vector_stores.files.create(
        vector_store_id=vector_store.id,
        file_id=file_obj.id,
        attributes={
            "department": doc["department"],
            "document_type": doc["type"],
            "year": doc["year"]
        }
    )

A lekérdezés minőségének mérése

Mérés nélkül bármilyen darabolási beállítás csupán intuíción alapul. Húsz kérdésből álló készlet, ahol ismered a várt választ és a tartalmazó dokumentumot, elegendő a folyamat objektivizálásához: módosíts egy paramétert, futtasd újra a tesztkészletet, és hasonlítsd össze az eredményeket. Ez csekély munka ahhoz képest, mint órákat tölteni a darabméret vitatkozásával adatok nélkül.

def evaluate_retrieval(test_questions: list[dict], vs_id: str) -> dict:
    """Kiértékeli a lekérdezés minőségét egy tesztkészleten.

    A test_questions minden eleme tartalmazza:
    - question: a felteendő kérdés
    - expected_answer: a válaszban várható kulcsszavak vagy kifejezések
    """
    results = {"total": 0, "relevant": 0, "irrelevant": 0}

    for test in test_questions:
        response = client.responses.create(
            model="gpt-5.6-terra",
            input=test["question"],
            tools=[{
                "type": "file_search",
                "vector_store_ids": [vs_id],
                "max_num_results": 5
            }]
        )

        answer = response.output_text.lower()
        found_keywords = sum(
            1 for word in test["expected_answer"]
            if word.lower() in answer
        )

        results["total"] += 1
        if found_keywords >= len(test["expected_answer"]) * 0.5:
            results["relevant"] += 1
        else:
            results["irrelevant"] += 1

    results["relevance_rate"] = results["relevant"] / results["total"]
    return results

Haladó stratégiák

Több vektortár (Multi-Vector-Store)

Több dokumentumbázis párhuzamos lekérdezése:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="Hasonlítsd össze a HR szabályzatunkat a jogi kötelezettségekkel",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [
            vs_internal_policies,
            vs_legal_texts
        ],
        "max_num_results": 15
    }]
)

Felbontott lekérdezések

A több kérést tartalmazó kérdés olyan átlagos vektort hoz létre, amely egyikre sem hasonlít igazán, ami mindenkinek rossz keresési eredményt ad. Ha külön alkérdésekre bontod, jelentősen jobb eredményeket érsz el – ez ugyanaz az elv, mint a webes keresésnél: a pontos lekérdezés jobb, mint a kimerítő.

def decomposed_search(complex_question: str, vs_id: str) -> str:
    """Felbont egy összetett kérdést al-keresésekre."""
    # 1. lépés: A kérdés felbontása
    decomposition = client.responses.create(
        model="gpt-5.6-terra",
        input=f"Bontsd ezt a kérdést 2-3 egyszerű al-kérdésre: {complex_question}",
    )

    # 2. lépés: Keresés minden al-kérdésre
    sub_results = []
    for sub_q in decomposition.output_text.split("\n"):
        if sub_q.strip():
            r = client.responses.create(
                model="gpt-5.6-terra",
                input=sub_q.strip(),
                tools=[{"type": "file_search", "vector_store_ids": [vs_id]}]
            )
            sub_results.append(r.output_text)

    # 3. lépés: Szintézis
    synthesis = client.responses.create(
        model="gpt-5.6-terra",
        input=f"Eredeti kérdés: {complex_question}\n\n"
              f"Közbenső eredmények:\n" + "\n---\n".join(sub_results) +
              "\n\nKészíts egy teljes és koherens választ szintetizálva."
    )
    return synthesis.output_text

Főbb megállapítások

  • A static darabolás egyéni mérettel és átfedéssel javítja a pontosságot
  • Kicsi darabok a GYIK-okhoz, nagy darabok a jogi dokumentumokhoz
  • A score_threshold kiszűri az irreleváns eredményeket
  • Tisztítsd meg és strukturáld dokumentumaidat indexelés előtt
  • Mérd a lekérdezés minőségét egy tesztkészlettel