Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Aisghabháil: Míreáil agus Rangú

Ceacht 8 as 20 Forbróir
Ar an leathanach seo
  1. Aisghabháil: Míreáil agus Rangú
  2. An Phíblíne Aisghabhála
  3. An Straitéis Míreála a Chumrú
  4. Tairseach Ábharthachta agus Rangú
  5. Cáilíocht na hAisghabhála a Optamú
  6. Cáilíocht na hAisghabhála a Thomhas
  7. Straitéisí Casta
  8. Príomhphointí

Aisghabháil: Míreáil agus Rangú

Braitheann Cuardach Comhad ar phíblíne aisghabhála iomlán: roinntear do chuid doiciméad ina míreanna, déantar veicteoiriú orthu, innéacsítear iad, agus ansin déantar rangú orthu de réir ábharthachta nuair a thagann ceist isteach. Trí thuiscint a bheith agat ar an bpíblíne seo, is féidir leat cáilíocht na bhfreagraí a fheabhsú.

An Phíblíne Aisghabhála

Nuair a uaslódálann tú comhad chuig stór veicteoirí, déanann OpenAI na céimeanna seo a leanas go huathoibríoch:

  1. Parsáil: Baintear an téacs amh as an fhormáid fhoinsí
  2. Míreáil: Roinntear an téacs ina dheighleoga de mhéid rialaithe
  3. Leabú: Déantar veicteoiriú ar gach mír
  4. Innéacsú: Stóráiltear na veicteoirí san innéacs veicteoirí

Ag am na ceiste:

  1. Leabú na Ceiste: Déantar veicteoiriú ar an gceist
  2. Cuardach Veicteoirí: Aithnítear na míreanna is gaire
  3. Rangú: Déantar na torthaí a ath-rangú de réir ábharthachta
  4. Instealladh: Cuirtear na míreanna is fearr isteach i gcomhthéacs an mhúnla

An Straitéis Míreála a Chumrú

Is é an míreáil an socruithe a thiomáineann gach rud eile, agus tá an comhréiteach simplí. Tugann míreanna gairide torthaí cuardaigh cruinne ach soláthraíonn siad blúirí gan chomhthéacs – faigheann tú an abairt cheart ach cailleann tú an rud a bhfuil sí ag tagairt dó. Caomhnaíonn míreanna fada an comhthéacs ach cuireann siad faisnéis ábhartha faoi chois i dtéacs nach mbaineann leis an ábhar, rud a laghdaíonn an scór cosúlachta.

Níl aon luach uilíoch ann: braitheann an socruithe ceart ar struchtúr do dhoiciméid, díreach mar a achoimrítear sa tábla thíos.

from openai import OpenAI

client = OpenAI()

# Default strategy: auto
vector_store = client.vector_stores.create(
    name="legal-base",
    chunking_strategy={"type": "auto"}
)

# Custom strategy: smaller chunks for higher precision
vector_store = client.vector_stores.create(
    name="support-faq",
    chunking_strategy={
        "type": "static",
        "static": {
            "max_chunk_size_tokens": 400,
            "chunk_overlap_tokens": 100
        }
    }
)

An Méid Míre Ceart a Roghnú

Cineál Ábhairmax_chunk_sizeforluíCén fáth
FAQ, Ceisteanna & Freagraí200-40050Freagraí gairide, neamhspleácha
Doiciméadacht Theicniúil600-800200Míreanna le comhthéacs
Conarthaí, Téacsanna Dlíthiúla800-1200300Clásail fhada, nasctha le chéile
Cód Foinse400-600100Feidhmeanna agus aicmí

Tionchar an Fhorluithe

Réitíonn forluí fadhb shonrach: dá mbeadh faisnéis ag síneadh thar theorainn míre, ghearrfaí ina dhá leath í, rud a chiallódh nach mbeadh ceachtar den dá leath ag teacht leis an gceist. Trí fhorluí a dhéanamh ar mhíreanna, cinntíonn tú go mbíonn gach abairt slán i ngach deighleog amháin ar a laghad. Is é an costas ná iomarcaíocht – le forluí 300 token ar mhíreanna 800 token, stóráiltear téacs atá dúbailte beagnach 40%.

# Original text (simplified)
# "Clause 5.1 states the supplier must deliver within 30 days.
#  In case of delay, penalties of 1% per day apply.
#  Clause 5.2 specifies penalties are capped at 15%."

# Without overlap: Clause 5.1 and penalties might end up in different chunks
# With overlap: the link between clause and penalties is preserved

Tairseach Ábharthachta agus Rangú

Cinneann an rangú cé na míreanna a choinnítear. Is féidir leat scagaire a chumrú:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="What is the return policy?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id],
        "max_num_results": 10,
        "ranking_options": {
            "ranker": "auto",
            "score_threshold": 0.5
        }
    }]
)

Scagann an score_threshold torthaí atá faoi thairseach ábharthachta. Tugann luach 0.0 gach rud ar ais, ach bheadh 1.0 ró-shriantach. Go praiticiúil, tugann 0.3 go 0.6 torthaí maithe.

Cáilíocht na hAisghabhála a Optamú

Doiciméid a Ullmhú

Seo an luamhán is cost-éifeachtaí sa cheacht seo ar fad, agus an t-aon cheann nach gcostaíonn aon rud i socruithe: déanann doiciméad dea-struchtúrtha innéacsú maith. Úsáid ceanntásc soiléir, abairt réamhrá do gach alt, agus seachain táblaí a thiontaítear ina smután téacs. Os a choinne sin, ní shábhálfaidh aon socruithe míreála PDF a chruthaíonn colúin fhite fuaite nuair a bhaintear an téacs as.

# Bad: Scanned PDF with approximate OCR
# -> Incoherent chunks, poor-quality embeddings

# Good: Structured document with headings and sections
# -> Chunks aligned with logical sections

# Pattern: Pre-process before upload
def prepare_document(raw_text: str) -> str:
    """Cleans and structures text before indexing."""
    # Remove repetitive headers/footers
    lines = raw_text.split("\n")
    lines = [l for l in lines if not is_header_footer(l)]

    # Normalize spaces
    text = "\n".join(lines)
    text = re.sub(r"\n{3,}", "\n\n", text)

    return text

Saibhriú le Meiteashonraí

Ligeann meiteashonraí duit réamhscagadh a dhéanamh sula ndéanann tú cuardach veicteoirí, rud a fheabhsaíonn cruinneas:

# Upload with rich metadata
documents = [
    {"file": "hr-policy-2026.pdf", "department": "hr", "type": "policy", "year": 2026},
    {"file": "supplier-contract-a.pdf", "department": "procurement", "type": "contract", "year": 2026},
    {"file": "it-security-guide.pdf", "department": "it", "type": "guide", "year": 2025},
]

for doc in documents:
    with open(doc["file"], "rb") as f:
        file_obj = client.files.create(file=f, purpose="assistants")

    client.vector_stores.files.create(
        vector_store_id=vector_store.id,
        file_id=file_obj.id,
        attributes={
            "department": doc["department"],
            "document_type": doc["type"],
            "year": doc["year"]
        }
    )

Cáilíocht na hAisghabhála a Thomhas

Gan tomhas, ní bhíonn i socruithe míreála ach intuigtheacht. Is leor tacar fiche ceist ina bhfuil a fhios agat an freagra a bhfuiltear ag súil leis agus an doiciméad ina bhfuil sé chun an próiseas a dhéanamh oibiachtúil: athraigh paraiméadar, rith an tacar tástála arís, agus déan comparáid. Is obair bheag é seo i gcomparáid le huaireanta a chaitheamh ag díospóireacht faoi mhéid na míre gan aon sonraí.

def evaluate_retrieval(test_questions: list[dict], vs_id: str) -> dict:
    """Evaluates retrieval quality on a test set.

    Each element in test_questions contains:
    - question: the question to ask
    - expected_answer: keywords or phrases expected in the response
    """
    results = {"total": 0, "relevant": 0, "irrelevant": 0}

    for test in test_questions:
        response = client.responses.create(
            model="gpt-5.6-terra",
            input=test["question"],
            tools=[{
                "type": "file_search",
                "vector_store_ids": [vs_id],
                "max_num_results": 5
            }]
        )

        answer = response.output_text.lower()
        found_keywords = sum(
            1 for word in test["expected_answer"]
            if word.lower() in answer
        )

        results["total"] += 1
        if found_keywords >= len(test["expected_answer"]) * 0.5:
            results["relevant"] += 1
        else:
            results["irrelevant"] += 1

    results["relevance_rate"] = results["relevant"] / results["total"]
    return results

Straitéisí Casta

Il-Stór-Veicteoirí

Déan cuardach ar bhunáir doiciméad iolracha go comhthreomhar:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="Compare our HR policy with legal obligations",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [
            vs_internal_policies,
            vs_legal_texts
        ],
        "max_num_results": 15
    }]
)

Ceisteanna Díorthaithe

Cruthaíonn ceist ina bhfuil iarratais iolracha veicteoir meánach nach bhfuil cosúil le ceann ar bith acu, rud a fhágann go mbíonn torthaí cuardaigh bocht do gach ceann acu. Má bhriseann tú síos í ina fo-cheisteanna ar leith, faigheann tú torthaí i bhfad níos fearr – is é an prionsabal céanna é agus atá i gcuardach gréasáin: buaileann ceist chruinn ceist chuimsitheach.

def decomposed_search(complex_question: str, vs_id: str) -> str:
    """Decomposes a complex question into sub-searches."""
    # Step 1: Decompose the question
    decomposition = client.responses.create(
        model="gpt-5.6-terra",
        input=f"Decompose this question into 2-3 simple sub-questions: {complex_question}",
    )

    # Step 2: Search for each sub-question
    sub_results = []
    for sub_q in decomposition.output_text.split("\n"):
        if sub_q.strip():
            r = client.responses.create(
                model="gpt-5.6-terra",
                input=sub_q.strip(),
                tools=[{"type": "file_search", "vector_store_ids": [vs_id]}]
            )
            sub_results.append(r.output_text)

    # Step 3: Synthesize
    synthesis = client.responses.create(
        model="gpt-5.6-terra",
        input=f"Original question: {complex_question}\n\n"
              f"Intermediate results:\n" + "\n---\n".join(sub_results) +
              "\n\nSynthesize a complete and coherent answer."
    )
    return synthesis.output_text

Príomhphointí

  • Feabhsaíonn míreáil static le méid agus forluí saincheaptha an cruinneas
  • Míreanna beaga do FAQanna, míreanna móra do dhoiciméid dhlíthiúla
  • Scagann score_threshold torthaí nach mbaineann leis an ábhar
  • Glan agus struchtúraigh do dhoiciméid sula ndéanann tú innéacsú orthu
  • Déan measúnú ar cháilíocht na haisghabhála le tacar tástála