Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Athrángú: Feabhsú na hÁbharthachta

Ceacht 13 as 22 Nuashonraithe 29 Iúil 2026 Forbróir
Ar an leathanach seo
  1. Cuspóirí
  2. Fadhb an Bhi-Encoder
  3. Athrángú le Cohere
  4. Athrángú le LLM
  5. Comhtháthú sa Phíblíne RAG
  6. Tionchar an Athrángaithe
  7. Príomhphointí

Cuspóirí

  • Tuiscint a fháil ar cén fáth a bhfeabhsaíonn an t-athrángú torthaí
  • Athrángóir a chur i bhfeidhm ag baint úsáide as cross-encoder
  • Athrángú a chomhtháthú i bpíblíne RAG

Fadhb an Bhi-Encoder

Braitheann an cuardach go léir atá tógtha agat go dtí seo ar bi-encoder: ionchódaítear an cheist agus na doiciméid ar leithligh, ina n-aonar, agus déantar comparáid eatarthu trí thoradh poncúil. Is é seo a dhéanann an cuardach meandrach thar milliún smután, ós rud é gur ríomhadh veicteoirí an chorpais uair amháin agus go deo. Is é seo freisin a dhéanann é neamhchruinn, toisc nach bhfeiceann an tsamhail an cheist agus an doiciméad le chéile riamh: caithfidh sí gach téacs a achoimriú i veicteoir gan a fhios cad a chuirfear uirthi ina dhiaidh sin.

Glacann cross-encoder, ar a dtugtar athrángóir freisin, an péire (ceist, doiciméad) mar ionchur agus táirgeann sé scór ábharthachta i bhfad níos mine, toisc go léann sé an dá théacs go comhpháirteach agus is féidir leis a bhrath go bhfuil doiciméad ag plé leis an ábhar ach i gciall contrártha. Tagann an gnóthachan seo ar chostas: caithfidh an tsamhail gach doiciméad a phróiseáil go hindibhidiúil, rud a chuireann cosc ar úsáid a bhaint as ar an gcorpas iomlán. Is é an réiteach ná é a fhostú nuair atá sé cost-éifeachtach, ar thacar beag iarrthóirí atá roghnaithe cheana féin.

Mar sin, tá an phíblíne dhá chéim ann, á ndéanann gach samhail an rud is fearr atá inti: déanann an ceann tapa an réimse a chaochadh, agus déanann an ceann cruinn an gearradh deiridh.

Query → Bi-encoder → Top 50 Candidates → Cross-encoder → Top 5 Results

Athrángú le Cohere

Nochtann Cohere athrángóir ard-feidhmíochta trí API, rud a sheachnaíonn óstáil samhla. Cuireann an fheidhm seo an dá chéim i slabhra: faigheann sí fiche iarrthóir ar dtús trí chosúlacht veicteora, agus ansin iarrann sí ar rerank-v3.5 gan ach cúig a choinneáil. Tabhair faoi deara an réimse index_original a chaomhnaítear sa toradh: filleann an t-athrángóir suíomhanna i gcoibhneas leis an liosta iarrthóirí, agus beidh ort é seo a úsáid chun mapáil ar ais chuig an doiciméad iarbhír i do chorpas.

import cohere
from openai import OpenAI

co = cohere.Client(api_key="your-cohere-key")
openai_client = OpenAI()

def search_and_rerank(
    question: str,
    documents: list[str],
    embeddings_corpus,
    k_retrieval: int = 20,
    k_final: int = 5
) -> list[dict]:
    """Cuardach seimeantach + athrángú."""
    # Céim 1: Aisghabháil tapa (bi-encoder)
    query_emb = openai_client.embeddings.create(
        input=question,
        model="text-embedding-3-large"
    ).data[0].embedding

    import numpy as np
    scores = embeddings_corpus @ np.array(query_emb)
    top_indices = np.argsort(scores)[-k_retrieval:][::-1]
    candidates = [documents[i] for i in top_indices]

    # Céim 2: Athrángú (cross-encoder)
    rerank_response = co.rerank(
        query=question,
        documents=candidates,
        top_n=k_final,
        model="rerank-v3.5"
    )

    return [
        {
            "text": candidates[r.index],
            "rerank_score": r.relevance_score,
            "original_index": int(top_indices[r.index])
        }
        for r in rerank_response.results
    ]

Athrángú le LLM

Mura mian leat soláthraí eile a chur le d’ailtireacht—mar gheall ar chúiseanna conarthacha, logánú sonraí, nó billeáil amháin—is féidir le LLM a ghlaonn tú cheana féin an ról a líonadh. Cuirtear an cheist agus doiciméad faoi bhráid na samhla, iarrtar scór ó 0 go 10, agus déantar sórtáil. Socraítear an teocht ar nialas agus laghdaítear max_tokens go cúig chun aschur cinntitheach, saor a chinntiú; déileálann an try/except le cásanna ina bhfreagraíonn an tsamhail le rud seachas uimhir.

from openai import OpenAI

client = OpenAI()

def llm_reranker(
    question: str,
    candidates: list[str],
    k: int = 5
) -> list[dict]:
    """Úsáideann sé LLM chun ábharthacht a scóráil."""
    scores = []

    for i, doc in enumerate(candidates):
        response = client.chat.completions.create(
            model="gpt-5.6-terra",
            messages=[{
                "role": "user",
                "content": (
                    f"On a scale of 0 to 10, how relevant is this document "
                    f"for answering the question?\n\n"
                    f"Question: {question}\n\n"
                    f"Document: {doc}\n\n"
                    f"Respond only with a number between 0 and 10."
                )
            }],
            temperature=0,
            max_tokens=5
        )
        try:
            score = float(response.choices[0].message.content.strip())
        except ValueError:
            score = 0.0
        scores.append({"index": i, "text": doc, "score": score})

    scores.sort(key=lambda x: x["score"], reverse=True)
    return scores[:k]

Costaíonn an leagan seo glaon amháin in aghaidh gach iarrthóra, rud a chiallaíonn fiche glaon agus an oiread céanna moille carnthaí do cheist amháin úsáideora. Go praiticiúil, tá sé seo toirmiscteach i gcomhéadan idirghníomhach. Ina ionad sin, iarraimid ar an tsamhail gach doiciméad a rangú ag an am céanna, ag cur gach iarrthóra i láthair gearrtha go 200 carachtar agus uimhrithe, ag súil le liosta innéacsanna amháin ar ais.

def llm_batch_reranker(
    question: str,
    candidates: list[str],
    k: int = 5
) -> list[int]:
    """Athrángú i nglao LLM amháin."""
    formatted_docs = "\n".join(
        f"[{i}] {doc[:200]}" for i, doc in enumerate(candidates)
    )

    response = client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{
            "role": "user",
            "content": (
                f"Rank these documents by relevance to the question. "
                f"Return the indices of the {k} most relevant "
                f"documents, separated by commas, from most to "
                f"least relevant.\n\n"
                f"Question: {question}\n\n"
                f"Documents:\n{formatted_docs}\n\n"
                f"Indices (e.g., 3,1,7,0,5):"
            )
        }],
        temperature=0,
        max_tokens=50
    )

    indices_str = response.choices[0].message.content.strip()
    return [int(i.strip()) for i in indices_str.split(",")][:k]

Comhtháthú sa Phíblíne RAG

I bpíblíne iomlán, oireann an t-athrángú idir aisghabháil agus giniúint gan aon rud eile a athrú. Is é an pointe tábhachtach sa rang thíos ná an tairseach 0.3 ar relevance_score: ligeann sé seo níos lú ná cúig chomhthéacs a thabhairt ar ais nuair nach bhfuil aon iarrthóir fíor-ábhartha, seachas torann a bheathú don ghineadóir. Go minic, díothaíonn an scagaire seo, níos mó ná an t-athrángú féin, freagraí hallúcináideacha.

class RAGPipelineWithReranking:
    def __init__(self):
        self.client = OpenAI()
        self.co = cohere.Client()

    def respond(self, question: str, chunks, embeddings_corpus):
        # 1. Aisghabháil leathan
        candidates = self.search(question, embeddings_corpus, k=20)

        # 2. Athrángú
        candidate_docs = [chunks[i]["text"] for i in candidates]
        reranked = self.co.rerank(
            query=question,
            documents=candidate_docs,
            top_n=5,
            model="rerank-v3.5"
        )

        # 3. Roghnaigh an ceann is fearr
        contexts = [
            chunks[candidates[r.index]]
            for r in reranked.results
            if r.relevance_score > 0.3  # Tairseach ábharthachta
        ]

        # 4. Gine an freagra
        return self.generate(question, contexts)

Tionchar an Athrángaithe

MéadrachGan AthrángúLe hAthrángúGnóthachan
Recall@50.720.72=
Precision@50.580.78+34%
MRR0.650.82+26%

Insíonn na figiúirí seo go beacht cad a dhéanann athrángóir. Ní athraíonn an Recall, agus tá sé sin loighciúil: is iad céanna na hiarrthóirí, agus ní féidir leis an cross-encoder doiciméad a shábháil nár tháinig an bi-encoder air. Feabhsaíonn an Precision agus an MRR go suntasach, áfach, toisc go mbogann an doiciméad ceart ón séú háit go dtí an chéad áit. Comhthoradh praiticiúil: má tá do Recall bocht, ní shábhálfaidh athrángú thú; caithfidh tú an aisghabháil a leathnú ar dtús nó an smutánú a athbhreithniú.

Príomhphointí

  • Déanann athrángú athrángú ar iarrthóirí le samhail níos cruinne
  • Píblíne tipiciúil: bi-encoder (barr 20–50) → cross-encoder (barr 5)
  • Is réiteach turnkey é Cohere rerank-v3.5
  • Is féidir le LLM feidhmiú mar athrángóir más fearr leat spleáchas a sheachaint
  • Tá an gnóthachan cruinnis suntasach (20–35% de ghnáth)