Athrángú: Feabhsú na hÁbharthachta
Ar an leathanach seo
Cuspóirí
- Tuiscint a fháil ar cén fáth a bhfeabhsaíonn an t-athrángú torthaí
- Athrángóir a chur i bhfeidhm ag baint úsáide as cross-encoder
- Athrángú a chomhtháthú i bpíblíne RAG
Fadhb an Bhi-Encoder
Braitheann an cuardach go léir atá tógtha agat go dtí seo ar bi-encoder: ionchódaítear an cheist agus na doiciméid ar leithligh, ina n-aonar, agus déantar comparáid eatarthu trí thoradh poncúil. Is é seo a dhéanann an cuardach meandrach thar milliún smután, ós rud é gur ríomhadh veicteoirí an chorpais uair amháin agus go deo. Is é seo freisin a dhéanann é neamhchruinn, toisc nach bhfeiceann an tsamhail an cheist agus an doiciméad le chéile riamh: caithfidh sí gach téacs a achoimriú i veicteoir gan a fhios cad a chuirfear uirthi ina dhiaidh sin.
Glacann cross-encoder, ar a dtugtar athrángóir freisin, an péire (ceist, doiciméad) mar ionchur agus táirgeann sé scór ábharthachta i bhfad níos mine, toisc go léann sé an dá théacs go comhpháirteach agus is féidir leis a bhrath go bhfuil doiciméad ag plé leis an ábhar ach i gciall contrártha. Tagann an gnóthachan seo ar chostas: caithfidh an tsamhail gach doiciméad a phróiseáil go hindibhidiúil, rud a chuireann cosc ar úsáid a bhaint as ar an gcorpas iomlán. Is é an réiteach ná é a fhostú nuair atá sé cost-éifeachtach, ar thacar beag iarrthóirí atá roghnaithe cheana féin.
Mar sin, tá an phíblíne dhá chéim ann, á ndéanann gach samhail an rud is fearr atá inti: déanann an ceann tapa an réimse a chaochadh, agus déanann an ceann cruinn an gearradh deiridh.
Query → Bi-encoder → Top 50 Candidates → Cross-encoder → Top 5 Results
Athrángú le Cohere
Nochtann Cohere athrángóir ard-feidhmíochta trí API, rud a sheachnaíonn óstáil samhla. Cuireann an fheidhm seo an dá chéim i slabhra: faigheann sí fiche iarrthóir ar dtús trí chosúlacht veicteora, agus ansin iarrann sí ar rerank-v3.5 gan ach cúig a choinneáil. Tabhair faoi deara an réimse index_original a chaomhnaítear sa toradh: filleann an t-athrángóir suíomhanna i gcoibhneas leis an liosta iarrthóirí, agus beidh ort é seo a úsáid chun mapáil ar ais chuig an doiciméad iarbhír i do chorpas.
import cohere
from openai import OpenAI
co = cohere.Client(api_key="your-cohere-key")
openai_client = OpenAI()
def search_and_rerank(
question: str,
documents: list[str],
embeddings_corpus,
k_retrieval: int = 20,
k_final: int = 5
) -> list[dict]:
"""Cuardach seimeantach + athrángú."""
# Céim 1: Aisghabháil tapa (bi-encoder)
query_emb = openai_client.embeddings.create(
input=question,
model="text-embedding-3-large"
).data[0].embedding
import numpy as np
scores = embeddings_corpus @ np.array(query_emb)
top_indices = np.argsort(scores)[-k_retrieval:][::-1]
candidates = [documents[i] for i in top_indices]
# Céim 2: Athrángú (cross-encoder)
rerank_response = co.rerank(
query=question,
documents=candidates,
top_n=k_final,
model="rerank-v3.5"
)
return [
{
"text": candidates[r.index],
"rerank_score": r.relevance_score,
"original_index": int(top_indices[r.index])
}
for r in rerank_response.results
]
Athrángú le LLM
Mura mian leat soláthraí eile a chur le d’ailtireacht—mar gheall ar chúiseanna conarthacha, logánú sonraí, nó billeáil amháin—is féidir le LLM a ghlaonn tú cheana féin an ról a líonadh. Cuirtear an cheist agus doiciméad faoi bhráid na samhla, iarrtar scór ó 0 go 10, agus déantar sórtáil. Socraítear an teocht ar nialas agus laghdaítear max_tokens go cúig chun aschur cinntitheach, saor a chinntiú; déileálann an try/except le cásanna ina bhfreagraíonn an tsamhail le rud seachas uimhir.
from openai import OpenAI
client = OpenAI()
def llm_reranker(
question: str,
candidates: list[str],
k: int = 5
) -> list[dict]:
"""Úsáideann sé LLM chun ábharthacht a scóráil."""
scores = []
for i, doc in enumerate(candidates):
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"On a scale of 0 to 10, how relevant is this document "
f"for answering the question?\n\n"
f"Question: {question}\n\n"
f"Document: {doc}\n\n"
f"Respond only with a number between 0 and 10."
)
}],
temperature=0,
max_tokens=5
)
try:
score = float(response.choices[0].message.content.strip())
except ValueError:
score = 0.0
scores.append({"index": i, "text": doc, "score": score})
scores.sort(key=lambda x: x["score"], reverse=True)
return scores[:k]
Costaíonn an leagan seo glaon amháin in aghaidh gach iarrthóra, rud a chiallaíonn fiche glaon agus an oiread céanna moille carnthaí do cheist amháin úsáideora. Go praiticiúil, tá sé seo toirmiscteach i gcomhéadan idirghníomhach. Ina ionad sin, iarraimid ar an tsamhail gach doiciméad a rangú ag an am céanna, ag cur gach iarrthóra i láthair gearrtha go 200 carachtar agus uimhrithe, ag súil le liosta innéacsanna amháin ar ais.
def llm_batch_reranker(
question: str,
candidates: list[str],
k: int = 5
) -> list[int]:
"""Athrángú i nglao LLM amháin."""
formatted_docs = "\n".join(
f"[{i}] {doc[:200]}" for i, doc in enumerate(candidates)
)
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"Rank these documents by relevance to the question. "
f"Return the indices of the {k} most relevant "
f"documents, separated by commas, from most to "
f"least relevant.\n\n"
f"Question: {question}\n\n"
f"Documents:\n{formatted_docs}\n\n"
f"Indices (e.g., 3,1,7,0,5):"
)
}],
temperature=0,
max_tokens=50
)
indices_str = response.choices[0].message.content.strip()
return [int(i.strip()) for i in indices_str.split(",")][:k]
Comhtháthú sa Phíblíne RAG
I bpíblíne iomlán, oireann an t-athrángú idir aisghabháil agus giniúint gan aon rud eile a athrú. Is é an pointe tábhachtach sa rang thíos ná an tairseach 0.3 ar relevance_score: ligeann sé seo níos lú ná cúig chomhthéacs a thabhairt ar ais nuair nach bhfuil aon iarrthóir fíor-ábhartha, seachas torann a bheathú don ghineadóir. Go minic, díothaíonn an scagaire seo, níos mó ná an t-athrángú féin, freagraí hallúcináideacha.
class RAGPipelineWithReranking:
def __init__(self):
self.client = OpenAI()
self.co = cohere.Client()
def respond(self, question: str, chunks, embeddings_corpus):
# 1. Aisghabháil leathan
candidates = self.search(question, embeddings_corpus, k=20)
# 2. Athrángú
candidate_docs = [chunks[i]["text"] for i in candidates]
reranked = self.co.rerank(
query=question,
documents=candidate_docs,
top_n=5,
model="rerank-v3.5"
)
# 3. Roghnaigh an ceann is fearr
contexts = [
chunks[candidates[r.index]]
for r in reranked.results
if r.relevance_score > 0.3 # Tairseach ábharthachta
]
# 4. Gine an freagra
return self.generate(question, contexts)
Tionchar an Athrángaithe
| Méadrach | Gan Athrángú | Le hAthrángú | Gnóthachan |
|---|---|---|---|
| Recall@5 | 0.72 | 0.72 | = |
| Precision@5 | 0.58 | 0.78 | +34% |
| MRR | 0.65 | 0.82 | +26% |
Insíonn na figiúirí seo go beacht cad a dhéanann athrángóir. Ní athraíonn an Recall, agus tá sé sin loighciúil: is iad céanna na hiarrthóirí, agus ní féidir leis an cross-encoder doiciméad a shábháil nár tháinig an bi-encoder air. Feabhsaíonn an Precision agus an MRR go suntasach, áfach, toisc go mbogann an doiciméad ceart ón séú háit go dtí an chéad áit. Comhthoradh praiticiúil: má tá do Recall bocht, ní shábhálfaidh athrángú thú; caithfidh tú an aisghabháil a leathnú ar dtús nó an smutánú a athbhreithniú.
Príomhphointí
- Déanann athrángú athrángú ar iarrthóirí le samhail níos cruinne
- Píblíne tipiciúil: bi-encoder (barr 20–50) → cross-encoder (barr 5)
- Is réiteach turnkey é Cohere rerank-v3.5
- Is féidir le LLM feidhmiú mar athrángóir más fearr leat spleáchas a sheachaint
- Tá an gnóthachan cruinnis suntasach (20–35% de ghnáth)