Reranking: Βελτίωση της Συνάφειας
Σε αυτήν τη σελίδα
Στόχοι
- Να κατανοήσετε γιατί το reranking βελτιώνει τα αποτελέσματα
- Να υλοποιήσετε ένα reranker χρησιμοποιώντας έναν cross-encoder
- Να ενσωματώσετε το reranking σε μια ροή εργασίας RAG
Το Πρόβλημα του Bi-Encoder
Όλη η αναζήτηση που έχετε κατασκευάσει έως τώρα βασίζεται σε έναν bi-encoder: το ερώτημα και τα έγγραφα κωδικοποιούνται ξεχωριστά, το καθένα από μόνο του, και συγκρίνονται μέσω εσωτερικού γινομένου (dot product). Αυτό είναι που καθιστά την αναζήτηση ακαριαία ακόμη και σε ένα εκατομμύριο τμήματα, καθώς τα διανύσματα του σώματος κειμένου έχουν υπολογιστεί μια και καλή. Είναι επίσης αυτό που την καθιστά ανακριβή, επειδή το μοντέλο δεν βλέπει ποτέ το ερώτημα και το έγγραφο μαζί: πρέπει να συνοψίσει κάθε κείμενο σε ένα διάνυσμα χωρίς να γνωρίζει τι θα του ζητηθεί αργότερα.
Ένας cross-encoder, γνωστός και ως reranker, λαμβάνει ως είσοδο το ζεύγος (ερώτημα, έγγραφο) και παράγει μια πολύ πιο λεπτομερή βαθμολογία συνάφειας, επειδή διαβάζει και τα δύο κείμενα από κοινού και μπορεί να ανιχνεύσει ότι ένα έγγραφο συζητά το θέμα αλλά με αντίθετη έννοια. Αυτό το κέρδος έχει ένα κόστος: το μοντέλο πρέπει να επεξεργάζεται κάθε έγγραφο ξεχωριστά, γεγονός που απαγορεύει τη χρήση του σε ολόκληρο το σώμα κειμένου. Η λύση είναι να το χρησιμοποιήσετε εκεί που είναι συμφέρουσα, δηλαδή σε ένα μικρό σύνολο υποψηφίων που έχουν ήδη προεπιλεγεί.
Εξ ου και η ροή εργασίας δύο σταδίων, όπου κάθε μοντέλο κάνει αυτό που κάνει καλύτερα: το γρήγορο στενεύει το πεδίο, το ακριβές κάνει την τελική επιλογή.
Query → Bi-encoder → Top 50 Candidates → Cross-encoder → Top 5 Results
Reranking με το Cohere
Το Cohere εκθέτει έναν reranker υψηλής απόδοσης μέσω API, αποφεύγοντας τη φιλοξενία ενός μοντέλου. Η παρακάτω συνάρτηση αλυσιδώνει τα δύο βήματα: πρώτα ανακτά είκοσι υποψήφιους μέσω ομοιότητας διανυσμάτων και στη συνέχεια ζητά από το rerank-v3.5 να κρατήσει μόνο τους πέντε. Σημειώστε το πεδίο index_original που διατηρείται στο αποτέλεσμα: ο reranker επιστρέφει θέσεις σχετικές με τη λίστα των υποψηφίων και θα χρειαστείτε αυτό για να χαρτογραφήσετε ξανά στο πραγματικό έγγραφο στο σώμα κειμένου σας.
import cohere
from openai import OpenAI
co = cohere.Client(api_key="your-cohere-key")
openai_client = OpenAI()
def search_and_rerank(
question: str,
documents: list[str],
embeddings_corpus,
k_retrieval: int = 20,
k_final: int = 5
) -> list[dict]:
"""Semantic search + reranking."""
# Step 1: Fast retrieval (bi-encoder)
query_emb = openai_client.embeddings.create(
input=question,
model="text-embedding-3-large"
).data[0].embedding
import numpy as np
scores = embeddings_corpus @ np.array(query_emb)
top_indices = np.argsort(scores)[-k_retrieval:][::-1]
candidates = [documents[i] for i in top_indices]
# Step 2: Reranking (cross-encoder)
rerank_response = co.rerank(
query=question,
documents=candidates,
top_n=k_final,
model="rerank-v3.5"
)
return [
{
"text": candidates[r.index],
"rerank_score": r.relevance_score,
"original_index": int(top_indices[r.index])
}
for r in rerank_response.results
]
Reranking με ένα LLM
Αν προτιμάτε να μην προσθέσετε έναν άλλο πάροχο στην αρχιτεκτονική σας—λόγω συμβατικών λόγων, εντοπισμού δεδομένων ή απλώς χρέωσης—ένα LLM που καλείτε ήδη μπορεί να αναλάβει τον ρόλο. Υποβάλλετε την ερώτηση και ένα έγγραφο, ζητάτε μια βαθμολογία από 0 έως 10 και ταξινομείτε. Η θερμοκρασία ορισμένη στο μηδέν και το max_tokens μειωμένο σε πέντε εξασφαλίζουν ντετερμινιστική και φθηνή έξοδο· το try/except διαχειρίζεται περιπτώσεις όπου το μοντέλο απαντά με κάτι άλλο εκτός από αριθμό.
from openai import OpenAI
client = OpenAI()
def llm_reranker(
question: str,
candidates: list[str],
k: int = 5
) -> list[dict]:
"""Uses an LLM to score relevance."""
scores = []
for i, doc in enumerate(candidates):
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"On a scale of 0 to 10, how relevant is this document "
f"for answering the question?\n\n"
f"Question: {question}\n\n"
f"Document: {doc}\n\n"
f"Respond only with a number between 0 and 10."
)
}],
temperature=0,
max_tokens=5
)
try:
score = float(response.choices[0].message.content.strip())
except ValueError:
score = 0.0
scores.append({"index": i, "text": doc, "score": score})
scores.sort(key=lambda x: x["score"], reverse=True)
return scores[:k]
Αυτή η έκδοση κοστίζει μία κλήση ανά υποψήφιο, που σημαίνει είκοσι κλήσεις και altrettανη σωρευτική καθυστέρηση για μια μόνο ερώτηση χρήστη. Στην πράξη, αυτό είναι απαγορευτικό σε ένα διαδραστικό περιβάλλον. Αντ’ αυτού, ζητάμε από το μοντέλο να κατατάξει όλα τα έγγραφα ταυτόχρονα, παρουσιάζοντας κάθε υποψήφιο περικομμένο στους 200 χαρακτήρες και αριθμημένο, περιμένοντας μόνο μια λίστα δεικτών ως επιστροφή.
def llm_batch_reranker(
question: str,
candidates: list[str],
k: int = 5
) -> list[int]:
"""Reranking in a single LLM call."""
formatted_docs = "\n".join(
f"[{i}] {doc[:200]}" for i, doc in enumerate(candidates)
)
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"Rank these documents by relevance to the question. "
f"Return the indices of the {k} most relevant "
f"documents, separated by commas, from most to "
f"least relevant.\n\n"
f"Question: {question}\n\n"
f"Documents:\n{formatted_docs}\n\n"
f"Indices (e.g., 3,1,7,0,5):"
)
}],
temperature=0,
max_tokens=50
)
indices_str = response.choices[0].message.content.strip()
return [int(i.strip()) for i in indices_str.split(",")][:k]
Ενσωμάτωση στη Ροή Εργασίας RAG
Σε μια πλήρη ροή εργασίας, το reranking ταιριάζει μεταξύ της ανάκτησης και της παραγωγής χωρίς να αλλάζει τίποτα άλλο. Το βασικό σημείο στην παρακάτω κλάση είναι το κατώφλι 0,3 στο relevance_score: επιτρέπει την επιστροφή λιγότερων από πέντε πλαισίων όταν κανένας υποψήφιος δεν είναι πραγματικά συναφής, αντί να τροφοδοτεί τη γεννήτρια με θόρυβο. Συχνά αυτό το φίλτρο, περισσότερο από το ίδιο το re-ranking, εξαλείφει τις παραισθησιακές απαντήσεις.
class RAGPipelineWithReranking:
def __init__(self):
self.client = OpenAI()
self.co = cohere.Client()
def respond(self, question: str, chunks, embeddings_corpus):
# 1. Broad retrieval
candidates = self.search(question, embeddings_corpus, k=20)
# 2. Reranking
candidate_docs = [chunks[i]["text"] for i in candidates]
reranked = self.co.rerank(
query=question,
documents=candidate_docs,
top_n=5,
model="rerank-v3.5"
)
# 3. Select the best
contexts = [
chunks[candidates[r.index]]
for r in reranked.results
if r.relevance_score > 0.3 # Relevance threshold
]
# 4. Generate the answer
return self.generate(question, contexts)
Επίπτωση του Reranking
| Μετρική | Χωρίς Reranking | Με Reranking | Κέρδος |
|---|---|---|---|
| Recall@5 | 0.72 | 0.72 | = |
| Precision@5 | 0.58 | 0.78 | +34% |
| MRR | 0.65 | 0.82 | +26% |
Αυτοί οι αριθμοί λένε ακριβώς τι κάνει ένας reranker. Το Recall δεν μετακινείται, και αυτό είναι λογικό: οι υποψήφιοι είναι οι ίδιοι και ο cross-encoder δεν μπορεί να διασώσει ένα έγγραφο που ο bi-encoder δεν ανέσυρε. Ωστόσο, το Precision και το MRR βελτιώνονται σημαντικά, επειδή το σωστό έγγραφο μετακινείται από την έκτη θέση στην πρώτη. Πρακτικό συμπέρασμα: αν το recall σας είναι χαμηλό, το reranking δεν θα σας σώσει· πρέπει πρώτα να διευρύνετε την ανάκτηση ή να επανεξετάσετε τον τεμαχισμό.
Βασικά σημεία
- Το Reranking ανακατατάσσει τους υποψήφιους με ένα πιο ακριβές μοντέλο
- Τυπική ροή: bi-encoder (κορυφαίοι 20–50) → cross-encoder (κορυφαίοι 5)
- Το Cohere rerank-v3.5 είναι μια έτοιμη λύση
- Ένα LLM μπορεί να λειτουργήσει ως reranker αν προτιμάτε να αποφύγετε μια εξάρτηση
- Το κέρδος στην ακρίβεια είναι σημαντικό (τυπικά 20–35%)