Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Υβριδική αναζήτηση (σημασιολογική + λεξική)

Μάθημα 9 / 22 Ενημερώθηκε 29 Ιουλίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Στόχοι
  2. Το πρόβλημα: καμία μεμονωμένη προσέγγιση δεν είναι τέλεια
  3. Λεξική αναζήτηση με BM25
  4. Αντίστροφη Συγχώνευση Βαθμολογίας (RRF)
  5. Πλήρης υβριδική ροή εργασίας
  6. Εγγενής υβριδική αναζήτηση στο Weaviate
  7. Βασικά σημεία

Στόχοι

  • Να κατανοήσετε γιατί ο συνδυασμός σημασιολογικής και λεξικής αναζήτησης είναι σημαντικός
  • Να υλοποιήσετε υβριδική αναζήτηση χρησιμοποιώντας την Αντίστροφη Συγχώνευση Βαθμολογίας (Reciprocal Rank Fusion)
  • Να χρησιμοποιήσετε την υβριδική αναζήτηση σε βάσεις δεδομένων διανυσμάτων

Το πρόβλημα: καμία μεμονωμένη προσέγγιση δεν είναι τέλεια

Η σημασιολογική αναζήτηση διαπρέπει στη διαχείριση συνωνύμων, αλλά μπορεί να χάσει ακριβείς τεχνικούς όρους· η λεξική αναζήτηση κάνει ακριβώς το αντίθετο. Σκεφτείτε ένα ερώτημα διαχειριστή συστήματος, «nginx error 503», και παρατηρήστε πώς συμπεριφέρονται και οι δύο μηχανές απέναντι σε μια βάση τεχνικής τεκμηρίωσης.

# Query: "nginx error 503"
# Semantic → finds "web server issues" (good) but misses "code 503" (missed)
# Lexical   → finds "nginx error 503" exactly (good) but misses "reverse proxy timeout" (missed)
# Hybrid    → finds both ✅

Η σημασιολογική αναζήτηση κατανοεί ότι αυτό αναφέρεται σε ένα περιστατικό διακομιστή και εμφανίζει γενικά άρθρα, αλλά ο αριθμός 503 της διαφεύγει: για ένα μοντέλο ενσωμάτωσης, το 503 και το 504 είναι απλώς δύο τριψήφιοι αριθμοί, σημασιολογικά κοντά, παρόλο που υποδηλώνουν διαφορετικές διακοπές λειτουργίας. Η λεξική αναζήτηση ανακτά τον ακριβή κωδικό, αλλά χάνει το άρθρο σχετικά με τα χρονικά όρια του διακομιστή μεσολάβησης αντιστροφής (reverse proxy), το οποίο συχνά περιγράφει τη βασική αιτία. Καμία μέθοδος από μόνη της δεν επιστρέφει τη σωστή σελίδα αποτελεσμάτων· η ένωσή τους το επιτυγχάνει.

Λεξική αναζήτηση με BM25

Το BM25 είναι ο κλασικός αλγόριθμος για αναζήτηση λέξεων-κλειδιών. Σταθμίζει κάθε όρο με βάση τη σπανιότητά του στο σώμα κειμένου και τη συχνότητά του στο έγγραφο, αναδεικνύοντας φυσικά διακριτικούς όρους όπως «503» ή «nginx». Ωστόσο, πρέπει να του παρέχετε καθαρά tokens: η συνάρτηση tokenization μετατρέπει το κείμενο σε πεζά, εξάγει λέξεις και αφαιρεί τις γαλλικές λέξεις στάσης (stop words), οι οποίες δεν προσθέτουν σήμα συνάφειας.

from rank_bm25 import BM25Okapi
import re

def tokenize(text: str) -> list[str]:
    """Simple tokenization for French."""
    text = text.lower()
    tokens = re.findall(r"\b\w+\b", text)
    # Remove common stop words
    stop_words = {"le", "la", "les", "de", "du", "des", "un", "une",
                  "et", "ou", "est", "dans", "pour", "avec", "sur"}
    return [t for t in tokens if t not in stop_words]

documents = [
    "Comment résoudre l'erreur 503 dans nginx",
    "Configuration du reverse proxy avec timeout",
    "Guide d'installation de nginx sur Ubuntu",
    "Les bases de la cuisine française",
]

# Index with BM25
tokenized_corpus = [tokenize(doc) for doc in documents]
bm25 = BM25Okapi(tokenized_corpus)

# Search
query_tokens = tokenize("erreur 503 nginx")
bm25_scores = bm25.get_scores(query_tokens)

for i, score in enumerate(bm25_scores):
    print(f"BM25 {score:.3f} | {documents[i]}")

Αντίστροφη Συγχώνευση Βαθμολογίας (RRF)

Τώρα πρέπει να συνδυάσετε τις δύο κατατάξεις, κάτι που είναι πιο δύσκολο από όσο φαίνεται: μια βαθμολογία συνημιτόνου κυμαίνεται μεταξύ 0 και 1, ενώ μια βαθμολογία BM25 δεν έχει άνω όριο. Η άμεση πρόσθεσή τους θα επέτρεπε στο BM25 να κατακλύσει το σημασιολογικό σήμα. Το RRF παρακάμπτει αυτό το πρόβλημα αγνοώντας τις ακατέργαστες βαθμολογίες και διατηρώντας μόνο τις βαθμολογίες κατάταξης (ranks): κάθε έγγραφο λαμβάνει 1 / (k + rank) σε κάθε λίστα και αθροίζετε αυτές τις συνεισφορές. Έτσι, ένα έγγραφο που κατατάσσεται καλά παντού νικά ένα έγγραφο που διαπρέπει μόνο σε μία λίστα.

def reciprocal_rank_fusion(
    result_lists: list[list[tuple[int, float]]],
    k: int = 60
) -> list[tuple[int, float]]:
    """Fuses multiple result lists using RRF.

    Args:
        result_lists: list of lists of (doc_id, score)
        k: RRF constant (60 is standard)
    """
    fused_scores: dict[int, float] = {}

    for results in result_lists:
        for rank, (doc_id, _) in enumerate(results):
            if doc_id not in fused_scores:
                fused_scores[doc_id] = 0.0
            fused_scores[doc_id] += 1.0 / (k + rank + 1)

    # Sort by score descending
    return sorted(
        fused_scores.items(),
        key=lambda x: x[1],
        reverse=True
    )

Η σταθερά k, η οποία συμβατικά ορίζεται στο 60 βάσει της βιβλιογραφίας, μειώνει το χάσμα μεταξύ των κορυφαίων θέσεων: χωρίς αυτήν, η πρώτη θέση θα ζύγιζε διπλάσια από τη δεύτερη, καθιστώντας τη συγχώνευση υπερβολικά ευαίσθητη σε μικρές διαφορές κατάταξης.

Πλήρης υβριδική ροή εργασίας

Η παρακάτω κλάση διατηρεί και τους δύο δείκτες παράλληλα στο ίδιο σώμα κειμένου, εκτελεί και τις δύο αναζητήσεις σε κάθε ερώτημα και συγχωνεύει τις κατατάξεις. Επιστρέφει επίσης μεμονωμένες βαθμολογίες—μια πολύτιμη λεπτομέρεια κατά τη ρύθμιση, καθώς η σύγκρισή τους δείχνει ποια μηχανή «κουβάλησε» ένα δεδομένο αποτέλεσμα.

from openai import OpenAI
from rank_bm25 import BM25Okapi
import numpy as np

class HybridSearch:
    def __init__(self, model: str = "text-embedding-3-large"):
        self.client = OpenAI()
        self.model = model
        self.documents: list[str] = []
        self.embeddings: np.ndarray | None = None
        self.bm25: BM25Okapi | None = None

    def index(self, documents: list[str]):
        self.documents = documents

        # Semantic index
        response = self.client.embeddings.create(
            input=documents, model=self.model
        )
        vectors = sorted(response.data, key=lambda x: x.index)
        self.embeddings = np.array(
            [v.embedding for v in vectors], dtype=np.float32
        )

        # BM25 index
        tokenized_corpus = [tokenize(d) for d in documents]
        self.bm25 = BM25Okapi(tokenized_corpus)

    def search(
        self, query: str, k: int = 5,
        semantic_weight: float = 0.7,
        lexical_weight: float = 0.3
    ) -> list[dict]:
        # Semantic search
        query_emb = self.client.embeddings.create(
            input=query, model=self.model
        ).data[0].embedding
        sem_scores = self.embeddings @ np.array(query_emb)
        sem_ranking = [
            (i, float(sem_scores[i]))
            for i in np.argsort(sem_scores)[::-1]
        ]

        # Lexical search
        query_tokens = tokenize(query)
        lex_scores = self.bm25.get_scores(query_tokens)
        lex_ranking = [
            (i, float(lex_scores[i]))
            for i in np.argsort(lex_scores)[::-1]
        ]

        # RRF Fusion
        fused = reciprocal_rank_fusion(
            [sem_ranking, lex_ranking]
        )

        return [
            {
                "text": self.documents[doc_id],
                "rrf_score": score,
                "sem_score": float(sem_scores[doc_id]),
                "lex_score": float(lex_scores[doc_id]),
            }
            for doc_id, score in fused[:k]
        ]

# Usage
engine = HybridSearch()
engine.index([
    "Comment résoudre l'erreur 503 dans nginx",
    "Timeout et configuration du reverse proxy",
    "Guide d'installation nginx sur Ubuntu",
    "Diagnostiquer les problèmes de serveur web",
])

results = engine.search("erreur 503 nginx")
for r in results:
    print(f"RRF: {r['rrf_score']:.4f} | "
          f"Sem: {r['sem_score']:.3f} | "
          f"Lex: {r['lex_score']:.3f} | "
          f"{r['text']}")

Σε αυτό το σώμα κειμένου τεσσάρων εγγράφων, το άρθρο «nginx error 503» κυριαρχεί στη λεξική κατάταξη, ενώ τα «προβλήματα διακομιστή web» κυριαρχούν στη σημασιολογική· η συγχώνευση φέρνει και τα δύο στις τρεις πρώτες θέσεις, κάτι που καμία μέθοδος από μόνη της δεν θα πετύχαινε.

Εγγενής υβριδική αναζήτηση στο Weaviate

Εάν χρησιμοποιείτε ήδη το Weaviate, δεν χρειάζεται να γράψετε όλα τα παραπάνω: η βάση δεδομένων ενσωματώνει τη συγχώνευση και την εκθέτει σε ένα ενιαίο ερώτημα, με μια παράμετρο alpha που ισορροπεί τις δύο μηχανές—0 για καθαρά λεξική, 1 για καθαρά σημασιολογική.

import weaviate

wclient = weaviate.connect_to_local()
collection = wclient.collections.get("Document")

# Native hybrid search
results = collection.query.hybrid(
    query="erreur 503 nginx",
    alpha=0.7,  # 0 = pure lexical, 1 = pure semantic
    limit=5
)

for obj in results.objects:
    print(f"[{obj.metadata.score:.3f}] {obj.properties['texte']}")

Ένα alpha 0,7 είναι μια λογική αρχική τιμή, αλλά δεν είναι καθολική: ένα σώμα κειμένου πλούσιο σε τεχνικές αναφορές και κωδικούς σφαλμάτων ωφελείται από τη μείωση προς το 0,5, ενώ μια βάση γνώσεων γραμμένη σε απλή γλώσσα μπορεί να διαχειριστεί το 0,8. Ρυθμίστε αυτήν την παράμετρο μόνο έχοντας μπροστά σας ένα σύνολο αξιολόγησης—αυτό είναι ακριβώς το θέμα του επόμενου μαθήματος.

Βασικά σημεία

  • Η υβριδική αναζήτηση συνδυάζει τη σημασιολογική (νόημα) και τη λεξική (ακριβείς λέξεις)
  • Η Αντίστροφη Συγχώνευση Βαθμολογίας (RRF) συγχωνεύει αποτελεσματικά τις κατατάξεις
  • Η παράμετρος alpha ελέγχει την ισορροπία μεταξύ των δύο προσεγγίσεων
  • Το Weaviate προσφέρει εγγενώς υβριδική αναζήτηση