Хибридно търсене (семантично + лексикално)
На тази страница
Цели
- Да разберете защо комбинирането на семантично и лексикално търсене е важно
- Да внедрите хибридно търсене, използвайки Reciprocal Rank Fusion (RRF)
- Да използвате хибридно търсене във векторни бази данни
Проблемът: няма перфектен единичен подход
Семантичното търсене се справя отлично със синонимите, но може да пропусне точни технически термини; лексикалното търсене прави точно обратното. Разгледайте заявката на системен администратор „nginx error 503“ и наблюдавайте как двата двигателя се държат спрямо база от техническа документация.
# Query: "nginx error 503"
# Semantic → finds "web server issues" (good) but misses "code 503" (missed)
# Lexical → finds "nginx error 503" exactly (good) but misses "reverse proxy timeout" (missed)
# Hybrid → finds both ✅
Семантичното търсене разбира, че това се отнася до инцидент със сървъра, и показва общи статии, но числото 503 му убягва: за модел на вграждане 503 и 504 са просто две трицифрени числа, семантично близки, въпреки че обозначават различни прекъсвания. Лексикалното търсене извлича точния код, но пропуска статията за таймаути на обратния прокси, която често описва основната причина. Нито един метод поотделно не връща правилната страница с резултати; тяхното обединение го прави.
Лексикално търсене с BM25
BM25 е стандартният алгоритъм за търсене по ключови думи. Той претегля всеки термин въз основа на неговата рядкост в корпуса и честотата му в документа, като естествено извежда дискриминиращи термини като „503“ или „nginx“. Трябва обаче да му подадете чисти токени: функцията за токенизиране превръща текста в малки букви, извлича думите и премахва френските стоп-думи, които не добавят сигнал за релевантност.
from rank_bm25 import BM25Okapi
import re
def tokenize(text: str) -> list[str]:
"""Simple tokenization for French."""
text = text.lower()
tokens = re.findall(r"\b\w+\b", text)
# Remove common stop words
stop_words = {"le", "la", "les", "de", "du", "des", "un", "une",
"et", "ou", "est", "dans", "pour", "avec", "sur"}
return [t for t in tokens if t not in stop_words]
documents = [
"Comment résoudre l'erreur 503 dans nginx",
"Configuration du reverse proxy avec timeout",
"Guide d'installation de nginx sur Ubuntu",
"Les bases de la cuisine française",
]
# Index with BM25
tokenized_corpus = [tokenize(doc) for doc in documents]
bm25 = BM25Okapi(tokenized_corpus)
# Search
query_tokens = tokenize("erreur 503 nginx")
bm25_scores = bm25.get_scores(query_tokens)
for i, score in enumerate(bm25_scores):
print(f"BM25 {score:.3f} | {documents[i]}")
Reciprocal Rank Fusion (RRF)
Сега трябва да комбинирате двете класации, което е по-сложно, отколкото изглежда: косинусовата оценка е между 0 и 1, докато оценката на BM25 няма горна граница. Директното им събиране би позволило на BM25 да заглуши семантичния сигнал. RRF заобикаля това, като игнорира суровите оценки и запазва само класациите: всеки документ получава 1 / (k + rank) във всеки списък и Вие сумирате тези приноси. Така документ, който се класира добре навсякъде, побеждава документ, който блести само в един списък.
def reciprocal_rank_fusion(
result_lists: list[list[tuple[int, float]]],
k: int = 60
) -> list[tuple[int, float]]:
"""Fuses multiple result lists using RRF.
Args:
result_lists: list of lists of (doc_id, score)
k: RRF constant (60 is standard)
"""
fused_scores: dict[int, float] = {}
for results in result_lists:
for rank, (doc_id, _) in enumerate(results):
if doc_id not in fused_scores:
fused_scores[doc_id] = 0.0
fused_scores[doc_id] += 1.0 / (k + rank + 1)
# Sort by score descending
return sorted(
fused_scores.items(),
key=lambda x: x[1],
reverse=True
)
Константата k, конвенционално зададена на 60 въз основа на литературата, омекотява разликата между първите позиции: без нея първият ранг тежи два пъти повече от втория, което прави сливането твърде чувствително към малки разлики в класирането.
Пълен хибриден конвейер
Класът по-долу поддържа двата индекса паралелно върху един и същ корпус, изпълнява и двете търсения за всяка заявка и обединява класациите. Той също така връща индивидуални оценки – ценна подробност по време на настройка, тъй като сравняването им показва кой двигател е допринесъл за даден резултат.
from openai import OpenAI
from rank_bm25 import BM25Okapi
import numpy as np
class HybridSearch:
def __init__(self, model: str = "text-embedding-3-large"):
self.client = OpenAI()
self.model = model
self.documents: list[str] = []
self.embeddings: np.ndarray | None = None
self.bm25: BM25Okapi | None = None
def index(self, documents: list[str]):
self.documents = documents
# Semantic index
response = self.client.embeddings.create(
input=documents, model=self.model
)
vectors = sorted(response.data, key=lambda x: x.index)
self.embeddings = np.array(
[v.embedding for v in vectors], dtype=np.float32
)
# BM25 index
tokenized_corpus = [tokenize(d) for d in documents]
self.bm25 = BM25Okapi(tokenized_corpus)
def search(
self, query: str, k: int = 5,
semantic_weight: float = 0.7,
lexical_weight: float = 0.3
) -> list[dict]:
# Semantic search
query_emb = self.client.embeddings.create(
input=query, model=self.model
).data[0].embedding
sem_scores = self.embeddings @ np.array(query_emb)
sem_ranking = [
(i, float(sem_scores[i]))
for i in np.argsort(sem_scores)[::-1]
]
# Lexical search
query_tokens = tokenize(query)
lex_scores = self.bm25.get_scores(query_tokens)
lex_ranking = [
(i, float(lex_scores[i]))
for i in np.argsort(lex_scores)[::-1]
]
# RRF Fusion
fused = reciprocal_rank_fusion(
[sem_ranking, lex_ranking]
)
return [
{
"text": self.documents[doc_id],
"rrf_score": score,
"sem_score": float(sem_scores[doc_id]),
"lex_score": float(lex_scores[doc_id]),
}
for doc_id, score in fused[:k]
]
# Usage
engine = HybridSearch()
engine.index([
"Comment résoudre l'erreur 503 dans nginx",
"Timeout et configuration du reverse proxy",
"Guide d'installation nginx sur Ubuntu",
"Diagnostiquer les problèmes de serveur web",
])
results = engine.search("erreur 503 nginx")
for r in results:
print(f"RRF: {r['rrf_score']:.4f} | "
f"Sem: {r['sem_score']:.3f} | "
f"Lex: {r['lex_score']:.3f} | "
f"{r['text']}")
В този корпус от четири документа статията „nginx error 503“ доминира в лексикалната класация, докато „web server issues“ доминира в семантичната; сливането ги вкарва и двете в топ 3, нещо, което нито един метод не би постигнал сам.
Нативно хибридно търсене в Weaviate
Ако вече използвате Weaviate, не е нужно да пишете всичко това: базата данни интегрира сливането и го излага в една единствена заявка, с параметър alpha, който балансира двата двигателя – 0 за чисто лексикално, 1 за чисто семантично.
import weaviate
wclient = weaviate.connect_to_local()
collection = wclient.collections.get("Document")
# Native hybrid search
results = collection.query.hybrid(
query="erreur 503 nginx",
alpha=0.7, # 0 = pure lexical, 1 = pure semantic
limit=5
)
for obj in results.objects:
print(f"[{obj.metadata.score:.3f}] {obj.properties['texte']}")
Стойност на alpha от 0.7 е разумна отправна точка, но тя не е универсална: корпус, богат на технически препратки и кодове за грешки, има полза от намаляване към 0.5, докато база от знания, написана на обикновен език, може да справи с 0.8. Настройвайте този плъзгач само когато имате пред себе си набор за оценка – това е точно темата на следващия урок.
Ключови изводи
- Хибридното търсене комбинира семантично (смисъл) и лексикално (точни думи)
- Reciprocal Rank Fusion (RRF) ефективно обединява класациите
- Параметърът
alphaконтролира баланса между двата подхода - Weaviate предлага хибридно търсене нативно