Cuardach hibrideach (seimeantach + léacsach)
Ar an leathanach seo
Cuspóirí
- Tuiscint a fháil ar an tábhacht a bhaineann le cuardach seimeantach agus léacsach a chomhcheangal
- Cuardach hibrideach a chur i bhfeidhm ag baint úsáide as Cumasc Ranganna Comhthreomhara (Reciprocal Rank Fusion)
- Cuardach hibrideach a úsáid i mbunachair shonraí veicteoireacha
An fhadhb: níl aon chur chuige amháin foirfe
Bíonn an lámh in uachtar ag cuardach seimeantach nuair a bhíonn comhchiallaigh i gceist, ach is minic a fhágann sé téarmaí teicniúla cruinne ar lár; déanann cuardach léacsach an rud céanna go díreach a mhalairt. Breathnaigh ar cheist riarthóra córais, “nginx error 503”, agus féach conas a oibríonn an dá inneall i gcoinne bonn eolais doiciméadaithe teicniúla.
# Query: "nginx error 503"
# Semantic → finds "web server issues" (good) but misses "code 503" (missed)
# Lexical → finds "nginx error 503" exactly (good) but misses "reverse proxy timeout" (missed)
# Hybrid → finds both ✅
Tuigeann cuardach seimeantach go mbaineann sé seo le teagmhas freastalaí agus nochtann sé ailt ghinearálta, ach éalaíonn an uimhir 503 uaidh: do mhúnla leabaithe, is dhá uimhir trí dhigit iad 503 agus 504 atá gar go seimeantach, cé go léiríonn siad cliseadh éagsúla. Faigheann cuardach léacsach an cód cruinn ach cailleann sé an t-alt ar amanna teorainn seachfhreastalaí (reverse proxy timeouts), a thugann cur síos go minic ar an bhfréamhchúis. Ní thugann ceachtar modh ar leithligh an leathanach torthaí ceart; is é an t-aontas eatarthu a dhéanann é.
Cuardach léacsach le BM25
Is é BM25 an t-algartam caighdeánach le haghaidh cuardach eochairfhocal. Meáchan sé gach téarma bunaithe ar a neamhchoitiantacht sa chorpas agus ar a mhinicíocht sa doiciméad, ag cur téarmaí idirdhealaitheacha cosúil le “503” nó “nginx” chun tosaigh go nádúrtha. Mar sin féin, caithfidh tú comharthaí glana a bheathú isteach ann: déanann an fheidhm tokenaithe téacs a íoschásáil, focail a eastósctar, agus focail stoptha Fhraincise a bhaint, nach gcuireann aon chomhartha ábharthachta leis.
from rank_bm25 import BM25Okapi
import re
def tokenize(text: str) -> list[str]:
"""Simple tokenization for French."""
text = text.lower()
tokens = re.findall(r"\b\w+\b", text)
# Remove common stop words
stop_words = {"le", "la", "les", "de", "du", "des", "un", "une",
"et", "ou", "est", "dans", "pour", "avec", "sur"}
return [t for t in tokens if t not in stop_words]
documents = [
"Comment résoudre l'erreur 503 dans nginx",
"Configuration du reverse proxy avec timeout",
"Guide d'installation de nginx sur Ubuntu",
"Les bases de la cuisine française",
]
# Index with BM25
tokenized_corpus = [tokenize(doc) for doc in documents]
bm25 = BM25Okapi(tokenized_corpus)
# Search
query_tokens = tokenize("erreur 503 nginx")
bm25_scores = bm25.get_scores(query_tokens)
for i, score in enumerate(bm25_scores):
print(f"BM25 {score:.3f} | {documents[i]}")
Cumasc Ranganna Comhthreomhara (RRF)
Anois, ní mór duit an dá rangú a chomhcheangal, rud atá níos deacra ná mar a cheapann tú: bíonn scór comhshínis idir 0 agus 1, ach níl aon uasteorainn le scór BM25. Dá gcuirfí iad le chéile go díreach, bheadh an lámh in uachtar ag BM25 ar an gcomhartha seimeantach. Seachnaíonn RRF é seo trí neamhaird a dhéanamh ar scóir amha agus gan ach ranganna a choinneáil: faigheann gach doiciméad 1 / (k + rank) i ngach liosta, agus suimíonn tú na ranníocaíochtaí seo. Mar sin, buaileann doiciméad a bhfuil dea-rangú aige i ngach áit ar dhoiciméad a bhfuil barr feabhais air i liosta amháin.
def reciprocal_rank_fusion(
result_lists: list[list[tuple[int, float]]],
k: int = 60
) -> list[tuple[int, float]]:
"""Fuses multiple result lists using RRF.
Args:
result_lists: list of lists of (doc_id, score)
k: RRF constant (60 is standard)
"""
fused_scores: dict[int, float] = {}
for results in result_lists:
for rank, (doc_id, _) in enumerate(results):
if doc_id not in fused_scores:
fused_scores[doc_id] = 0.0
fused_scores[doc_id] += 1.0 / (k + rank + 1)
# Sort by score descending
return sorted(
fused_scores.items(),
key=lambda x: x[1],
reverse=True
)
Tá an tairiseach k, a shocraítear go coitianta ar 60 bunaithe ar an litríocht, ann chun an bhearna idir na chéad phosicióní a mhaolú: gan é, bheadh meáchan dhá oiread níos mó ag an gcéad rangú ná ag an dara ceann, rud a dhéanfadh an cumasc ró-íogair do dhifríochtaí beaga rangaithe.
Píblíne hibrideach iomlán
Coinníonn an rang thíos an dá innéacs ar siúl go comhthreomhar ar an gcorpas céanna, ritheann sé an dá chuardach ar gach ceist, agus cumascaíonn sé na ranguithe. Tugann sé scóir aonair ar ais freisin—mionsonra luachmhar le linn tiúnadh, ós rud é go léiríonn comparáid eatarthu cé acu inneall a thug tacaíocht do thoradh ar leith.
from openai import OpenAI
from rank_bm25 import BM25Okapi
import numpy as np
class HybridSearch:
def __init__(self, model: str = "text-embedding-3-large"):
self.client = OpenAI()
self.model = model
self.documents: list[str] = []
self.embeddings: np.ndarray | None = None
self.bm25: BM25Okapi | None = None
def index(self, documents: list[str]):
self.documents = documents
# Semantic index
response = self.client.embeddings.create(
input=documents, model=self.model
)
vectors = sorted(response.data, key=lambda x: x.index)
self.embeddings = np.array(
[v.embedding for v in vectors], dtype=np.float32
)
# BM25 index
tokenized_corpus = [tokenize(d) for d in documents]
self.bm25 = BM25Okapi(tokenized_corpus)
def search(
self, query: str, k: int = 5,
semantic_weight: float = 0.7,
lexical_weight: float = 0.3
) -> list[dict]:
# Semantic search
query_emb = self.client.embeddings.create(
input=query, model=self.model
).data[0].embedding
sem_scores = self.embeddings @ np.array(query_emb)
sem_ranking = [
(i, float(sem_scores[i]))
for i in np.argsort(sem_scores)[::-1]
]
# Lexical search
query_tokens = tokenize(query)
lex_scores = self.bm25.get_scores(query_tokens)
lex_ranking = [
(i, float(lex_scores[i]))
for i in np.argsort(lex_scores)[::-1]
]
# RRF Fusion
fused = reciprocal_rank_fusion(
[sem_ranking, lex_ranking]
)
return [
{
"text": self.documents[doc_id],
"rrf_score": score,
"sem_score": float(sem_scores[doc_id]),
"lex_score": float(lex_scores[doc_id]),
}
for doc_id, score in fused[:k]
]
# Usage
engine = HybridSearch()
engine.index([
"Comment résoudre l'erreur 503 dans nginx",
"Timeout et configuration du reverse proxy",
"Guide d'installation nginx sur Ubuntu",
"Diagnostiquer les problèmes de serveur web",
])
results = engine.search("erreur 503 nginx")
for r in results:
print(f"RRF: {r['rrf_score']:.4f} | "
f"Sem: {r['sem_score']:.3f} | "
f"Lex: {r['lex_score']:.3f} | "
f"{r['text']}")
Ar an gcorpas ceithre dhoiciméad seo, bíonn an lámh in uachtar ag an alt “nginx error 503” sa rangú léacsach, agus bíonn an lámh in uachtar ag “web server issues” sa rangú seimeantach; tugann an cumasc an dá cheann isteach sna trí cinn is fearr, rud nach bhféadfadh ceachtar modh a bhaint amach leis féin.
Cuardach hibrideach dúchasach in Weaviate
Má úsáideann tú Weaviate cheana féin, ní gá duit an méid seo go léir a scríobh: déanann an bunachar sonraí an cumasc a chomhtháthú agus nochtann sé é in aon cheist amháin, le paraiméadar alpha a chothromaíonn an dá inneall—0 le haghaidh léacsach íonghlán, 1 le haghaidh seimeantach íonghlán.
import weaviate
wclient = weaviate.connect_to_local()
collection = wclient.collections.get("Document")
# Native hybrid search
results = collection.query.hybrid(
query="erreur 503 nginx",
alpha=0.7, # 0 = pure lexical, 1 = pure semantic
limit=5
)
for obj in results.objects:
print(f"[{obj.metadata.score:.3f}] {obj.properties['texte']}")
Is pointe tosaigh réasúnach é alpha de 0.7, ach níl sé uilíoch: tairbhíonn corpas atá saibhir i dtagairtí teicniúla agus i gcóid earráide ó bheith ag titim i dtreo 0.5, agus is féidir le bonn eolais atá scríofa i ngnáththeanga déileáil le 0.8. Níor chóir duit an sleamhnán seo a thiúnadh ach amháin agus tacar meastóireachta os do chomhair—sin go díreach ábhar na chéad cheachta eile.
Príomhphointí
- Comhcheanglaíonn cuardach hibrideach seimeantach (brí) agus léacsach (focail chruinne)
- Déanann Cumasc Ranganna Comhthreomhara (RRF) ranguithe a chumasc go héifeachtach
- Rialaíonn an paraiméadar
alphaan chothromaíocht idir an dá chur chuige - Tairgeann Weaviate cuardach hibrideach go dúchasach