Cuardach seimeantach vs. cuardach eochairfhocal
Ar an leathanach seo
Cuspóirí
- Tuiscint a fháil ar theorainneacha an chuardaigh eochairfhocal
- Fionnachtain conas a réitíonn cuardach seimeantach na fadhbanna sin
- Cuardach seimeantach simplí a chur i bhfeidhm
Teorainneacha an chuardaigh eochairfhocal
Braitheann an cuardach clasaiceach—TF-IDF, BM25, Elasticsearch—ar mheaitseáil léacsach: cuardaíonn sé na focail chruanna ón gceist laistigh de na doiciméid. Tá an mheicníocht seo tapa, intuartha, agus iontaofa go hiomlán fad is a úsáideann an t-úsáideoir an stór focal céanna leis na doiciméid. Is é an fhadhb ná nach ndéanann siad beagnach riamh amhlaidh.
Taispeánann an corpas beag tráchtara thíos na ceithre chás tipiciúla nuair a bhíonn tú os comhair na ceiste “conas coileán a bheathú”.
# Keyword search
query = "how to feed a puppy"
# ✅ Found: contains the same words
doc_a = "How to feed a 3-month-old puppy"
# ❌ Not found: different words, same meaning
doc_b = "Feeding the young dog"
# ❌ Not found: rephrasing
doc_c = "Dietary regimen for newborn puppies"
# ⚠️ False positive: same words, different meaning
doc_d = "How to feed a startup project like a puppy"
Ní fhaightear ach an chéad doiciméad, cé go bhfuil an dara ceann agus an tríú ceann ag freagairt na ceiste chomh maith céanna. Is measa fós, rangaitheann an ceathrú ceann go hard toisc go roinneann sé focail leis an gceist, cé go bhfuil sé ag plé le bainistíocht gnó. Comhchiallaigh, athfhrású, agus débhríoch: teipeann ar chuardach léacsach ar na trí cinn.
Cuardach seimeantach
Déanann cuardach seimeantach comparáid idir brí téacsanna, ní idir a bhfocail. Ionchódaíonn tú an corpas uair amháin agus go deo, ionchódaíonn tú an cheist nuair a thagann sí, agus déanann tú rangú ar na doiciméid de réir cosúlachta.
from openai import OpenAI
import numpy as np
client = OpenAI()
def embed(text: str) -> np.ndarray:
response = client.embeddings.create(
input=text,
model="text-embedding-3-large"
)
return np.array(response.data[0].embedding)
# Corpus
documents = [
"How to feed a 3-month-old puppy",
"Feeding the young dog",
"Dietary regimen for newborn puppies",
"How to feed a startup project like a puppy",
"The basics of Italian cuisine",
]
# Index the corpus
corpus_embeddings = np.array([embed(doc) for doc in documents])
# Search
query = "how to feed a puppy"
query_embedding = embed(query)
# Calculate similarities
similarities = corpus_embeddings @ query_embedding
# Sort by relevance
results = sorted(
enumerate(similarities), key=lambda x: x[1], reverse=True
)
for idx, score in results:
print(f"{score:.4f} | {documents[idx]}")
Toradh ionchais:
0.9123 | How to feed a 3-month-old puppy
0.8756 | Dietary regimen for newborn puppies
0.8421 | Feeding the young dog
0.4532 | How to feed a startup project like a puppy
0.1245 | The basics of Italian cuisine
Líonann na trí dhoiciméad ábhartha na trí phointe barr in ainneoin frásaíochtaí atá go hiomlán difriúil, agus titann an toradh bréagach dearfach go 0.45—i bhfad faoin tairseach a thabharfadh go barr é. Thuig an tsamhail go bhfuil “coileán” in úsáid mar chomparáid anseo, ní mar ábhar.
Comparáid struchtúrtha
| Critéar | Eochairfhocail (BM25) | Seimeantach (leabaithe) |
|---|---|---|
| Comhchiallaigh | ❌ Teipeann | ✅ Oibríonn |
| Athfhrású | ❌ Teipeann | ✅ Oibríonn |
| Ilteangach | ❌ Dodhéanta | ✅ Indéanta |
| Botúin litrithe | ❌ Teipeann | ✅ Fulaingíonn |
| Meaitseáil cruinn | ✅ Ar fheabhas | ⚠️ Uaireanta míchruinn |
| Ainmneacha dílse, cóid | ✅ Ar fheabhas | ⚠️ Féadfaidh mearbhall a chruthú |
| Luas (corpas mór) | ✅ An-tapa | ⚠í Éilíonn innéacs |
| Costas | ✅ Saor in aisce | ⚠️ Glaochanna API |
Cathain a úsáidfidh tú ceann amháin seachas an ceann eile?
Tugann an tábla riail shimplí: dá gharaí atá ceist d’aitheantóir, is ea is oiriúnaí a éiríonn an cuardach léacsach. Ba chóir tagairt táirge cosúil le XR-4471-B, dáta, catagóir chruinn, nó ainm dílse annamh a chuardach focal ar fhocal; beidh claonadh ag samhail leabaithe an tagairt sin a mheascadh lena comharsana. Is é seo an rogha réamhshocraithe freisin nuair atá an corpas ollmhór agus nuair atá buiséad na leabaithe cothrom le nialas.
Glacann cuardach seimeantach an chéim chun tosaigh luaithe agus a chuireann an t-úsáideoir in iúl é féin i ngnáththeanga. Ceistneoir (FAQ), tacaíocht do chustaiméirí, doiciméadú teicniúil arna chomhairliú ag neamh-shaineolaithe, corpas ilteangach ina bhfuil an cheist curtha i bhFraincis agus an freagra scríofa i mBéarla, nó fiú ceist doiléir, taiscéalaitheach: sna cásanna seo go léir, is é an bhearna idir stór focal an úsáideora agus stór focal na ndoiciméad go díreach an rud a bhfuil a fhios ag leabaithe conas a dhroichead.
Ós rud é go bhfuil an dá phróifíl seo comhlántach seachas iomaíoch, is minic gurb é an freagra is fearr ná an dá chur chuige a chomhcheangal chun gach cás a chlúdach. Sin ábhar Cheacht 9.
Cuardach seimeantach iomlán a chur i bhfeidhm
Go praiticiúil, cuimsíonn tú innéacsú agus ceistiú i rang beag. Seachnaíonn sé seo na veicteoirí corpais a ríomh arís do gach ceist—an botún is costasaí a dhéanann tosaitheoirí.
class SemanticSearch:
def __init__(self, model: str = "text-embedding-3-large"):
self.client = OpenAI()
self.model = model
self.documents: list[dict] = []
self.embeddings: np.ndarray | None = None
def index(self, documents: list[dict]):
"""Indexes a list of documents {id, text, ...}."""
self.documents = documents
texts = [d["text"] for d in documents]
response = self.client.embeddings.create(
input=texts,
model=self.model
)
vectors = sorted(response.data, key=lambda x: x.index)
self.embeddings = np.array(
[v.embedding for v in vectors], dtype=np.float32
)
def search(self, query: str, k: int = 5) -> list[dict]:
"""Searches for the k most relevant documents."""
query_emb = self.client.embeddings.create(
input=query,
model=self.model
).data[0].embedding
similarities = self.embeddings @ np.array(query_emb)
top_k = np.argsort(similarities)[-k:][::-1]
return [
{**self.documents[i], "score": float(similarities[i])}
for i in top_k
]
# Usage
engine = SemanticSearch()
engine.index([
{"id": 1, "text": "How to install Python on Windows"},
{"id": 2, "text": "Guide to configuring the Python environment"},
{"id": 3, "text": "The basics of the Python language"},
])
results = engine.search("set up Python on my PC")
for r in results:
print(f"[{r['score']:.3f}] {r['text']}")
Déan tástáil ar an inneall seo leis an gceist “set up Python on my PC”: ní fheictear aon cheann de na cúig fhocal seo i ndoiciméad 1, a bhfuil sé ag caint faoi “Python a shuiteáil ar Windows”. Ach ba chóir dó a bheith ar an gcéad áit. Ansin, athraigh an cheist chun labhairt faoi “timpeallacht a chumrú” agus féach ar an rangú ag aistriú go doiciméad 2—tá binse tástála íosta agat anois chun iompar d’inneacs a fhíorú sula líonann tú go dáiríre é.
Príomhphointí
- Teipeann ar chuardach eochairfhocal le comhchiallaigh agus athfhrású
- Déanann cuardach seimeantach comparáid idir brí trí leabaithe
- Tá laigí ag gach cur chuige: comhcheanglaíonn cuardach hibrideach an dá cheann
- Is féidir inneall seimeantach simplí a thógáil i roinnt línte dosaen