Meklēšana pēc nozīmes pret atslēgvārdu meklēšanu
Šajā lapā
Mērķi
- Izprast atslēgvārdu meklēšanas ierobežojumus
- Uzzināt, kā meklēšana pēc nozīmes atrisina šīs problēmas
- Ieviest vienkāršu meklēšanu pēc nozīmes
Atslēgvārdu meklēšanas robežas
Klasiskā meklēšana — TF-IDF, BM25, Elasticsearch — balstās uz leksikālo saskaņošanu: tā meklē precīzus vārdus no vaicājuma dokumentos. Šis mehānisms ir ātrs, paredzams un pilnīgi uzticams, kamēr lietotājs lieto to pašu vārdu krājumu kā dokumenti. Problēma ir tā, ka tā gandrīz nekad nenotiek.
Zemāk esošais mazais komentētais korpuss parāda četras tipiskas situācijas, saskaroties ar vaicājumu „kā barot kucēnu”.
# Keyword search
query = "how to feed a puppy"
# ✅ Found: contains the same words
doc_a = "How to feed a 3-month-old puppy"
# ❌ Not found: different words, same meaning
doc_b = "Feeding the young dog"
# ❌ Not found: rephrasing
doc_c = "Dietary regimen for newborn puppies"
# ⚠️ False positive: same words, different meaning
doc_d = "How to feed a startup project like a puppy"
Tiek atrasts tikai pirmais dokuments, lai gan otrais un trešais atbild uz jautājumu tikpat labi. Vēl sliktāk, ceturtais tiek augstu rangots tikai tāpēc, ka tas dalās ar vārdiem ar vaicājumu, lai gan tas apspriež uzņēmējdarbības vadību. Sinonīmi, pārfrazējumi un neskaidrība: leksikālā meklēšana izgāžas visos trīs gadījumos.
Meklēšana pēc nozīmes
Meklēšana pēc nozīmes salīdzina tekstu nozīmi, nevis to vārdus. Tu kodē korpusu vienreiz un uz visiem laikiem, kodē vaicājumu, kad tas ierodas, un rangē dokumentus pēc līdzības.
from openai import OpenAI
import numpy as np
client = OpenAI()
def embed(text: str) -> np.ndarray:
response = client.embeddings.create(
input=text,
model="text-embedding-3-large"
)
return np.array(response.data[0].embedding)
# Corpus
documents = [
"How to feed a 3-month-old puppy",
"Feeding the young dog",
"Dietary regimen for newborn puppies",
"How to feed a startup project like a puppy",
"The basics of Italian cuisine",
]
# Index the corpus
corpus_embeddings = np.array([embed(doc) for doc in documents])
# Search
query = "how to feed a puppy"
query_embedding = embed(query)
# Calculate similarities
similarities = corpus_embeddings @ query_embedding
# Sort by relevance
results = sorted(
enumerate(similarities), key=lambda x: x[1], reverse=True
)
for idx, score in results:
print(f"{score:.4f} | {documents[idx]}")
Paredzamais rezultāts:
0.9123 | How to feed a 3-month-old puppy
0.8756 | Dietary regimen for newborn puppies
0.8421 | Feeding the young dog
0.4532 | How to feed a startup project like a puppy
0.1245 | The basics of Italian cuisine
Trīs atbilstošie dokumenti ieņem pirmās trīs vietas, neskatoties uz pilnīgi atšķirīgu formulējumu, un viltus pozitīvais rezultāts nokrītas līdz 0,45 — tālu zem sliekšņa, kas to paceltu augšgalā. Modelis saprata, ka „kucēns” šeit kalpo kā salīdzinājums, nevis ir temats.
Strukturēts salīdzinājums
| Kritērijs | Atslēgvārdi (BM25) | Pēc nozīmes (iegulstījumi) |
|---|---|---|
| Sinonīmi | ❌ Neizdodas | ✅ Strādā |
| Pārfrazējums | ❌ Neizdodas | ✅ Strādā |
| Daudzvalodu | ❌ Neiespējami | ✅ Iespējams |
| Pareizrakstības kļūdas | ❌ Neizdodas | ✅ Pieļauj |
| Precīza sakritība | ✅ Lieliski | ⚠️ Dažreiz neprecīzi |
| Īpašvārdi, kodi | ✅ Lieliski | ⚠️ Var sajaukt |
| Ātrums (liels korpuss) | ✅ Ļoti ātri | ⚠️ Nepieciešams indekss |
| Izmaksas | ✅ Bezmaksas | ⚠️ API izsaukumi |
Kad ko lietot?
Lasot tabulu, izriet vienkāršs likums: jo tuvāk vaicājums ir identifikatoram, jo piemērotāka kļūst leksikālā meklēšana. Produkta atsauce, piemēram, XR-4471-B, datums, precīza kategorija vai rets īpašvārds ir jāmeklē vārds vārdā; iegulstījumu modelis mēdz sajaukt šo atsauksi ar tās kaimiņiem. Tas ir arī noklusējuma izvēles variants, kad korpuss ir milzīgs un iegulstījumu budžets ir nulle.
Meklēšana pēc nozīmes pārņem vadību, tiklīdz lietotājs izsaka sevi dabiskā valodā. BUJ, klientu atbalsts, tehniskā dokumentācija, ko konsultē nespeciālisti, daudzvalodu korpuss, kur jautājums uzdots franču valodā, bet atbilde rakstīta angļu valodā, vai pat neskaidrs, izpētes rakstura vaicājums: visos šajos gadījumos tieši atšķirība starp lietotāja vārdu krājumu un dokumentu vārdu krājumu ir tas, ko iegulstījumi prot pārvarēt.
Tā kā šie divi profili ir papildinoši, nevis konkurējoši, labākā atbilde bieži vien sastāv no abu pieeju apvienošanas, lai aptvertu visus gadījumus. Par to stāsta 9. nodarbība.
Pilnīgas meklēšanas pēc nozīmes ieviešana
Praksē tu ietver indeksēšanu un vaicājumus nelielā klasē. Tas izvairās no korpusa vektoru pārrēķināšanas katram vaicājumam — tā ir visdārgākā kļūda, ko iesācēji pieļauj.
class SemanticSearch:
def __init__(self, model: str = "text-embedding-3-large"):
self.client = OpenAI()
self.model = model
self.documents: list[dict] = []
self.embeddings: np.ndarray | None = None
def index(self, documents: list[dict]):
"""Indexes a list of documents {id, text, ...}."""
self.documents = documents
texts = [d["text"] for d in documents]
response = self.client.embeddings.create(
input=texts,
model=self.model
)
vectors = sorted(response.data, key=lambda x: x.index)
self.embeddings = np.array(
[v.embedding for v in vectors], dtype=np.float32
)
def search(self, query: str, k: int = 5) -> list[dict]:
"""Searches for the k most relevant documents."""
query_emb = self.client.embeddings.create(
input=query,
model=self.model
).data[0].embedding
similarities = self.embeddings @ np.array(query_emb)
top_k = np.argsort(similarities)[-k:][::-1]
return [
{**self.documents[i], "score": float(similarities[i])}
for i in top_k
]
# Usage
engine = SemanticSearch()
engine.index([
{"id": 1, "text": "How to install Python on Windows"},
{"id": 2, "text": "Guide to configuring the Python environment"},
{"id": 3, "text": "The basics of the Python language"},
])
results = engine.search("set up Python on my PC")
for r in results:
print(f"[{r['score']:.3f}] {r['text']}")
Izmēģini šo dzinēju ar vaicājumu „set up Python on my PC”: neviens no šiem pieciem vārdiem neparādās 1. dokumentā, kurā runāts par „Python instalēšanu sistēmā Windows”. Tomēr tam vajadzētu būt pirmajā vietā. Tad modificē vaicājumu, lai tas runātu par „vides konfigurēšanu”, un vēro, kā rangs mainās uz 2. dokumentu — tagad tev ir minimāls testa stends, lai pārbaudītu sava indeksa darbību pirms tā nopietnas aizpildīšanas.
Galvenās atziņas
- Atslēgvārdu meklēšana izgāžas ar sinonīmiem un pārfrazējumiem
- Meklēšana pēc nozīmes salīdzina nozīmi, izmantojot iegulstījumus
- Katrai pieejai ir savas stiprās puses: hibrīda meklēšana apvieno abas
- Vienkāršu meklēšanas dzinēju pēc nozīmes var izveidot dažās desmitās kodu rindās