Semantinė paieška prieš raktinių žodžių paiešką
Šiame puslapyje
Tikslai
- Suprasti raktinių žodžių paieškos ribotumus
- Atrasti, kaip semantinė paieška išsprendžia šias problemas
- Įgyvendinti paprastą semantinę paiešką
Raktinių žodžių paieškos ribotumai
Klasikinė paieška – TF-IDF, BM25, Elasticsearch – remiasi leksiniu atitikimu: ji ieško tikslių užklausos žodžių dokumentuose. Šis mechanizmas yra greitas, nuspėjamas ir visiškai patikimas tol, kol vartotojas vartoja tą pačią žodyną kaip ir dokumentai. Problema ta, kad taip beveik niekada nebūna.
Žemiau pateiktame mažame komentuotame korpuse matyti keturios tipinės situacijos, kai užklausa yra „kaip maitinti šuniuką“.
# Keyword search
query = "how to feed a puppy"
# ✅ Found: contains the same words
doc_a = "How to feed a 3-month-old puppy"
# ❌ Not found: different words, same meaning
doc_b = "Feeding the young dog"
# ❌ Not found: rephrasing
doc_c = "Dietary regimen for newborn puppies"
# ⚠️ False positive: same words, different meaning
doc_d = "How to feed a startup project like a puppy"
Randamas tik pirmasis dokumentas, nors antrasis ir trečiasis atsako į klausimą taip pat gerai. Dar blogiau, ketvirtasis atsiduria aukštai sąraše vien todėl, kad dalijasi žodžiais su užklausa, nors jame kalbama apie verslo valdymą. Sinonimai, perfrazavimas ir dviprasmybės: leksinė paieška nepavyksta visais trim atvejais.
Semantinė paieška
Semantinė paieška lygina tekstų prasmę, o ne jų žodžius. Korpusą užkoduoji vieną kartą ir visiems laikams, užklausą koduoji jai atvykus ir dokumentus surikiuoji pagal panašumą.
from openai import OpenAI
import numpy as np
client = OpenAI()
def embed(text: str) -> np.ndarray:
response = client.embeddings.create(
input=text,
model="text-embedding-3-large"
)
return np.array(response.data[0].embedding)
# Corpus
documents = [
"How to feed a 3-month-old puppy",
"Feeding the young dog",
"Dietary regimen for newborn puppies",
"How to feed a startup project like a puppy",
"The basics of Italian cuisine",
]
# Index the corpus
corpus_embeddings = np.array([embed(doc) for doc in documents])
# Search
query = "how to feed a puppy"
query_embedding = embed(query)
# Calculate similarities
similarities = corpus_embeddings @ query_embedding
# Sort by relevance
results = sorted(
enumerate(similarities), key=lambda x: x[1], reverse=True
)
for idx, score in results:
print(f"{score:.4f} | {documents[idx]}")
Laukiamas rezultatas:
0.9123 | How to feed a 3-month-old puppy
0.8756 | Dietary regimen for newborn puppies
0.8421 | Feeding the young dog
0.4532 | How to feed a startup project like a puppy
0.1245 | The basics of Italian cuisine
Trys aktualūs dokumentai užima pirmąsias tris vietas nepaisant visiškai skirtingos formuluotės, o klaidingai teigiamas rezultatas nukrenta iki 0,45 – gerokai žemiau ribos, kuri leistų jam patekti į viršūnę. Modelis suprato, kad šiuo atveju „šuniukas“ naudojamas kaip palyginimas, o ne kaip pagrindinis objektas.
Struktūruotas palyginimas
| Kriterijus | Raktiniai žodžiai (BM25) | Semantinė (įterpiniai) |
|---|---|---|
| Sinonimai | ❌ Nepavyksta | ✅ Veikia |
| Perfrazavimas | ❌ Nepavyksta | ✅ Veikia |
| Daugiakalbiškumas | ❌ Neįmanoma | ✅ Įmanoma |
| Rašybos klaidos | ❌ Nepavyksta | ✅ Toleruoja |
| Tikslus atitikimas | ✅ Puikus | ⚠️ Kartais netikslus |
| Tikriniai daiktavardžiai, kodai | ✅ Puikus | ⚠️ Gali supainioti |
| Greitis (didelis korpusas) | ✅ Labai greitas | ⚠️ Reikia indekso |
| Kaina | ✅ Nemokama | ⚠️ API užklausos |
Kada ką naudoti?
Perskaičius lentelę tampa aiški paprasta taisyklė: kuo užklausa labiau panaši į identifikatorių, tuo tinkamesnė tampa leksinė paieška. Produkto nuorodą, pavyzdžiui, XR-4471-B, datą, tikslią kategoriją ar retą tikrinį daiktavardį reikia ieškoti žodis žodin; įterpinių modelis linkęs supainioti tą nuorodą su jos kaimynais. Tai taip pat yra numatytasis pasirinkimas, kai korpusas yra milžiniškas, o įterpinių biudžetas lygus nuliui.
Semantinė paieška perima iniciatyvą, kai vartotojas reiškiasi natūralia kalba. DUK, klientų aptarnavimas, techninė dokumentacija, kurią naudoja ne specialistai, daugiakalbis korpusas, kuriame klausimas užduodamas prancūziškai, o atsakymas parašytas angliškai, ar net neaiški, tyrinėjamoji užklausa: visais šiais atvejais tarpas tarp vartotojo žodyno ir dokumentų žodyno yra būtent tai, ką įterpiniai moka užpildyti.
Kadangi šie du profiliai yra papildomi, o ne konkuruojantys, geriausias sprendimas dažnai yra abiejų metodų derinimas, kad būtų aprėpti visi atvejai. Tai bus aptarta 9 pamokoje.
Pilnos semantinės paieškos įgyvendinimas
Praktiškai indeksavimą ir užklausų vykdymą apgaubi maža klase. Tai leidžia išvengti korpuso vektorių perskaičiavimo kiekvienai užklausai – tai dažniausia pradedančiųjų daroma brangi klaida.
class SemanticSearch:
def __init__(self, model: str = "text-embedding-3-large"):
self.client = OpenAI()
self.model = model
self.documents: list[dict] = []
self.embeddings: np.ndarray | None = None
def index(self, documents: list[dict]):
"""Indexes a list of documents {id, text, ...}."""
self.documents = documents
texts = [d["text"] for d in documents]
response = self.client.embeddings.create(
input=texts,
model=self.model
)
vectors = sorted(response.data, key=lambda x: x.index)
self.embeddings = np.array(
[v.embedding for v in vectors], dtype=np.float32
)
def search(self, query: str, k: int = 5) -> list[dict]:
"""Searches for the k most relevant documents."""
query_emb = self.client.embeddings.create(
input=query,
model=self.model
).data[0].embedding
similarities = self.embeddings @ np.array(query_emb)
top_k = np.argsort(similarities)[-k:][::-1]
return [
{**self.documents[i], "score": float(similarities[i])}
for i in top_k
]
# Usage
engine = SemanticSearch()
engine.index([
{"id": 1, "text": "How to install Python on Windows"},
{"id": 2, "text": "Guide to configuring the Python environment"},
{"id": 3, "text": "The basics of the Python language"},
])
results = engine.search("set up Python on my PC")
for r in results:
print(f"[{r['score']:.3f}] {r['text']}")
Išbandyk šią sistemą su užklausa „set up Python on my PC“: nė vienas iš šių penkių žodžių nepasirodo pirmajame dokumente, kuriame kalbama apie „Python diegimą sistemoje Windows“. Visgi jis turėtų būti pirmoje vietoje. Tada pakeisk užklausą taip, kad ji kalbėtų apie „aplinkos konfigūravimą“, ir stebėk, kaip reitingas pasislenka į antrąjį dokumentą – dabar turi minimalų testavimo stendą, kad patikrintum savo indekso elgseną prieš pradėdamas jį rimtai pildyti.
Svarbiausi punktai
- Raktinių žodžių paieška nepavyksta naudojant sinonimus ir perfrazavimą
- Semantinė paieška lygina prasmę naudodama įterpinius
- Kiekvienas metodas turi savo privalumų: hibridinė paieška sujungia abu
- Paprastą semantinę variklį galima sukurti per kelias dešimtis eilučių