Vyhľadávanie podľa významu vs. vyhľadávanie podľa kľúčových slov
Na tejto strane
Ciele
- Pochopiť obmedzenia vyhľadávania podľa kľúčových slov
- Objaviť, ako vyhľadávanie podľa významu rieši tieto problémy
- Implementovať jednoduché vyhľadávanie podľa významu
Obmedzenia vyhľadávania podľa kľúčových slov
Klasické vyhľadávanie – TF-IDF, BM25, Elasticsearch – sa spolieha na lexikálnu zhodu: hľadá presné slová z dotazu v dokumentoch. Tento mechanizmus je rýchly, predvídateľný a úplne spoľahlivý, pokiaľ používateľ používa rovnakú slovnú zásobu ako dokumenty. Problém je, že to takmer nikdy nerobí.
Malý komentovaný korpus nižšie ukazuje štyri typické situácie pri dotaze „ako kŕmiť šteniatko“.
# Keyword search
query = "how to feed a puppy"
# ✅ Found: contains the same words
doc_a = "How to feed a 3-month-old puppy"
# ❌ Not found: different words, same meaning
doc_b = "Feeding the young dog"
# ❌ Not found: rephrasing
doc_c = "Dietary regimen for newborn puppies"
# ⚠️ False positive: same words, different meaning
doc_d = "How to feed a startup project like a puppy"
Načíta sa iba prvý dokument, hoci druhý a tretí odpovedajú na otázku rovnako dobre. Ešte horšie je, že štvrtý sa umiestni vysoko len preto, že zdieľa slová s dotazom, hoci sa týka riadenia podnikania. Synonymá, preformulovanie a nejednoznačnosť: lexikálne vyhľadávanie zlyháva vo všetkých troch prípadoch.
Vyhľadávanie podľa významu
Vyhľadávanie podľa významu porovnáva význam textov, nie ich slová. Korpus zakóduješ raz a navždy, dotaz zakóduješ v momente príchodu a dokumenty zoradíš podľa podobnosti.
from openai import OpenAI
import numpy as np
client = OpenAI()
def embed(text: str) -> np.ndarray:
response = client.embeddings.create(
input=text,
model="text-embedding-3-large"
)
return np.array(response.data[0].embedding)
# Corpus
documents = [
"How to feed a 3-month-old puppy",
"Feeding the young dog",
"Dietary regimen for newborn puppies",
"How to feed a startup project like a puppy",
"The basics of Italian cuisine",
]
# Index the corpus
corpus_embeddings = np.array([embed(doc) for doc in documents])
# Search
query = "how to feed a puppy"
query_embedding = embed(query)
# Calculate similarities
similarities = corpus_embeddings @ query_embedding
# Sort by relevance
results = sorted(
enumerate(similarities), key=lambda x: x[1], reverse=True
)
for idx, score in results:
print(f"{score:.4f} | {documents[idx]}")
Očakávaný výsledok:
0.9123 | How to feed a 3-month-old puppy
0.8756 | Dietary regimen for newborn puppies
0.8421 | Feeding the young dog
0.4532 | How to feed a startup project like a puppy
0.1245 | The basics of Italian cuisine
Tri relevantné dokumenty obsadia prvé tri miesta napriek úplne odlišnému formulovaniu a falošne pozitívny výsledok klesne na 0,45 – čo je hlboko pod prahom, ktorý by ho dostal na vrchol. Model pochopil, že „šteniatko“ tu slúži ako prirovnanie, nie ako predmet diskusie.
Štruktúrované porovnanie
| Kritérium | Kľúčové slová (BM25) | Sémantika (embeddings) |
|---|---|---|
| Synonymá | ❌ Zlyháva | ✅ Funguje |
| Preformulovanie | ❌ Zlyháva | ✅ Funguje |
| Viacjazyčnosť | ❌ Nemožné | ✅ Možné |
| Preklepy | ❌ Zlyháva | ✅ Toleruje |
| Presná zhoda | ✅ Výborná | ⚠️ Niekedy nepresná |
| Vlastné mená, kódy | ✅ Výborná | ⚠️ Môže si pliesť |
| Rýchlosť (veľký korpus) | ✅ Veľmi rýchle | ⚠️ Vyžaduje index |
| Náklady | ✅ Zadarmo | ⚠️ Volania API |
Kedy použiť ktoré?
Čítanie tabuľky dáva jednoduché pravidlo: čím bližšie je dotaz k identifikátoru, tým vhodnejšie sa stáva lexikálne vyhľadávanie. Referenčné číslo produktu ako XR-4471-B, dátum, presná kategória alebo zriedkavé vlastné meno by sa mali vyhľadávať slovo od slova; model embeddings má tendenciu pliesť si tento odkaz s jeho okolím. Je to tiež predvolená voľba, keď je korpus obrovský a rozpočet na embeddings je nulový.
Vyhľadávanie podľa významu preberá vedenie hneď, ako sa používateľ vyjadruje prirodzeným jazykom. FAQ, zákaznícka podpora, technická dokumentácia konzultovaná neodborníkmi, viacjazyčný korpus, kde je otázka položená vo francúzštine a odpoveď napísaná v angličtine, alebo dokonca vágny, prieskumný dotaz: vo všetkých týchto prípadoch je rozdiel medzi slovnou zásobou používateľa a dokumentov presne to, čo embeddings vedia premostiť.
Keďže tieto dva profily sa skôr dopĺňajú než súťažia, najlepšia odpoveď často spočíva v kombinácii oboch prístupov, aby sa pokryli všetky prípady. To je predmetom Lekcie 9.
Implementácia kompletného sémantického vyhľadávania
V praxi zapuzdriš indexovanie a dotazovanie do malej triedy. Tým sa vyhneš prepočítavaniu vektorov korpusu pre každý dotaz – čo je najnákladnejšia chyba, ktorú začiatočníci robia.
class SemanticSearch:
def __init__(self, model: str = "text-embedding-3-large"):
self.client = OpenAI()
self.model = model
self.documents: list[dict] = []
self.embeddings: np.ndarray | None = None
def index(self, documents: list[dict]):
"""Indexes a list of documents {id, text, ...}."""
self.documents = documents
texts = [d["text"] for d in documents]
response = self.client.embeddings.create(
input=texts,
model=self.model
)
vectors = sorted(response.data, key=lambda x: x.index)
self.embeddings = np.array(
[v.embedding for v in vectors], dtype=np.float32
)
def search(self, query: str, k: int = 5) -> list[dict]:
"""Searches for the k most relevant documents."""
query_emb = self.client.embeddings.create(
input=query,
model=self.model
).data[0].embedding
similarities = self.embeddings @ np.array(query_emb)
top_k = np.argsort(similarities)[-k:][::-1]
return [
{**self.documents[i], "score": float(similarities[i])}
for i in top_k
]
# Usage
engine = SemanticSearch()
engine.index([
{"id": 1, "text": "How to install Python on Windows"},
{"id": 2, "text": "Guide to configuring the Python environment"},
{"id": 3, "text": "The basics of the Python language"},
])
results = engine.search("set up Python on my PC")
for r in results:
print(f"[{r['score']:.3f}] {r['text']}")
Otestuj tento engine s dotazom „set up Python on my PC“: žiadne z týchto piatich slov sa nenachádza v dokumente 1, ktorý hovorí o „inštalácii Pythonu na Windows“. Napriek tomu by mal byť na prvom mieste. Potom uprav dotaz tak, aby sa týkal „konfigurácie prostredia“, a sleduj, ako sa poradie posunie k dokumentu 2 – teraz máš minimálny testovací stánok na overenie správania svojho indexu pred tým, než ho vážne naplníš.
Kľúčové poznatky
- Vyhľadávanie podľa kľúčových slov zlyháva pri synonymách a preformulovaní
- Vyhľadávanie podľa významu porovnáva význam pomocou embeddings
- Každý prístup má svoje silné stránky: hybridné vyhľadávanie kombinuje obe
- Jednoduchý sémantický engine možno vytvoriť v niekoľkých desiatkach riadkov