Pretraživanje po značenju nasuprot pretraživanju po ključnim riječima
Na ovoj stranici
Ciljevi
- Razumjeti ograničenja pretraživanja po ključnim riječima
- Otkriti kako pretraživanje po značenju rješava te probleme
- Implementirati jednostavno pretraživanje po značenju
Ograničenja pretraživanja po ključnim riječima
Klasično pretraživanje—TF-IDF, BM25, Elasticsearch—oslanja se na leksičko podudaranje: traži točne riječi iz upita unutar dokumenata. Taj je mehanizam brz, predvidljiv i savršeno pouzdan sve dok korisnik upotrebljava isti rječnik kao i dokumenti. Problem je u tome što to gotovo nikada ne čine.
Mali komentirani korpus u nastavku prikazuje četiri tipične situacije pri suočavanju s upitom “how to feed a puppy”.
# Keyword search
query = "how to feed a puppy"
# ✅ Found: contains the same words
doc_a = "How to feed a 3-month-old puppy"
# ❌ Not found: different words, same meaning
doc_b = "Feeding the young dog"
# ❌ Not found: rephrasing
doc_c = "Dietary regimen for newborn puppies"
# ⚠️ False positive: same words, different meaning
doc_d = "How to feed a startup project like a puppy"
Pronađen je samo prvi dokument, iako drugi i treći jednako dobro odgovaraju na pitanje. Još gore, četvrti se visoko rangira isključivo zato što dijeli riječi s upitom, iako raspravlja o upravljanju poslovanjem. Sinonimi, parafraziranje i dvosmislenost: leksičko pretraživanje zatajuje u sve tri situacije.
Pretraživanje po značenju
Pretraživanje po značenju uspoređuje značenje tekstova, a ne njihove riječi. Korpus kodiraš jednom zauvijek, upit kodiraš kada stigne, a dokumente rangiraš prema sličnosti.
from openai import OpenAI
import numpy as np
client = OpenAI()
def embed(text: str) -> np.ndarray:
response = client.embeddings.create(
input=text,
model="text-embedding-3-large"
)
return np.array(response.data[0].embedding)
# Corpus
documents = [
"How to feed a 3-month-old puppy",
"Feeding the young dog",
"Dietary regimen for newborn puppies",
"How to feed a startup project like a puppy",
"The basics of Italian cuisine",
]
# Index the corpus
corpus_embeddings = np.array([embed(doc) for doc in documents])
# Search
query = "how to feed a puppy"
query_embedding = embed(query)
# Calculate similarities
similarities = corpus_embeddings @ query_embedding
# Sort by relevance
results = sorted(
enumerate(similarities), key=lambda x: x[1], reverse=True
)
for idx, score in results:
print(f"{score:.4f} | {documents[idx]}")
Očekivani rezultat:
0.9123 | How to feed a 3-month-old puppy
0.8756 | Dietary regimen for newborn puppies
0.8421 | Feeding the young dog
0.4532 | How to feed a startup project like a puppy
0.1245 | The basics of Italian cuisine
Tri relevantna dokumenta zauzimaju prva tri mjesta unatoč potpuno drugačijem formuliranju, a lažno pozitivan rezultat pada na 0,45—znatno ispod praga koji bi ga izbacio na vrh. Model je shvatio da „puppy“ ovdje služi kao usporedba, a ne kao subjekt.
Strukturirana usporedba
| Kriterij | Ključne riječi (BM25) | Semantičko (ugradnje) |
|---|---|---|
| Sinonimi | ❌ Zatajuje | ✅ Radi |
| Parafraziranje | ❌ Zatajuje | ✅ Radi |
| Višejezičnost | ❌ Nemoguće | ✅ Moguće |
| Pravopisne pogreške | ❌ Zatajuje | ✅ Tolerira |
| Točno podudaranje | ✅ Izvrsno | ⚠️ Ponekad neprecizno |
| Vlastita imena, kodovi | ✅ Izvrsno | ⚠️ Može zbuniti |
| Brzina (veliki korpus) | ✅ Vrlo brzo | ⚠️ Zahtijeva indeks |
| Trošak | ✅ Besplatno | ⚠️ API pozivi |
Kada što koristiti?
Čitanjem tablice dobivaš jednostavno pravilo: što je upit bliži identifikatoru, to je leksičko pretraživanje prikladnije. Referencu na proizvod poput XR-4471-B, datum, točnu kategoriju ili rijetko vlastito ime treba tražiti riječ-po-riječ; model ugradnji težit će zbunjivanju te reference s njezinim susjedima. To je također zadani izbor kada je korpus golem, a budžet za ugradnje jednak nuli.
Pretraživanje po značenju preuzima vodstvo čim se korisnik izražava prirodnim jezikom. Često postavljana pitanja (FAQ), korisnička podrška, tehnička dokumentacija koju konzultiraju nestručnjaci, višejezični korpus gdje je pitanje postavljeno na francuskom, a odgovor napisan na engleskom, pa čak i nejasan, istraživački upit: u svim tim slučajevima, jaz između korisnikova rječnika i rječnika dokumenata upravo je ono što ugradnje znaju premostiti.
Budući da su ta dva profila komplementarna, a ne konkurentska, najbolji odgovor često se sastoji od kombiniranja obaju pristupa kako bi se pokrili svi slučajevi. To je tema Lekcije 9.
Implementacija potpunog pretraživanja po značenju
U praksi indeksiranje i upite encapsuliraš u malu klasu. Time izbjegavaš ponovno izračunavanje vektora korpusa za svaki upit—najskuplju pogrešku koju početnici čine.
class SemanticSearch:
def __init__(self, model: str = "text-embedding-3-large"):
self.client = OpenAI()
self.model = model
self.documents: list[dict] = []
self.embeddings: np.ndarray | None = None
def index(self, documents: list[dict]):
"""Indexes a list of documents {id, text, ...}."""
self.documents = documents
texts = [d["text"] for d in documents]
response = self.client.embeddings.create(
input=texts,
model=self.model
)
vectors = sorted(response.data, key=lambda x: x.index)
self.embeddings = np.array(
[v.embedding for v in vectors], dtype=np.float32
)
def search(self, query: str, k: int = 5) -> list[dict]:
"""Searches for the k most relevant documents."""
query_emb = self.client.embeddings.create(
input=query,
model=self.model
).data[0].embedding
similarities = self.embeddings @ np.array(query_emb)
top_k = np.argsort(similarities)[-k:][::-1]
return [
{**self.documents[i], "score": float(similarities[i])}
for i in top_k
]
# Usage
engine = SemanticSearch()
engine.index([
{"id": 1, "text": "How to install Python on Windows"},
{"id": 2, "text": "Guide to configuring the Python environment"},
{"id": 3, "text": "The basics of the Python language"},
])
results = engine.search("set up Python on my PC")
for r in results:
print(f"[{r['score']:.3f}] {r['text']}")
Isprobaj ovaj motor s upitom “set up Python on my PC”: nijedna od ovih pet riječi ne pojavljuje se u dokumentu 1, koji govori o „installing Python on Windows“. Ipak, on bi trebao biti prvi na rang-listi. Zatim izmijeni upit da govori o „configuring the environment“ i promatraj kako se rangiranje pomiče na dokument 2—sada imaš minimalno testno okruženje za provjeru ponašanja svog indeksa prije nego što ga ozbiljno popuniš podacima.
Ključne točke
- Pretraživanje po ključnim riječima zatajuje kod sinonima i parafraziranja
- Pretraživanje po značenju uspoređuje značenje putem ugradnji
- Svaki pristup ima svoje prednosti: hibridno pretraživanje kombinira oba
- Jednostavan semantički motor može se izgraditi u nekoliko desetaka redaka