Iskanje po pomenu proti iskanju po ključnih besedah
Na tej strani
Cilji
- Razumevanje omejitev iskanja po ključnih besedah
- Odkrivanje, kako iskanje po pomenu rešuje te težave
- Implementacija preprostega iskanja po pomenu
Omejitve iskanja po ključnih besedah
Klasično iskanje – TF-IDF, BM25, Elasticsearch – temelji na leksikalnem ujemanju: išče točne besede iz poizvedbe znotraj dokumentov. Ta mehanizem je hiter, predvidljiv in popolnoma zanesljiv, dokler uporabnik uporablja isti besednjak kot dokumenti. Težava je v tem, da tega skoraj nikoli ne storijo.
Spodnji majhen komentirani korpus prikazuje štiri tipične situacije ob poizvedbi „how to feed a puppy” (kako hraniti kužka).
# Keyword search
query = "how to feed a puppy"
# ✅ Found: contains the same words
doc_a = "How to feed a 3-month-old puppy"
# ❌ Not found: different words, same meaning
doc_b = "Feeding the young dog"
# ❌ Not found: rephrasing
doc_c = "Dietary regimen for newborn puppies"
# ⚠️ False positive: same words, different meaning
doc_d = "How to feed a startup project like a puppy"
Pridobljen je le prvi dokument, čeprav drugi in tretji enako dobro odgovarjata na vprašanje. Še huje, četrti se uvrsti visoko zgolj zato, ker si deli besede s poizvedbo, čeprav obravnava poslovno upravljanje. Sopomenke, preoblikovanje in dvoumnost: leksikalno iskanje odpove pri vseh treh.
Iskanje po pomenu
Iskanje po pomenu primerja pomen besedil, ne njihovih besed. Korpus kodiraš enkrat za vselej, poizvedbo kodiraš ob njenem prihodu in dokumente razvrstiš po podobnosti.
from openai import OpenAI
import numpy as np
client = OpenAI()
def embed(text: str) -> np.ndarray:
response = client.embeddings.create(
input=text,
model="text-embedding-3-large"
)
return np.array(response.data[0].embedding)
# Corpus
documents = [
"How to feed a 3-month-old puppy",
"Feeding the young dog",
"Dietary regimen for newborn puppies",
"How to feed a startup project like a puppy",
"The basics of Italian cuisine",
]
# Index the corpus
corpus_embeddings = np.array([embed(doc) for doc in documents])
# Search
query = "how to feed a puppy"
query_embedding = embed(query)
# Calculate similarities
similarities = corpus_embeddings @ query_embedding
# Sort by relevance
results = sorted(
enumerate(similarities), key=lambda x: x[1], reverse=True
)
for idx, score in results:
print(f"{score:.4f} | {documents[idx]}")
Pričakovani rezultat:
0.9123 | How to feed a 3-month-old puppy
0.8756 | Dietary regimen for newborn puppies
0.8421 | Feeding the young dog
0.4532 | How to feed a startup project like a puppy
0.1245 | The basics of Italian cuisine
Trije ustrezni dokumenti zasedajo prva tri mesta kljub popolnoma drugačnemu formuliranju, lažno pozitivni rezultat pa pade na 0,45 – daleč pod pragom, ki bi ga uvrstil na vrh. Model je razumel, da „puppy” tu služi kot primerjava, ne kot subjekt.
Strukturirana primerjava
| Merilo | Ključne besede (BM25) | Pomen (vložitve/embeddings) |
|---|---|---|
| Sopomenke | ❌ Odpove | ✅ Deluje |
| Preoblikovanje | ❌ Odpove | ✅ Deluje |
| Večjezičnost | ❌ Nemogoče | ✅ Mogoče |
| Črkovne napake | ❌ Odpove | ✅ Tolerira |
| Točno ujemanje | ✅ Odlično | ⚠️ Včasih netočno |
| Lastna imena, kode | ✅ Odlično | ⚠️ Lahko zamenja |
| Hitrost (velik korpus) | ✅ Zelo hitro | ⚠️ Zahteva indeks |
| Strošek | ✅ Brezplačno | ⚠️ Klici API-ja |
Kdaj uporabiti katero?
Branje tabele ponuja preprosto pravilo: bližje kot je poizvedba identifikatorju, bolj primerno postane leksikalno iskanje. Referenco izdelka, kot je XR-4471-B, datum, točno kategorijo ali redko lastno ime bi moral iskati besedo za besedo; model vložitev (embedding) bo to referenco težko zamenjal s sosednjimi. To je tudi privzeta izbira, ko je korpus ogromen in je proračun za vložitve ničeln.
Iskanje po pomenu prevzame vodilno vlogo, takoj ko se uporabnik izraža v naravnem jeziku. Pogosta vprašanja (FAQ), podpora strankam, tehnična dokumentacija, ki jo uporabljajo nestrokovnjaki, večjezični korpus, kjer je vprašanje zastavljeno v francoščini, odgovor pa napisan v angleščini, ali celo nejasna, raziskovalna poizvedba: v vseh teh primerih je vrzel med uporabnikovim besednjakom in besednjakom dokumentov ravno tisto, kar vložitve znajo premostiti.
Ker sta ta dva profila bolj komplementarna kot tekmovalna, najboljši odziv pogosto sestoji iz združevanja obeh pristopov za pokrivanje vseh primerov. To je tema lekcije 9.
Implementacija celovitega iskanja po pomenu
V praksi encapsuliraš indeksiranje in poizvedbe v majhen razred. S tem se izogneš ponovnemu izračunavanju vektorjev korpusa za vsako poizvedbo – kar je najdražja napaka, ki jo delajo začetniki.
class SemanticSearch:
def __init__(self, model: str = "text-embedding-3-large"):
self.client = OpenAI()
self.model = model
self.documents: list[dict] = []
self.embeddings: np.ndarray | None = None
def index(self, documents: list[dict]):
"""Indexes a list of documents {id, text, ...}."""
self.documents = documents
texts = [d["text"] for d in documents]
response = self.client.embeddings.create(
input=texts,
model=self.model
)
vectors = sorted(response.data, key=lambda x: x.index)
self.embeddings = np.array(
[v.embedding for v in vectors], dtype=np.float32
)
def search(self, query: str, k: int = 5) -> list[dict]:
"""Searches for the k most relevant documents."""
query_emb = self.client.embeddings.create(
input=query,
model=self.model
).data[0].embedding
similarities = self.embeddings @ np.array(query_emb)
top_k = np.argsort(similarities)[-k:][::-1]
return [
{**self.documents[i], "score": float(similarities[i])}
for i in top_k
]
# Usage
engine = SemanticSearch()
engine.index([
{"id": 1, "text": "How to install Python on Windows"},
{"id": 2, "text": "Guide to configuring the Python environment"},
{"id": 3, "text": "The basics of the Python language"},
])
results = engine.search("set up Python on my PC")
for r in results:
print(f"[{r['score']:.3f}] {r['text']}")
Preizkusi ta pogon s poizvedbo „set up Python on my PC”: nobena od teh petih besed se ne pojavi v dokumentu 1, ki govori o „installing Python on Windows”. Kljub temu bi moral biti na prvem mestu. Nato spremeni poizvedbo tako, da govori o „configuring the environment”, in opazuj, kako se razvrstitev premakne na dokument 2 – zdaj imaš minimalno testno okolje za preverjanje obnašanja svojega indeksa, preden ga resno napolniš s podatki.
Ključne ugotovitve
- Iskanje po ključnih besedah odpove pri sopomenkah in preoblikovanju
- Iskanje po pomenu primerja pomen prek vložitev (embeddings)
- Vsak pristop ima svoje prednosti: hibridno iskanje združuje oba
- Preprost pogon za iskanje po pomenu lahko zgradiš v nekaj deset vrsticah kode