Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Iskanje po pomenu proti iskanju po ključnih besedah

Lekcija 6 od 22 Posodobljeno 29. julij 2026 Razvijalec
Na tej strani
  1. Cilji
  2. Omejitve iskanja po ključnih besedah
  3. Iskanje po pomenu
  4. Strukturirana primerjava
  5. Kdaj uporabiti katero?
  6. Implementacija celovitega iskanja po pomenu
  7. Ključne ugotovitve

Cilji

  • Razumevanje omejitev iskanja po ključnih besedah
  • Odkrivanje, kako iskanje po pomenu rešuje te težave
  • Implementacija preprostega iskanja po pomenu

Omejitve iskanja po ključnih besedah

Klasično iskanje – TF-IDF, BM25, Elasticsearch – temelji na leksikalnem ujemanju: išče točne besede iz poizvedbe znotraj dokumentov. Ta mehanizem je hiter, predvidljiv in popolnoma zanesljiv, dokler uporabnik uporablja isti besednjak kot dokumenti. Težava je v tem, da tega skoraj nikoli ne storijo.

Spodnji majhen komentirani korpus prikazuje štiri tipične situacije ob poizvedbi „how to feed a puppy” (kako hraniti kužka).

# Keyword search
query = "how to feed a puppy"

# ✅ Found: contains the same words
doc_a = "How to feed a 3-month-old puppy"

# ❌ Not found: different words, same meaning
doc_b = "Feeding the young dog"

# ❌ Not found: rephrasing
doc_c = "Dietary regimen for newborn puppies"

# ⚠️ False positive: same words, different meaning
doc_d = "How to feed a startup project like a puppy"

Pridobljen je le prvi dokument, čeprav drugi in tretji enako dobro odgovarjata na vprašanje. Še huje, četrti se uvrsti visoko zgolj zato, ker si deli besede s poizvedbo, čeprav obravnava poslovno upravljanje. Sopomenke, preoblikovanje in dvoumnost: leksikalno iskanje odpove pri vseh treh.

Iskanje po pomenu

Iskanje po pomenu primerja pomen besedil, ne njihovih besed. Korpus kodiraš enkrat za vselej, poizvedbo kodiraš ob njenem prihodu in dokumente razvrstiš po podobnosti.

from openai import OpenAI
import numpy as np

client = OpenAI()

def embed(text: str) -> np.ndarray:
    response = client.embeddings.create(
        input=text,
        model="text-embedding-3-large"
    )
    return np.array(response.data[0].embedding)

# Corpus
documents = [
    "How to feed a 3-month-old puppy",
    "Feeding the young dog",
    "Dietary regimen for newborn puppies",
    "How to feed a startup project like a puppy",
    "The basics of Italian cuisine",
]

# Index the corpus
corpus_embeddings = np.array([embed(doc) for doc in documents])

# Search
query = "how to feed a puppy"
query_embedding = embed(query)

# Calculate similarities
similarities = corpus_embeddings @ query_embedding

# Sort by relevance
results = sorted(
    enumerate(similarities), key=lambda x: x[1], reverse=True
)

for idx, score in results:
    print(f"{score:.4f} | {documents[idx]}")

Pričakovani rezultat:

0.9123 | How to feed a 3-month-old puppy
0.8756 | Dietary regimen for newborn puppies
0.8421 | Feeding the young dog
0.4532 | How to feed a startup project like a puppy
0.1245 | The basics of Italian cuisine

Trije ustrezni dokumenti zasedajo prva tri mesta kljub popolnoma drugačnemu formuliranju, lažno pozitivni rezultat pa pade na 0,45 – daleč pod pragom, ki bi ga uvrstil na vrh. Model je razumel, da „puppy” tu služi kot primerjava, ne kot subjekt.

Strukturirana primerjava

MeriloKljučne besede (BM25)Pomen (vložitve/embeddings)
Sopomenke❌ Odpove✅ Deluje
Preoblikovanje❌ Odpove✅ Deluje
Večjezičnost❌ Nemogoče✅ Mogoče
Črkovne napake❌ Odpove✅ Tolerira
Točno ujemanje✅ Odlično⚠️ Včasih netočno
Lastna imena, kode✅ Odlično⚠️ Lahko zamenja
Hitrost (velik korpus)✅ Zelo hitro⚠️ Zahteva indeks
Strošek✅ Brezplačno⚠️ Klici API-ja

Kdaj uporabiti katero?

Branje tabele ponuja preprosto pravilo: bližje kot je poizvedba identifikatorju, bolj primerno postane leksikalno iskanje. Referenco izdelka, kot je XR-4471-B, datum, točno kategorijo ali redko lastno ime bi moral iskati besedo za besedo; model vložitev (embedding) bo to referenco težko zamenjal s sosednjimi. To je tudi privzeta izbira, ko je korpus ogromen in je proračun za vložitve ničeln.

Iskanje po pomenu prevzame vodilno vlogo, takoj ko se uporabnik izraža v naravnem jeziku. Pogosta vprašanja (FAQ), podpora strankam, tehnična dokumentacija, ki jo uporabljajo nestrokovnjaki, večjezični korpus, kjer je vprašanje zastavljeno v francoščini, odgovor pa napisan v angleščini, ali celo nejasna, raziskovalna poizvedba: v vseh teh primerih je vrzel med uporabnikovim besednjakom in besednjakom dokumentov ravno tisto, kar vložitve znajo premostiti.

Ker sta ta dva profila bolj komplementarna kot tekmovalna, najboljši odziv pogosto sestoji iz združevanja obeh pristopov za pokrivanje vseh primerov. To je tema lekcije 9.

Implementacija celovitega iskanja po pomenu

V praksi encapsuliraš indeksiranje in poizvedbe v majhen razred. S tem se izogneš ponovnemu izračunavanju vektorjev korpusa za vsako poizvedbo – kar je najdražja napaka, ki jo delajo začetniki.

class SemanticSearch:
    def __init__(self, model: str = "text-embedding-3-large"):
        self.client = OpenAI()
        self.model = model
        self.documents: list[dict] = []
        self.embeddings: np.ndarray | None = None

    def index(self, documents: list[dict]):
        """Indexes a list of documents {id, text, ...}."""
        self.documents = documents
        texts = [d["text"] for d in documents]

        response = self.client.embeddings.create(
            input=texts,
            model=self.model
        )

        vectors = sorted(response.data, key=lambda x: x.index)
        self.embeddings = np.array(
            [v.embedding for v in vectors], dtype=np.float32
        )

    def search(self, query: str, k: int = 5) -> list[dict]:
        """Searches for the k most relevant documents."""
        query_emb = self.client.embeddings.create(
            input=query,
            model=self.model
        ).data[0].embedding

        similarities = self.embeddings @ np.array(query_emb)
        top_k = np.argsort(similarities)[-k:][::-1]

        return [
            {**self.documents[i], "score": float(similarities[i])}
            for i in top_k
        ]

# Usage
engine = SemanticSearch()
engine.index([
    {"id": 1, "text": "How to install Python on Windows"},
    {"id": 2, "text": "Guide to configuring the Python environment"},
    {"id": 3, "text": "The basics of the Python language"},
])

results = engine.search("set up Python on my PC")
for r in results:
    print(f"[{r['score']:.3f}] {r['text']}")

Preizkusi ta pogon s poizvedbo „set up Python on my PC”: nobena od teh petih besed se ne pojavi v dokumentu 1, ki govori o „installing Python on Windows”. Kljub temu bi moral biti na prvem mestu. Nato spremeni poizvedbo tako, da govori o „configuring the environment”, in opazuj, kako se razvrstitev premakne na dokument 2 – zdaj imaš minimalno testno okolje za preverjanje obnašanja svojega indeksa, preden ga resno napolniš s podatki.

Ključne ugotovitve

  • Iskanje po ključnih besedah odpove pri sopomenkah in preoblikovanju
  • Iskanje po pomenu primerja pomen prek vložitev (embeddings)
  • Vsak pristop ima svoje prednosti: hibridno iskanje združuje oba
  • Preprost pogon za iskanje po pomenu lahko zgradiš v nekaj deset vrsticah kode