Semantiline otsing vs märksõnaotsing
Sellel lehel
Eesmärgid
- Mõista märksõnaotsingu piiranguid
- Avastada, kuidas semantiline otsing need probleemid lahendab
- Rakendada lihtsat semantilist otsingut
Märksõnaotsingu piirangud
Klassikaline otsing – TF-IDF, BM25, Elasticsearch – tugineb leksikaalsele sobitamisele: see otsib päringus olevaid täpseid sõnu dokumentidest. See mehhanism on kiire, ennustatav ja täiuslikult usaldusväärne nii kaua, kui kasutaja kasutab sama sõnavara kui dokumendid. Probleem on selles, et nad peaaegu kunagi ei tee seda.
Allpool olev väike kommenteeritud korpus näitab nelja tüüpilist olukorda päringu „kuidas toita kutsikat“ puhul.
# Keyword search
query = "how to feed a puppy"
# ✅ Found: contains the same words
doc_a = "How to feed a 3-month-old puppy"
# ❌ Not found: different words, same meaning
doc_b = "Feeding the young dog"
# ❌ Not found: rephrasing
doc_c = "Dietary regimen for newborn puppies"
# ⚠️ False positive: same words, different meaning
doc_d = "How to feed a startup project like a puppy"
Leitakse ainult esimene dokument, kuigi teine ja kolmas vastavad küsimusele sama hästi. Halvem on see, et neljas tõuseb kõrgele üksnes seetõttu, et jagab päringuga sõnu, kuigi tegelikult käsitleb see ärijuhtimist. Sünonüümid, ümber sõnastamine ja mitmetähenduslikkus: leksikaalne otsing ebaõnnestub kõigis kolmes.
Semantiline otsing
Semantiline otsing võrdleb tekstide tähendust, mitte nende sõnu. Kodeerid korpuse üks kord ja igaveseks, kodeerid päringu selle saabumisel ja järjestad dokumendid sarnasuse alusel.
from openai import OpenAI
import numpy as np
client = OpenAI()
def embed(text: str) -> np.ndarray:
response = client.embeddings.create(
input=text,
model="text-embedding-3-large"
)
return np.array(response.data[0].embedding)
# Corpus
documents = [
"How to feed a 3-month-old puppy",
"Feeding the young dog",
"Dietary regimen for newborn puppies",
"How to feed a startup project like a puppy",
"The basics of Italian cuisine",
]
# Index the corpus
corpus_embeddings = np.array([embed(doc) for doc in documents])
# Search
query = "how to feed a puppy"
query_embedding = embed(query)
# Calculate similarities
similarities = corpus_embeddings @ query_embedding
# Sort by relevance
results = sorted(
enumerate(similarities), key=lambda x: x[1], reverse=True
)
for idx, score in results:
print(f"{score:.4f} | {documents[idx]}")
Oodatav tulemus:
0.9123 | How to feed a 3-month-old puppy
0.8756 | Dietary regimen for newborn puppies
0.8421 | Feeding the young dog
0.4532 | How to feed a startup project like a puppy
0.1245 | The basics of Italian cuisine
Kolm asjakohast dokumenti hõivavad esikolmiku, hoolimata täiesti erinevast sõnastusest, ja valepositiivne tulemus langeb tasemele 0,45 – kaugele alla lävest, mis tooks selle tippu. Mudel sai aru, et „kutsikas“ toimib siin võrdlusena, mitte teemana.
Struktureeritud võrdlus
| Kriterium | Märksõnad (BM25) | Semantiline (manused) |
|---|---|---|
| Sünonüümid | ❌ Ebaõnnestub | ✅ Töötab |
| Ümber sõnastamine | ❌ Ebaõnnestub | ✅ Töötab |
| Mitmekeelsus | ❌ Võimatu | ✅ Võimalik |
| Õigekirjavead | ❌ Ebaõnnestub | ✅ Talub |
| Täpne vaste | ✅ Suurepärane | ⚠️ Mõnikord ebatäpne |
| Pärisnimed, koodid | ✅ Suurepärane | ⚠️ Võib segadusse ajada |
| Kiirus (suur korpus) | ✅ Väga kiire | ⚠️ Nõuab indeksit |
| Kulud | ✅ Tasuta | ⚠️ API päringud |
Millal kumba kasutada?
Tabeli lugemine annab lihtsa reegli: mida lähemal on päring identifikaatorile, seda sobivamaks muutub leksikaalne otsing. Toote viidet nagu XR-4471-B, kuupäeva, täpset kategooriat või haruldast pärisnime tuleks otsida sõna-sõnalt; manuste mudel kipub selle viite segamini ajama selle naabritega. See on ka vaikimisi valik, kui korpus on tohutu ja manuste eelarve on null.
Semantiline otsing võtab juhtohjad enda kätte niipea, kui kasutaja väljendab end loomulikus keeles. KKK, klienditugi, mittespetsialistide vaadatud tehniline dokumentatsioon, mitmekeelne korpus, kus küsimus on esitatud prantsuse keeles ja vastus kirjutatud inglise keeles, või isegi ebamäärane, uuriv päring: kõigil neil juhtudel on lõhe kasutaja sõnavara ja dokumentide sõnavara vahel täpselt see, mida manused oskavad ületada.
Kuna need kaks profiili on pigem täiendavad kui konkureerivad, seisneb parim lahendus sageli mõlema lähenemisviisi kombineerimises, et katta kõik juhtumid. Sellest räägime 9. tunnis.
Täieliku semantilise otsingu rakendamine
Praktikas kapseldad indekseerimise ja päringud väikesesse klassi. See hoiab ära korpuse vektorite ümberarvutamise iga päringu jaoks – kõige kulukama vea, mida algajad teevad.
class SemanticSearch:
def __init__(self, model: str = "text-embedding-3-large"):
self.client = OpenAI()
self.model = model
self.documents: list[dict] = []
self.embeddings: np.ndarray | None = None
def index(self, documents: list[dict]):
"""Indexes a list of documents {id, text, ...}."""
self.documents = documents
texts = [d["text"] for d in documents]
response = self.client.embeddings.create(
input=texts,
model=self.model
)
vectors = sorted(response.data, key=lambda x: x.index)
self.embeddings = np.array(
[v.embedding for v in vectors], dtype=np.float32
)
def search(self, query: str, k: int = 5) -> list[dict]:
"""Searches for the k most relevant documents."""
query_emb = self.client.embeddings.create(
input=query,
model=self.model
).data[0].embedding
similarities = self.embeddings @ np.array(query_emb)
top_k = np.argsort(similarities)[-k:][::-1]
return [
{**self.documents[i], "score": float(similarities[i])}
for i in top_k
]
# Usage
engine = SemanticSearch()
engine.index([
{"id": 1, "text": "How to install Python on Windows"},
{"id": 2, "text": "Guide to configuring the Python environment"},
{"id": 3, "text": "The basics of the Python language"},
])
results = engine.search("set up Python on my PC")
for r in results:
print(f"[{r['score']:.3f}] {r['text']}")
Testi seda mootorit päringuga „set up Python on my PC“: ükski neist viiest sõnast ei esine dokumendis 1, mis räägib „Pythoni installimisest Windowsi“. Ometi peaks see olema esikohal. Seejärel muuda päringut, et rääkida „keskkonna konfigureerimisest“, ja vaata, kuidas järjestus nihkub dokumendile 2 – nüüd on sul minimaalne testpink, et kontrollida oma indeksi käitumist enne selle tõsist täitmist.
Peamised punktid
- Märksõnaotsing ebaõnnestub sünonüümide ja ümber sõnastamise korral
- Semantiline otsing võrdleb tähendust manuste kaudu
- Igal lähenemisviisil on oma tugevused: hübriidotsing ühendab mõlemad
- Lihtsa semantilise mootori saab ehitada mõne tosina reaga