Tfittxija semantika vs. tfittxija b'kliem ewlieni
F'din il-paġna
Għanijiet
- Fehem il-limitazzjonijiet tat-tfittxija b’kliem ewlieni
- Skopri kif it-tfittxija semantika ssolvi dawn il-problemi
- Implimenta tfittxija semantika sempliċi
Il-limiti tat-tfittxija b’kliem ewlieni
It-tfittxija klassika—TF-IDF, BM25, Elasticsearch—tiddependi fuq it-tqabbil lessikali: tfittex il-kliem eżatt mill-mistoqsija fid-dokumenti. Dan il-mekkaniżmu huwa mgħaġġel, prevedibbli u affidabbli perfettament sakemm l-utent juża l-istess vokabolarju tad-dokumenti. Il-problema hija li kważi qatt ma jagħmlu hekk.
Il-korpus żgħir ikkummentat hawn taħt juri l-erba’ sitwazzjonijiet tipiċi meta tiffaċċja l-mistoqsija “how to feed a puppy”.
# Keyword search
query = "how to feed a puppy"
# ✅ Found: contains the same words
doc_a = "How to feed a 3-month-old puppy"
# ❌ Not found: different words, same meaning
doc_b = "Feeding the young dog"
# ❌ Not found: rephrasing
doc_c = "Dietary regimen for newborn puppies"
# ⚠️ False positive: same words, different meaning
doc_d = "How to feed a startup project like a puppy"
Jinstab biss l-ewwel dokument, għalkemm it-tieni u t-tielet iwieġbu l-mistoqsija bl-istess mod. Agħar minn hekk, ir-raba’ jikklassifika għoli sempliċiment għax jaqsam il-kliem mal-mistoqsija, għalkemm jiddiskuti l-ġestjoni tan-negozju. Sinonimi, riformulazzjoni u ambigwità: it-tfittxija lessikali tfalli fit-tlieta.
Tfittxija semantika
It-tfittxija semantika tqabbel it-tifsira tat-testi, mhux il-kliem tagħhom. Tikkodifika l-korpus darba għal kollox, tikkodifika l-mistoqsija meta tasal, u tikklassifika d-dokumenti skont is-similarità.
from openai import OpenAI
import numpy as np
client = OpenAI()
def embed(text: str) -> np.ndarray:
response = client.embeddings.create(
input=text,
model="text-embedding-3-large"
)
return np.array(response.data[0].embedding)
# Corpus
documents = [
"How to feed a 3-month-old puppy",
"Feeding the young dog",
"Dietary regimen for newborn puppies",
"How to feed a startup project like a puppy",
"The basics of Italian cuisine",
]
# Index the corpus
corpus_embeddings = np.array([embed(doc) for doc in documents])
# Search
query = "how to feed a puppy"
query_embedding = embed(query)
# Calculate similarities
similarities = corpus_embeddings @ query_embedding
# Sort by relevance
results = sorted(
enumerate(similarities), key=lambda x: x[1], reverse=True
)
for idx, score in results:
print(f"{score:.4f} | {documents[idx]}")
Riżultat mistenni:
0.9123 | How to feed a 3-month-old puppy
0.8756 | Dietary regimen for newborn puppies
0.8421 | Feeding the young dog
0.4532 | How to feed a startup project like a puppy
0.1245 | The basics of Italian cuisine
It-tliet dokumenti rilevanti jokkupaw l-ewwel tliet postijiet minkejja frażeġġar kompletament differenti, u l-falż pożittiv jinżel għal 0.45—ħafna taħt il-limitu li kien iġibu l-quċċata. Il-mudell fehmem li “puppy” hawnhekk isservi bħala paragun, mhux bħala suġġett.
Tqabbil strutturat
| Kriterju | Kliem Ewlieni (BM25) | Semantiku (embeddings) |
|---|---|---|
| Sinonimi | ❌ Ifalli | ✅ Jaħdem |
| Riformulazzjoni | ❌ Ifalli | ✅ Jaħdem |
| Multilingwi | ❌ Impossible | ✅ Possibbli |
| Żbalji fl-ortografija | ❌ Ifalli | ✅ Jittollera |
| Tqabbil eżatt | ✅ Eċċellenti | ⚠️ Xi kultant mhux preċiż |
| Nismijiet proprji, kodiċijiet | ✅ Eċċellenti | ⚠️ Jista’ jħawwad |
| Velocità (korpus kbir) | ✅ Mgħaġġel ħafna | ⚠️ Jeħtieġ indiċi |
| Kost | ✅ B’xejn | ⚠️ Sejħiet API |
Meta tuża liema?
Il-qari tat-tabella jagħti regola sempliċi: kemm il-mistoqsija tkun qrib identifikatur, aktar tkun xierqa t-tfittxija lessikali. Referenza ta’ prodott bħal XR-4471-B, data, kategorija eżatta, jew isem proprju rari għandhom jiġu mfittxien kelma b’kelma; mudell ta’ embedding se jkollu t-tendenza li jħawwad dik ir-referenza mal-ġirien tagħha. Din hija wkoll l-għażla default meta l-korpus ikun massiv u l-baġit għall-embeddings ikun żero.
It-tfittxija semantika tieħu l-inizjattiva malli l-utent jesprimi ruħu b’lingwa naturali. FAQ, appoġġ lill-klijenti, dokumentazzjoni teknika kkonsultata minn mhux speċjalisti, korpus multilingwi fejn il-mistoqsija ssir bil-Franċiż u t-tweġiba miktuba bl-Ingliż, jew anke mistoqsija vaga u esploratorja: f’dawn il-każijiet kollha, id-diverġenza bejn il-vokabolarju tal-utent u dak tad-dokumenti hija preċiżament dak li l-embeddings jafu kif jgħaqqdu.
Peress li dawn iż-żewġ profili huma komplementari aktar milli kompetittivi, l-aħjar tweġiba spiss tikkonsisti fil-kombinazzjoni taż-żewġ approċċi biex tkopri l-każijiet kollha. Dan huwa s-suġġett tal-Lezzjoni 9.
Implimentazzjoni ta’ tfittxija semantika sħiħa
Fil-prattika, tikkapsula l-indiċjar u l-mistoqsijiet f’klassi żgħira. Dan jevita li terġa’ tikkalkula l-vetturi tal-korpus għal kull mistoqsija—l-aktar żball għali li jagħmlu l-biduanti.
class SemanticSearch:
def __init__(self, model: str = "text-embedding-3-large"):
self.client = OpenAI()
self.model = model
self.documents: list[dict] = []
self.embeddings: np.ndarray | None = None
def index(self, documents: list[dict]):
"""Indexes a list of documents {id, text, ...}."""
self.documents = documents
texts = [d["text"] for d in documents]
response = self.client.embeddings.create(
input=texts,
model=self.model
)
vectors = sorted(response.data, key=lambda x: x.index)
self.embeddings = np.array(
[v.embedding for v in vectors], dtype=np.float32
)
def search(self, query: str, k: int = 5) -> list[dict]:
"""Searches for the k most relevant documents."""
query_emb = self.client.embeddings.create(
input=query,
model=self.model
).data[0].embedding
similarities = self.embeddings @ np.array(query_emb)
top_k = np.argsort(similarities)[-k:][::-1]
return [
{**self.documents[i], "score": float(similarities[i])}
for i in top_k
]
# Usage
engine = SemanticSearch()
engine.index([
{"id": 1, "text": "How to install Python on Windows"},
{"id": 2, "text": "Guide to configuring the Python environment"},
{"id": 3, "text": "The basics of the Python language"},
])
results = engine.search("set up Python on my PC")
for r in results:
print(f"[{r['score']:.3f}] {r['text']}")
Ittestja dan il-magna bil-mistoqsija “set up Python on my PC”: l-ebda waħda minn dawn il-ħames kliem ma tidher fid-dokument 1, li jitkellem dwar “installing Python on Windows”. Madankollu, dan għandu jikklassifika l-ewwel. Imbagħad immodifika l-mistoqsija biex titkellem dwar “configuring the environment” u ara l-klassifika tibdel għad-dokument 2—issa għandek bank tal-ittestjar minimu biex tivverifika l-imġiba tal-indiċi tiegħek qabel ma timlieh serjament.
Punti Ewlenin
- It-tfittxija b’kliem ewlieni tfalli mas-sinonimi u r-riformulazzjoni
- It-tfittxija semantika tqabbel it-tifsira permezz ta’ embeddings
- Kull approċċ għandu l-punti qawwija tiegħu: it-tfittxija ibrida tgħaqqad it-tnejn
- Magna semantika sempliċi tista’ tinbena f’ftit għexieren ta’ linji