Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Tfittxija semantika vs. tfittxija b'kliem ewlieni

Lezzjoni 6 / 22 Aġġornat 29 ta’ Lulju 2026 Zviluppatur
F'din il-paġna
  1. Għanijiet
  2. Il-limiti tat-tfittxija b’kliem ewlieni
  3. Tfittxija semantika
  4. Tqabbil strutturat
  5. Meta tuża liema?
  6. Implimentazzjoni ta’ tfittxija semantika sħiħa
  7. Punti Ewlenin

Għanijiet

  • Fehem il-limitazzjonijiet tat-tfittxija b’kliem ewlieni
  • Skopri kif it-tfittxija semantika ssolvi dawn il-problemi
  • Implimenta tfittxija semantika sempliċi

Il-limiti tat-tfittxija b’kliem ewlieni

It-tfittxija klassika—TF-IDF, BM25, Elasticsearch—tiddependi fuq it-tqabbil lessikali: tfittex il-kliem eżatt mill-mistoqsija fid-dokumenti. Dan il-mekkaniżmu huwa mgħaġġel, prevedibbli u affidabbli perfettament sakemm l-utent juża l-istess vokabolarju tad-dokumenti. Il-problema hija li kważi qatt ma jagħmlu hekk.

Il-korpus żgħir ikkummentat hawn taħt juri l-erba’ sitwazzjonijiet tipiċi meta tiffaċċja l-mistoqsija “how to feed a puppy”.

# Keyword search
query = "how to feed a puppy"

# ✅ Found: contains the same words
doc_a = "How to feed a 3-month-old puppy"

# ❌ Not found: different words, same meaning
doc_b = "Feeding the young dog"

# ❌ Not found: rephrasing
doc_c = "Dietary regimen for newborn puppies"

# ⚠️ False positive: same words, different meaning
doc_d = "How to feed a startup project like a puppy"

Jinstab biss l-ewwel dokument, għalkemm it-tieni u t-tielet iwieġbu l-mistoqsija bl-istess mod. Agħar minn hekk, ir-raba’ jikklassifika għoli sempliċiment għax jaqsam il-kliem mal-mistoqsija, għalkemm jiddiskuti l-ġestjoni tan-negozju. Sinonimi, riformulazzjoni u ambigwità: it-tfittxija lessikali tfalli fit-tlieta.

Tfittxija semantika

It-tfittxija semantika tqabbel it-tifsira tat-testi, mhux il-kliem tagħhom. Tikkodifika l-korpus darba għal kollox, tikkodifika l-mistoqsija meta tasal, u tikklassifika d-dokumenti skont is-similarità.

from openai import OpenAI
import numpy as np

client = OpenAI()

def embed(text: str) -> np.ndarray:
    response = client.embeddings.create(
        input=text,
        model="text-embedding-3-large"
    )
    return np.array(response.data[0].embedding)

# Corpus
documents = [
    "How to feed a 3-month-old puppy",
    "Feeding the young dog",
    "Dietary regimen for newborn puppies",
    "How to feed a startup project like a puppy",
    "The basics of Italian cuisine",
]

# Index the corpus
corpus_embeddings = np.array([embed(doc) for doc in documents])

# Search
query = "how to feed a puppy"
query_embedding = embed(query)

# Calculate similarities
similarities = corpus_embeddings @ query_embedding

# Sort by relevance
results = sorted(
    enumerate(similarities), key=lambda x: x[1], reverse=True
)

for idx, score in results:
    print(f"{score:.4f} | {documents[idx]}")

Riżultat mistenni:

0.9123 | How to feed a 3-month-old puppy
0.8756 | Dietary regimen for newborn puppies
0.8421 | Feeding the young dog
0.4532 | How to feed a startup project like a puppy
0.1245 | The basics of Italian cuisine

It-tliet dokumenti rilevanti jokkupaw l-ewwel tliet postijiet minkejja frażeġġar kompletament differenti, u l-falż pożittiv jinżel għal 0.45—ħafna taħt il-limitu li kien iġibu l-quċċata. Il-mudell fehmem li “puppy” hawnhekk isservi bħala paragun, mhux bħala suġġett.

Tqabbil strutturat

KriterjuKliem Ewlieni (BM25)Semantiku (embeddings)
Sinonimi❌ Ifalli✅ Jaħdem
Riformulazzjoni❌ Ifalli✅ Jaħdem
Multilingwi❌ Impossible✅ Possibbli
Żbalji fl-ortografija❌ Ifalli✅ Jittollera
Tqabbil eżatt✅ Eċċellenti⚠️ Xi kultant mhux preċiż
Nismijiet proprji, kodiċijiet✅ Eċċellenti⚠️ Jista’ jħawwad
Velocità (korpus kbir)✅ Mgħaġġel ħafna⚠️ Jeħtieġ indiċi
Kost✅ B’xejn⚠️ Sejħiet API

Meta tuża liema?

Il-qari tat-tabella jagħti regola sempliċi: kemm il-mistoqsija tkun qrib identifikatur, aktar tkun xierqa t-tfittxija lessikali. Referenza ta’ prodott bħal XR-4471-B, data, kategorija eżatta, jew isem proprju rari għandhom jiġu mfittxien kelma b’kelma; mudell ta’ embedding se jkollu t-tendenza li jħawwad dik ir-referenza mal-ġirien tagħha. Din hija wkoll l-għażla default meta l-korpus ikun massiv u l-baġit għall-embeddings ikun żero.

It-tfittxija semantika tieħu l-inizjattiva malli l-utent jesprimi ruħu b’lingwa naturali. FAQ, appoġġ lill-klijenti, dokumentazzjoni teknika kkonsultata minn mhux speċjalisti, korpus multilingwi fejn il-mistoqsija ssir bil-Franċiż u t-tweġiba miktuba bl-Ingliż, jew anke mistoqsija vaga u esploratorja: f’dawn il-każijiet kollha, id-diverġenza bejn il-vokabolarju tal-utent u dak tad-dokumenti hija preċiżament dak li l-embeddings jafu kif jgħaqqdu.

Peress li dawn iż-żewġ profili huma komplementari aktar milli kompetittivi, l-aħjar tweġiba spiss tikkonsisti fil-kombinazzjoni taż-żewġ approċċi biex tkopri l-każijiet kollha. Dan huwa s-suġġett tal-Lezzjoni 9.

Implimentazzjoni ta’ tfittxija semantika sħiħa

Fil-prattika, tikkapsula l-indiċjar u l-mistoqsijiet f’klassi żgħira. Dan jevita li terġa’ tikkalkula l-vetturi tal-korpus għal kull mistoqsija—l-aktar żball għali li jagħmlu l-biduanti.

class SemanticSearch:
    def __init__(self, model: str = "text-embedding-3-large"):
        self.client = OpenAI()
        self.model = model
        self.documents: list[dict] = []
        self.embeddings: np.ndarray | None = None

    def index(self, documents: list[dict]):
        """Indexes a list of documents {id, text, ...}."""
        self.documents = documents
        texts = [d["text"] for d in documents]

        response = self.client.embeddings.create(
            input=texts,
            model=self.model
        )

        vectors = sorted(response.data, key=lambda x: x.index)
        self.embeddings = np.array(
            [v.embedding for v in vectors], dtype=np.float32
        )

    def search(self, query: str, k: int = 5) -> list[dict]:
        """Searches for the k most relevant documents."""
        query_emb = self.client.embeddings.create(
            input=query,
            model=self.model
        ).data[0].embedding

        similarities = self.embeddings @ np.array(query_emb)
        top_k = np.argsort(similarities)[-k:][::-1]

        return [
            {**self.documents[i], "score": float(similarities[i])}
            for i in top_k
        ]

# Usage
engine = SemanticSearch()
engine.index([
    {"id": 1, "text": "How to install Python on Windows"},
    {"id": 2, "text": "Guide to configuring the Python environment"},
    {"id": 3, "text": "The basics of the Python language"},
])

results = engine.search("set up Python on my PC")
for r in results:
    print(f"[{r['score']:.3f}] {r['text']}")

Ittestja dan il-magna bil-mistoqsija “set up Python on my PC”: l-ebda waħda minn dawn il-ħames kliem ma tidher fid-dokument 1, li jitkellem dwar “installing Python on Windows”. Madankollu, dan għandu jikklassifika l-ewwel. Imbagħad immodifika l-mistoqsija biex titkellem dwar “configuring the environment” u ara l-klassifika tibdel għad-dokument 2—issa għandek bank tal-ittestjar minimu biex tivverifika l-imġiba tal-indiċi tiegħek qabel ma timlieh serjament.

Punti Ewlenin

  • It-tfittxija b’kliem ewlieni tfalli mas-sinonimi u r-riformulazzjoni
  • It-tfittxija semantika tqabbel it-tifsira permezz ta’ embeddings
  • Kull approċċ għandu l-punti qawwija tiegħu: it-tfittxija ibrida tgħaqqad it-tnejn
  • Magna semantika sempliċi tista’ tinbena f’ftit għexieren ta’ linji