Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Distanza u Similarità tal-Kosinu

Lezzjoni 4 / 22 Aġġornat 29 ta’ Lulju 2026 Zviluppatur
F'din il-paġna
  1. Għanijiet
  2. Kef Tkejjel il-Prossimità Bejn il-Vetturi
  3. Tqabbil Prattiku
  4. Kif Tinterpreta l-Punteġġi
  5. Tiftix tal-Eqreb Ġar (Nearest Neighbor Search)
  6. Ma’ scikit-learn
  7. Punti Ewlenin

Għanijiet

  • Tifhem is-similarità tal-kosinu u għaliex hija preferuta
  • Timplimenta tqabbil ta’ vetturi f’Python
  • Tinterpreta punteġġi ta’ similarità

Kef Tkejjel il-Prossimità Bejn il-Vetturi

Ladarba tkun ikkonvertajt it-testi tiegħek f’vetturi, kollox jiddependi fuq mistoqsija waħda: kif tiddeċiedi jekk żewġ vetturi humiex “qrib”? Jeżistu tliet tweġibiet, u l-għażla tagħmel id-differenza.

Id-distanza Ewklidjana hija d-distanza ġeometrika klassika—dik li tkejjel b’riga bejn żewġ punti. Hija intuwittiva, iżda tiddependi fuq il-kobor tal-vettur: żewġ testi bl-istess tifsira, fejn wieħed huwa kkodifikat b’amplitudni ogħla, jidhru artifiċjalment ‘il bogħod minn xulxin.

import numpy as np

def euclidean_distance(a: list[float], b: list[float]) -> float:
    return np.linalg.norm(np.array(a) - np.array(b))

Il-prodott puntwali (dot product) jgħodd is-somma tal-prodotti element b’element. Hija l-operazzjoni l-aktar mgħaġġla fil-familja—dik li l-proċessur jesegwixxi bl-aktar effiċjenza fuq matriċi kbar.

def dot_product(a: list[float], b: list[float]) -> float:
    return np.dot(a, b)

Is-similarità tal-kosinu, finalment, tkejjel l-angolu bejn żewġ vetturi irrispettivament mit-tul tagħhom, u tagħmilha l-metrika standard għall-embeddings: biss id-direzzjoni tat-tifsira tgħodd, mhux l-intensità tagħha.

def cosine_similarity(a: list[float], b: list[float]) -> float:
    a, b = np.array(a), np.array(b)
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

Tvarja minn -1 għal direzzjonijiet opposti sa +1 għal direzzjonijiet identiċi. Hemm dettall prattiku importanti: l-embeddings ta’ OpenAI diġà huma normalizzati, jiġifieri għandhom tul ta’ 1. Għalhekk, id-denominatur huwa ugwali għal 1, u l-prodott puntwali jagħti eżattament l-istess riżultat bħas-similarità tal-kosinu—b’kost komputazzjonali aktar baxx. Din hija l-qosra li nużaw matul dan il-kors.

Tqabbil Prattiku

Xejn ma jaqbeż il-kejl ta’ sentenzi reali. Ejja nqabblu sentenza, il-parafraži sħiħa tagħha, u sentenza barra mit-tema:

from openai import OpenAI

client = OpenAI()

def get_embedding(text: str) -> list[float]:
    response = client.embeddings.create(
        input=text,
        model="text-embedding-3-large"
    )
    return response.data[0].embedding

# Sentenzi biex jitqabblu
sentences = {
    "a": "The cat sleeps on the couch",
    "b": "The feline dozes on the sofa",
    "c": "Python is a programming language",
}

embeddings = {k: get_embedding(v) for k, v in sentences.items()}

# Qabbel il-pari kollha
from itertools import combinations

for (k1, v1), (k2, v2) in combinations(sentences.items(), 2):
    sim = cosine_similarity(embeddings[k1], embeddings[k2])
    print(f"sim({k1}, {k2}) = {sim:.4f}")
    print(f"  {v1}")
    print(f"  {v2}")
    print()

Riżultat tipiku:

sim(a, b) = 0.8923   ← tifsira simili ħafna
sim(a, c) = 0.1247   ← suġġetti differenti
sim(b, c) = 0.1189   ← suġġetti differenti

Is-sentenzi a u b ma jaqsmu l-ebda kelma—cat/feline, sleeps/dozes, couch/sofa—madankollu jiskorjaw 0.89. Dan huwa eżattament dak li l-ebda metodu lessikali ma jista’ jikseb.

Kif Tinterpreta l-Punteġġi

Il-limiti (thresholds) jiddependu mill-każ ta’ użu tiegħek, iżda t-tabella hawn taħt tagħti punti ta’ referenza biex taqra punteġġ mingħajr ma tiżbalja b’ordni ta’ kobor.

PunteġġInterpretazzjoni
> 0.85Simili ħafna (parafrażijiet, sinonimi)
0.70 – 0.85Marbutin tematikament
0.40 – 0.70Marbutin b’mod laxk
< 0.40Suġġetti differenti

Dawn il-valuri jvarjaw skont il-mudell u d-dominju: korpus legali, fejn it-testi kollha jaqsmu l-istess vokabolarju formali, jipproduċi punteġġi ġeneralment ogħla minn korpus għal skopijiet ġenerali, sal-punt fejn limitu ta’ 0.70 isir wisq permissiv. Dejjem ikkalibra fuq id-data tiegħek stess billi tosserva tletin par fejn tkun taf it-tweġiba mistennija.

Biex issib dokument, trid tikkalkula s-similarità bejn il-vettur tal-mistoqsija u l-vetturi kollha fil-korpus, imbagħad iżżomm l-aqwa k. Il-ħila hi li tevita l-lupi (looping) f’Python: multiplikazzjoni ta’ matriċi NumPy tikkalkula s-similaritajiet kollha f’daqqa, f’frazzjoni tal-ħin.

def search_similar(
    query_embedding: list[float],
    corpus_embeddings: np.ndarray,
    k: int = 5
) -> list[tuple[int, float]]:
    """Jirritorna l-k dokumenti l-aktar simili."""
    query = np.array(query_embedding)

    # Kalkolu vettorjalizzat tas-similaritajiet kollha
    similarities = corpus_embeddings @ query
    # (jaħdem għax l-embeddings ta' OpenAI huma normalizzati)

    Indiċijiet tal-aqwa k punteġġi
    top_k_indices = np.argsort(similarities)[-k:][::-1]

    return [(int(i), float(similarities[i])) for i in top_k_indices]

# Użu
corpus = np.load("embeddings.npy")  # matriċi (n, 3072)
query_emb = get_embedding("How do I install Python?")

results = search_similar(query_emb, corpus, k=5)
for idx, score in results:
    print(f"Document {idx}: score = {score:.4f}")

Il-[-k:][::-1]] jistħoqqilu ħarsa oħra: argsort tissortja f’ordni axxendenti, allura nieħdu t-tarf tal-array biex niksbu l-aqwa punteġġi, imbagħad naqilbu biex nikklasifikawhom mill-aktar rilevanti għall-inqas rilevanti.

Ma’ scikit-learn

Meta ma tkunx qed tfittex dokument iżda trid tqabbel il-korpus kollu miegħu nnifsu—pereżempju, biex tiskopri duplikati, jew tħejji għall-clustering—scikit-learn tipprovdi funzjoni ottimizzata li tirritorna l-matriċi sħiħa.

from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

# Matriċi ta' similarità bejn id-dokumenti kollha
corpus = np.array(embeddings_list)
sim_matrix = cosine_similarity(corpus)

print(f"Shape: {sim_matrix.shape}")  # (n, n)
print(f"Similarity doc 0 ↔ doc 1: {sim_matrix[0][1]:.4f}")

Żomm f’moħħok li din il-matriċi hija ta’ daqs n × n: għaxart elef dokument jipproduċu mitt miljun valur, madwar 400 MB f’float32. Lil hinn minn ftit elamenti, ipproċessa f’blokok minflok ma tagħmel sejħa waħda.

Punti Ewlenin

  • Is-similarità tal-kosinu tkejjel l-angolu bejn il-vetturi, indipendentement mill-kobor tagħhom
  • L-embeddings ta’ OpenAI huma normalizzati: prodott puntwali = kosinu
  • Punteġġ > 0.85 jindika testi simili ħafna
  • It-tiftix tal-eqreb ġar isir b’mod effiċjenti b’NumPy jew scikit-learn