Distanza u Similarità tal-Kosinu
F'din il-paġna
Għanijiet
- Tifhem is-similarità tal-kosinu u għaliex hija preferuta
- Timplimenta tqabbil ta’ vetturi f’Python
- Tinterpreta punteġġi ta’ similarità
Kef Tkejjel il-Prossimità Bejn il-Vetturi
Ladarba tkun ikkonvertajt it-testi tiegħek f’vetturi, kollox jiddependi fuq mistoqsija waħda: kif tiddeċiedi jekk żewġ vetturi humiex “qrib”? Jeżistu tliet tweġibiet, u l-għażla tagħmel id-differenza.
Id-distanza Ewklidjana hija d-distanza ġeometrika klassika—dik li tkejjel b’riga bejn żewġ punti. Hija intuwittiva, iżda tiddependi fuq il-kobor tal-vettur: żewġ testi bl-istess tifsira, fejn wieħed huwa kkodifikat b’amplitudni ogħla, jidhru artifiċjalment ‘il bogħod minn xulxin.
import numpy as np
def euclidean_distance(a: list[float], b: list[float]) -> float:
return np.linalg.norm(np.array(a) - np.array(b))
Il-prodott puntwali (dot product) jgħodd is-somma tal-prodotti element b’element. Hija l-operazzjoni l-aktar mgħaġġla fil-familja—dik li l-proċessur jesegwixxi bl-aktar effiċjenza fuq matriċi kbar.
def dot_product(a: list[float], b: list[float]) -> float:
return np.dot(a, b)
Is-similarità tal-kosinu, finalment, tkejjel l-angolu bejn żewġ vetturi irrispettivament mit-tul tagħhom, u tagħmilha l-metrika standard għall-embeddings: biss id-direzzjoni tat-tifsira tgħodd, mhux l-intensità tagħha.
def cosine_similarity(a: list[float], b: list[float]) -> float:
a, b = np.array(a), np.array(b)
return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))
Tvarja minn -1 għal direzzjonijiet opposti sa +1 għal direzzjonijiet identiċi. Hemm dettall prattiku importanti: l-embeddings ta’ OpenAI diġà huma normalizzati, jiġifieri għandhom tul ta’ 1. Għalhekk, id-denominatur huwa ugwali għal 1, u l-prodott puntwali jagħti eżattament l-istess riżultat bħas-similarità tal-kosinu—b’kost komputazzjonali aktar baxx. Din hija l-qosra li nużaw matul dan il-kors.
Tqabbil Prattiku
Xejn ma jaqbeż il-kejl ta’ sentenzi reali. Ejja nqabblu sentenza, il-parafraži sħiħa tagħha, u sentenza barra mit-tema:
from openai import OpenAI
client = OpenAI()
def get_embedding(text: str) -> list[float]:
response = client.embeddings.create(
input=text,
model="text-embedding-3-large"
)
return response.data[0].embedding
# Sentenzi biex jitqabblu
sentences = {
"a": "The cat sleeps on the couch",
"b": "The feline dozes on the sofa",
"c": "Python is a programming language",
}
embeddings = {k: get_embedding(v) for k, v in sentences.items()}
# Qabbel il-pari kollha
from itertools import combinations
for (k1, v1), (k2, v2) in combinations(sentences.items(), 2):
sim = cosine_similarity(embeddings[k1], embeddings[k2])
print(f"sim({k1}, {k2}) = {sim:.4f}")
print(f" {v1}")
print(f" {v2}")
print()
Riżultat tipiku:
sim(a, b) = 0.8923 ← tifsira simili ħafna
sim(a, c) = 0.1247 ← suġġetti differenti
sim(b, c) = 0.1189 ← suġġetti differenti
Is-sentenzi a u b ma jaqsmu l-ebda kelma—cat/feline, sleeps/dozes, couch/sofa—madankollu jiskorjaw 0.89. Dan huwa eżattament dak li l-ebda metodu lessikali ma jista’ jikseb.
Kif Tinterpreta l-Punteġġi
Il-limiti (thresholds) jiddependu mill-każ ta’ użu tiegħek, iżda t-tabella hawn taħt tagħti punti ta’ referenza biex taqra punteġġ mingħajr ma tiżbalja b’ordni ta’ kobor.
| Punteġġ | Interpretazzjoni |
|---|---|
| > 0.85 | Simili ħafna (parafrażijiet, sinonimi) |
| 0.70 – 0.85 | Marbutin tematikament |
| 0.40 – 0.70 | Marbutin b’mod laxk |
| < 0.40 | Suġġetti differenti |
Dawn il-valuri jvarjaw skont il-mudell u d-dominju: korpus legali, fejn it-testi kollha jaqsmu l-istess vokabolarju formali, jipproduċi punteġġi ġeneralment ogħla minn korpus għal skopijiet ġenerali, sal-punt fejn limitu ta’ 0.70 isir wisq permissiv. Dejjem ikkalibra fuq id-data tiegħek stess billi tosserva tletin par fejn tkun taf it-tweġiba mistennija.
Tiftix tal-Eqreb Ġar (Nearest Neighbor Search)
Biex issib dokument, trid tikkalkula s-similarità bejn il-vettur tal-mistoqsija u l-vetturi kollha fil-korpus, imbagħad iżżomm l-aqwa k. Il-ħila hi li tevita l-lupi (looping) f’Python: multiplikazzjoni ta’ matriċi NumPy tikkalkula s-similaritajiet kollha f’daqqa, f’frazzjoni tal-ħin.
def search_similar(
query_embedding: list[float],
corpus_embeddings: np.ndarray,
k: int = 5
) -> list[tuple[int, float]]:
"""Jirritorna l-k dokumenti l-aktar simili."""
query = np.array(query_embedding)
# Kalkolu vettorjalizzat tas-similaritajiet kollha
similarities = corpus_embeddings @ query
# (jaħdem għax l-embeddings ta' OpenAI huma normalizzati)
Indiċijiet tal-aqwa k punteġġi
top_k_indices = np.argsort(similarities)[-k:][::-1]
return [(int(i), float(similarities[i])) for i in top_k_indices]
# Użu
corpus = np.load("embeddings.npy") # matriċi (n, 3072)
query_emb = get_embedding("How do I install Python?")
results = search_similar(query_emb, corpus, k=5)
for idx, score in results:
print(f"Document {idx}: score = {score:.4f}")
Il-[-k:][::-1]] jistħoqqilu ħarsa oħra: argsort tissortja f’ordni axxendenti, allura nieħdu t-tarf tal-array biex niksbu l-aqwa punteġġi, imbagħad naqilbu biex nikklasifikawhom mill-aktar rilevanti għall-inqas rilevanti.
Ma’ scikit-learn
Meta ma tkunx qed tfittex dokument iżda trid tqabbel il-korpus kollu miegħu nnifsu—pereżempju, biex tiskopri duplikati, jew tħejji għall-clustering—scikit-learn tipprovdi funzjoni ottimizzata li tirritorna l-matriċi sħiħa.
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
# Matriċi ta' similarità bejn id-dokumenti kollha
corpus = np.array(embeddings_list)
sim_matrix = cosine_similarity(corpus)
print(f"Shape: {sim_matrix.shape}") # (n, n)
print(f"Similarity doc 0 ↔ doc 1: {sim_matrix[0][1]:.4f}")
Żomm f’moħħok li din il-matriċi hija ta’ daqs n × n: għaxart elef dokument jipproduċu mitt miljun valur, madwar 400 MB f’float32. Lil hinn minn ftit elamenti, ipproċessa f’blokok minflok ma tagħmel sejħa waħda.
Punti Ewlenin
- Is-similarità tal-kosinu tkejjel l-angolu bejn il-vetturi, indipendentement mill-kobor tagħhom
- L-embeddings ta’ OpenAI huma normalizzati: prodott puntwali = kosinu
- Punteġġ > 0.85 jindika testi simili ħafna
- It-tiftix tal-eqreb ġar isir b’mod effiċjenti b’NumPy jew scikit-learn