Cosúlacht Chosánach agus Fad
Ar an leathanach seo
Cuspóirí
- Tuiscint a fháil ar chosúlacht chosánach agus cén fáth a roghnaítear í
- Comparáid veicteoireach a chur i bhfeidhm i bPython
- Scóir chosúlachta a léirmhíniú
Fad a Thomhas idir Veicteoirí
Nuair a bheidh do chuid téacsanna tiontaithe ina veicteoirí, braitheann gach rud ar cheist amháin: conas a chinneann tú an bhfuil dhá veicteoir “gar” dá chéile? Tá trí fhreagra ann atá ann faoi láthair, agus tá tábhacht leis an rogha a dhéanann tú.
Is é fad Eoiclídeach an fad geoiméadrach clasaiceach—an ceann a thomháfá le rialóir idir dhá phointe. Tá sé intuigthe, ach braitheann sé ar mhéid an veicteora: dá mbeadh dhá théacs leis an mbrí chéanna, agus ceann acu ionchódaithe le aimplitiúid níos airde, bheadh siad le feiceáil go saorga i bhfad óna chéile.
import numpy as np
def euclidean_distance(a: list[float], b: list[float]) -> float:
return np.linalg.norm(np.array(a) - np.array(b))
Déanann an toradh poncúil suimiú na dtáirgí de réir eiliminte. Is é an oibríocht is tapúla sa teaghlach é—an ceann a fheidhmíonn an próiseálaí ar an mbealach is éifeachtaí ar mhaitrísí móra.
def dot_product(a: list[float], b: list[float]) -> float:
return np.dot(a, b)
Ar deireadh, tomhaiseann cosúlacht chosánach an uillinn idir dhá veicteoir beag beann ar a bhfad, rud a fhágann gurb í an tairiseach caighdeánach í le haghaidh leabaithe: ní bhaineann ach treo na brí leis, ní a déine.
def cosine_similarity(a: list[float], b: list[float]) -> float:
a, b = np.array(a), np.array(b)
return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))
Raonaíonn sé ó -1 le haghaidh treo contrártha go +1 le haghaidh treo comhionann. Tá mionsonra praiticiúil ann a bhfuil tábhacht leis: tá leabaithe OpenAI normalaithe cheana féin, rud a chiallaíonn go bhfuil fad 1 acu. Dá bhrí sin, is ionann an t-ainmneoir agus 1, agus tugann an toradh poncúil an toradh céanna go díreach le cosúlacht chosánach—ag costas ríomhaireachta níos ísle. Is é seo an t-aicearra a úsáidfimid ar fud an chúrsa seo.
Comparáid Phraiticiúil
Níl aon rud níos fearr ná abairtí fíor a thomhas. Déanaimis comparáid idir abairt, a parafhráisiú iomlán, agus abairt atá as ábhar:
from openai import OpenAI
client = OpenAI()
def get_embedding(text: str) -> list[float]:
response = client.embeddings.create(
input=text,
model="text-embedding-3-large"
)
return response.data[0].embedding
# Abairtí le comparáid
sentences = {
"a": "The cat sleeps on the couch",
"b": "The feline dozes on the sofa",
"c": "Python is a programming language",
}
embeddings = {k: get_embedding(v) for k, v in sentences.items()}
# Gach péire a chur i gcomparáid
from itertools import combinations
for (k1, v1), (k2, v2) in combinations(sentences.items(), 2):
sim = cosine_similarity(embeddings[k1], embeddings[k2])
print(f"sim({k1}, {k2}) = {sim:.4f}")
print(f" {v1}")
print(f" {v2}")
print()
Toradh tipiciúil:
sim(a, b) = 0.8923 ← brí an-chosúil
sim(a, c) = 0.1247 ← ábhair dhifriúla
sim(b, c) = 0.1189 ← ábhair dhifriúla
Níl aon fhocal coiteann ag abairtí a agus b—cat/feline, sleeps/dozes, couch/sofa—ach scóráil siad 0.89. Is é seo go díreach an rud nach féidir le haon mhodh léacsach a bhaint amach.
Scóir a Léirmhíniú
Braitheann tairseacha ar do chás úsáide, ach tugann an tábla thíos pointí tagartha chun scór a léamh gan botún d’ord méide a dhéanamh.
| Scór | Léirmhíniú |
|---|---|
| > 0.85 | An-chosúil (parafhráis, comhchiallaigh) |
| 0.70 – 0.85 | Bainteach go téamach |
| 0.40 – 0.70 | Bainteach go scaoilte |
| < 0.40 | Ábhair dhifriúla |
Athraíonn na luachanna seo de réir an mhúnla agus an fearainn: cruthaíonn corpas dlí, áit a roinneann gach téacs an stór focal foirmiúil céanna, scóir níos airde go ginearálta ná corpas ginearálta, go dtí an pointe ina mbíonn tairseach 0.70 ró-thoilteanach. Déan calabrú i gcónaí ar do chuid sonraí féin trí thart ar thríocha péire a bhreathnú ina bhfuil a fhios agat cad é an freagra a bhfuiltear ag súil leis.
Cuardach ar an gComharsa is Gaire
Ciallaíonn doiciméad a aimsiú cosúlacht a ríomh idir veicteoir an cheist agus gach veicteoir sa chorpas, agus ansin na k barr a choinneáil. Is é an cleas ná lúba a sheachaint i bPython: ríomhann iolrú maitríse NumPy gach cosúlacht ag an am céanna, i gcuidín den am.
def search_similar(
query_embedding: list[float],
corpus_embeddings: np.ndarray,
k: int = 5
) -> list[tuple[int, float]]:
"""Filleann sé na k doiciméad is cosúla."""
query = np.array(query_embedding)
# Ríomh veicteoireach ar gach cosúlacht
similarities = corpus_embeddings @ query
# (oibríonn sé toisc go bhfuil leabaithe OpenAI normalaithe)
# Innéacsanna na scór barr k
top_k_indices = np.argsort(similarities)[-k:][::-1]
return [(int(i), float(similarities[i])) for i in top_k_indices]
# Úsáid
corpus = np.load("embeddings.npy") # maitrís (n, 3072)
query_emb = get_embedding("How do I install Python?")
results = search_similar(query_emb, corpus, k=5)
for idx, score in results:
print(f"Document {idx}: score = {score:.4f}")
Tuilleann an [-k:][::-1] dara breathnú: déanann argsort sórtáil in ord ascnamhach, mar sin tógaimid deireadh na heagraíochta chun na scóir is fearr a fháil, agus ansin déanaimid iad a aisiompú chun iad a rangú ón gceann is ábhartha go dtí an ceann is lú ábhartha.
Le scikit-learn
Nuair nach bhfuil tú ag cuardach doiciméid ach gur mian leat an corpas iomlán a chur i gcomparáid leis féin—chun dúbailtí a bhrath, mar shampla, nó ullmhúchán le haghaidh braisleála—soláthraíonn scikit-learn feidhm bharrfheabhsaithe a fhillíonn an mhaitrís iomlán.
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
# Maitrís chosúlachta idir gach doiciméad
corpus = np.array(embeddings_list)
sim_matrix = cosine_similarity(corpus)
print(f"Shape: {sim_matrix.shape}") # (n, n)
print(f"Similarity doc 0 ↔ doc 1: {sim_matrix[0][1]:.4f}")
Coinnigh i gcuimhne go bhfuil méid n × n ar an maitrís seo: cruthaíonn deich míle doiciméad céad milliún luach, thart ar 400 MB i float32. Thar cúpla míle eilimint, déan próiseáil i mbloic seachas glao amháin a dhéanamh.
Príomhphointí
- Tomhaiseann cosúlacht chosánach an uillinn idir veicteoirí, neamhspleách ar a méid
- Tá leabaithe OpenAI normalaithe: toradh poncúil = cosánach
- Léiríonn scór > 0.85 téacsanna atá an-chosúil
- Déantar cuardach ar an gcomharsa is gaire go héifeachtach le NumPy nó scikit-learn