Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Cosúlacht Chosánach agus Fad

Ceacht 4 as 22 Nuashonraithe 29 Iúil 2026 Forbróir
Ar an leathanach seo
  1. Cuspóirí
  2. Fad a Thomhas idir Veicteoirí
  3. Comparáid Phraiticiúil
  4. Scóir a Léirmhíniú
  5. Cuardach ar an gComharsa is Gaire
  6. Le scikit-learn
  7. Príomhphointí

Cuspóirí

  • Tuiscint a fháil ar chosúlacht chosánach agus cén fáth a roghnaítear í
  • Comparáid veicteoireach a chur i bhfeidhm i bPython
  • Scóir chosúlachta a léirmhíniú

Fad a Thomhas idir Veicteoirí

Nuair a bheidh do chuid téacsanna tiontaithe ina veicteoirí, braitheann gach rud ar cheist amháin: conas a chinneann tú an bhfuil dhá veicteoir “gar” dá chéile? Tá trí fhreagra ann atá ann faoi láthair, agus tá tábhacht leis an rogha a dhéanann tú.

Is é fad Eoiclídeach an fad geoiméadrach clasaiceach—an ceann a thomháfá le rialóir idir dhá phointe. Tá sé intuigthe, ach braitheann sé ar mhéid an veicteora: dá mbeadh dhá théacs leis an mbrí chéanna, agus ceann acu ionchódaithe le aimplitiúid níos airde, bheadh siad le feiceáil go saorga i bhfad óna chéile.

import numpy as np

def euclidean_distance(a: list[float], b: list[float]) -> float:
    return np.linalg.norm(np.array(a) - np.array(b))

Déanann an toradh poncúil suimiú na dtáirgí de réir eiliminte. Is é an oibríocht is tapúla sa teaghlach é—an ceann a fheidhmíonn an próiseálaí ar an mbealach is éifeachtaí ar mhaitrísí móra.

def dot_product(a: list[float], b: list[float]) -> float:
    return np.dot(a, b)

Ar deireadh, tomhaiseann cosúlacht chosánach an uillinn idir dhá veicteoir beag beann ar a bhfad, rud a fhágann gurb í an tairiseach caighdeánach í le haghaidh leabaithe: ní bhaineann ach treo na brí leis, ní a déine.

def cosine_similarity(a: list[float], b: list[float]) -> float:
    a, b = np.array(a), np.array(b)
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

Raonaíonn sé ó -1 le haghaidh treo contrártha go +1 le haghaidh treo comhionann. Tá mionsonra praiticiúil ann a bhfuil tábhacht leis: tá leabaithe OpenAI normalaithe cheana féin, rud a chiallaíonn go bhfuil fad 1 acu. Dá bhrí sin, is ionann an t-ainmneoir agus 1, agus tugann an toradh poncúil an toradh céanna go díreach le cosúlacht chosánach—ag costas ríomhaireachta níos ísle. Is é seo an t-aicearra a úsáidfimid ar fud an chúrsa seo.

Comparáid Phraiticiúil

Níl aon rud níos fearr ná abairtí fíor a thomhas. Déanaimis comparáid idir abairt, a parafhráisiú iomlán, agus abairt atá as ábhar:

from openai import OpenAI

client = OpenAI()

def get_embedding(text: str) -> list[float]:
    response = client.embeddings.create(
        input=text,
        model="text-embedding-3-large"
    )
    return response.data[0].embedding

# Abairtí le comparáid
sentences = {
    "a": "The cat sleeps on the couch",
    "b": "The feline dozes on the sofa",
    "c": "Python is a programming language",
}

embeddings = {k: get_embedding(v) for k, v in sentences.items()}

# Gach péire a chur i gcomparáid
from itertools import combinations

for (k1, v1), (k2, v2) in combinations(sentences.items(), 2):
    sim = cosine_similarity(embeddings[k1], embeddings[k2])
    print(f"sim({k1}, {k2}) = {sim:.4f}")
    print(f"  {v1}")
    print(f"  {v2}")
    print()

Toradh tipiciúil:

sim(a, b) = 0.8923   ← brí an-chosúil
sim(a, c) = 0.1247   ← ábhair dhifriúla
sim(b, c) = 0.1189   ← ábhair dhifriúla

Níl aon fhocal coiteann ag abairtí a agus b—cat/feline, sleeps/dozes, couch/sofa—ach scóráil siad 0.89. Is é seo go díreach an rud nach féidir le haon mhodh léacsach a bhaint amach.

Scóir a Léirmhíniú

Braitheann tairseacha ar do chás úsáide, ach tugann an tábla thíos pointí tagartha chun scór a léamh gan botún d’ord méide a dhéanamh.

ScórLéirmhíniú
> 0.85An-chosúil (parafhráis, comhchiallaigh)
0.70 – 0.85Bainteach go téamach
0.40 – 0.70Bainteach go scaoilte
< 0.40Ábhair dhifriúla

Athraíonn na luachanna seo de réir an mhúnla agus an fearainn: cruthaíonn corpas dlí, áit a roinneann gach téacs an stór focal foirmiúil céanna, scóir níos airde go ginearálta ná corpas ginearálta, go dtí an pointe ina mbíonn tairseach 0.70 ró-thoilteanach. Déan calabrú i gcónaí ar do chuid sonraí féin trí thart ar thríocha péire a bhreathnú ina bhfuil a fhios agat cad é an freagra a bhfuiltear ag súil leis.

Cuardach ar an gComharsa is Gaire

Ciallaíonn doiciméad a aimsiú cosúlacht a ríomh idir veicteoir an cheist agus gach veicteoir sa chorpas, agus ansin na k barr a choinneáil. Is é an cleas ná lúba a sheachaint i bPython: ríomhann iolrú maitríse NumPy gach cosúlacht ag an am céanna, i gcuidín den am.

def search_similar(
    query_embedding: list[float],
    corpus_embeddings: np.ndarray,
    k: int = 5
) -> list[tuple[int, float]]:
    """Filleann sé na k doiciméad is cosúla."""
    query = np.array(query_embedding)

    # Ríomh veicteoireach ar gach cosúlacht
    similarities = corpus_embeddings @ query
    # (oibríonn sé toisc go bhfuil leabaithe OpenAI normalaithe)

    # Innéacsanna na scór barr k
    top_k_indices = np.argsort(similarities)[-k:][::-1]

    return [(int(i), float(similarities[i])) for i in top_k_indices]

# Úsáid
corpus = np.load("embeddings.npy")  # maitrís (n, 3072)
query_emb = get_embedding("How do I install Python?")

results = search_similar(query_emb, corpus, k=5)
for idx, score in results:
    print(f"Document {idx}: score = {score:.4f}")

Tuilleann an [-k:][::-1] dara breathnú: déanann argsort sórtáil in ord ascnamhach, mar sin tógaimid deireadh na heagraíochta chun na scóir is fearr a fháil, agus ansin déanaimid iad a aisiompú chun iad a rangú ón gceann is ábhartha go dtí an ceann is lú ábhartha.

Le scikit-learn

Nuair nach bhfuil tú ag cuardach doiciméid ach gur mian leat an corpas iomlán a chur i gcomparáid leis féin—chun dúbailtí a bhrath, mar shampla, nó ullmhúchán le haghaidh braisleála—soláthraíonn scikit-learn feidhm bharrfheabhsaithe a fhillíonn an mhaitrís iomlán.

from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

# Maitrís chosúlachta idir gach doiciméad
corpus = np.array(embeddings_list)
sim_matrix = cosine_similarity(corpus)

print(f"Shape: {sim_matrix.shape}")  # (n, n)
print(f"Similarity doc 0 ↔ doc 1: {sim_matrix[0][1]:.4f}")

Coinnigh i gcuimhne go bhfuil méid n × n ar an maitrís seo: cruthaíonn deich míle doiciméad céad milliún luach, thart ar 400 MB i float32. Thar cúpla míle eilimint, déan próiseáil i mbloic seachas glao amháin a dhéanamh.

Príomhphointí

  • Tomhaiseann cosúlacht chosánach an uillinn idir veicteoirí, neamhspleách ar a méid
  • Tá leabaithe OpenAI normalaithe: toradh poncúil = cosánach
  • Léiríonn scór > 0.85 téacsanna atá an-chosúil
  • Déantar cuardach ar an gcomharsa is gaire go héifeachtach le NumPy nó scikit-learn