Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Atstumas ir kosinusinis panašumas

Paskaita 4 iš 22 Atnaujinta 2026 m. liepos 29 d. Kūrėjas
Šiame puslapyje
  1. Tikslai
  2. Atstumo tarp vektorių matavimas
  3. Praktinis palyginimas
  4. Balų interpretavimas
  5. Artimiausio kaimyno paieška
  6. Naudojant „scikit-learn“
  7. Svarbiausi punktai

Tikslai

  • Suprasti kosinusinį panašumą ir kodėl jis yra pageidautinas
  • Įgyvendinti vektorių palyginimą naudojant „Python“
  • Interpretuoti panašumo balus

Atstumo tarp vektorių matavimas

Kai tekstus paverti vektoriais, viskas sukasi apie vieną klausimą: kaip nuspręsti, ar du vektoriai yra „artimi“? Egzistuoja trys atsakymai, ir pasirinkimas yra svarbus.

Euklido atstumas yra klasikinis geometrinis atstumas – tas, kurį matuotum liniuote tarp dviejų taškų. Jis intuityvus, tačiau priklauso nuo vektoriaus dydžio: du tekstai ta pačia prasme, kurių vienas užkoduotas didesne amplitude, atrodytų dirbtinai nutolę vienas nuo kito.

import numpy as np

def euclidean_distance(a: list[float], b: list[float]) -> float:
    return np.linalg.norm(np.array(a) - np.array(b))

Skaliarinė sandauga sumuoja elementų porų sandaugas. Tai greičiausia operacija šeimoje – tą, kurią procesorius vykdo efektyviausiai didelėse matricose.

def dot_product(a: list[float], b: list[float]) -> float:
    return np.dot(a, b)

Galiausiai, kosinusinis panašumas matuoja kampą tarp dviejų vektorių, nepaisant jų ilgio, todėl tai yra standartinė įterpinių metrika: svarbi tik prasmės kryptis, o ne jos intensyvumas.

def cosine_similarity(a: list[float], b: list[float]) -> float:
    a, b = np.array(a), np.array(b)
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

Jis svyruoja nuo -1 priešingoms kryptims iki +1 identiškoms kryptims. Yra viena praktinė detalė: „OpenAI“ įterpiniai jau yra normalizuoti, tai reiškia, kad jų ilgis lygus 1. Todėl vardiklis lygus 1, o skaliarinė sandauga duoda tiksliai tą patį rezultatą kaip ir kosinusinis panašumas – tik mažesnėmis skaičiavimo sąnaudomis. Tai yra trumpinys, kurį naudosime per visą šį kursą.

Praktinis palyginimas

Niekas neprilygsta realių sakinių matavimui. Palyginkime sakinį, jo pilną parafrazę ir sakinį ne tema:

from openai import OpenAI

client = OpenAI()

def get_embedding(text: str) -> list[float]:
    response = client.embeddings.create(
        input=text,
        model="text-embedding-3-large"
    )
    return response.data[0].embedding

# Palyginami sakiniai
sentences = {
    "a": "The cat sleeps on the couch",
    "b": "The feline dozes on the sofa",
    "c": "Python is a programming language",
}

embeddings = {k: get_embedding(v) for k, v in sentences.items()}

# Palyginti visas poras
from itertools import combinations

for (k1, v1), (k2, v2) in combinations(sentences.items(), 2):
    sim = cosine_similarity(embeddings[k1], embeddings[k2])
    print(f"sim({k1}, {k2}) = {sim:.4f}")
    print(f"  {v1}")
    print(f"  {v2}")
    print()

Tipiškas rezultatas:

sim(a, b) = 0.8923   ← labai artima prasmė
sim(a, c) = 0.1247   ← skirtingos temos
sim(b, c) = 0.1189   ← skirtingos temos

Sakiniai a ir b neturi bendrų žodžių – cat/feline, sleeps/dozes, couch/sofa – tačiau jų balas yra 0,89. Būtent to negali pasiekti joks leksinis metodas.

Balų interpretavimas

Slenksčiai priklauso nuo tavo naudojimo atvejo, tačiau žemiau pateikta lentelė suteikia orientyrus, kaip skaityti balą nenusižeminant eile.

BalasInterpretacija
> 0,85Labai panašūs (parafrazės, sinonimai)
0,70 – 0,85Temiškai susiję
0,40 – 0,70Silpnai susiję
< 0,40Skirtingos temos

Šios vertės kinta priklausomai nuo modelio ir domeno: teisinis korpusas, kuriame visi tekstai dalijasi ta pačia formalia žodyna, paprastai generuoja aukštesnius balus nei bendros paskirties korpusas, tiek, kad 0,70 slenkstis tampa per daug leidžiantis. Visada kalibruok savo duomenis stebėdamas apie trisdešimt porų, kurių laukiamą atsakymą žinai.

Artimiausio kaimyno paieška

Dokumento radimas reiškia panašumo apskaičiavimą tarp užklausos vektoriaus ir visų korpuso vektorių, tada paliekant geriausius k. Triukas yra vengti ciklų „Python“ kalboje: „NumPy“ matricos daugyba apskaičiuoja visus panašumus vienu metu, per dalį sekundės.

def search_similar(
    query_embedding: list[float],
    corpus_embeddings: np.ndarray,
    k: int = 5
) -> list[tuple[int, float]]:
    """Grąžina k panašiausių dokumentų."""
    query = np.array(query_embedding)

    # Vektorizuotas visų panašumų skaičiavimas
    similarities = corpus_embeddings @ query
    # (veikia, nes „OpenAI“ įterpiniai yra normalizuoti)

    # Geriausių k balų indeksai
    top_k_indices = np.argsort(similarities)[-k:][::-1]

    return [(int(i), float(similarities[i])) for i in top_k_indices]

# Naudojimas
corpus = np.load("embeddings.npy")  # matrica (n, 3072)
query_emb = get_embedding("How do I install Python?")

results = search_similar(query_emb, corpus, k=5)
for idx, score in results:
    print(f"Document {idx}: score = {score:.4f}")

[-k:][::-1] verta pažvelgti iš naujo: argsort rūšiuoja didėjimo tvarka, todėl imame masyvo galą, kad gautume geriausius balus, tada apverčiame, kad surikiuotume juos nuo svarbiausio iki mažiausiai svarbaus.

Naudojant „scikit-learn“

Kai ieškai ne dokumento, o nori palyginti visą korpusą su juo pačiu – pavyzdžiui, norint aptikti dublikatus arba pasiruošti klasterizacijai – „scikit-learn“ suteikia optimizuotą funkciją, kuri grąžina visą matricą.

from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

# Panašumo matrica tarp visų dokumentų
corpus = np.array(embeddings_list)
sim_matrix = cosine_similarity(corpus)

print(f"Shape: {sim_matrix.shape}")  # (n, n)
print(f"Similarity doc 0 ↔ doc 1: {sim_matrix[0][1]:.4f}")

Atmink, kad ši matrica yra n × n dydžio: dešimt tūkstančių dokumentų sukuria šimtą milijonų reikšmių, apie 400 MB float32 formatu. Viršijus kelis tūkstančius elementų, apdorok blokuotais, o ne vienu kvietimu.

Svarbiausi punktai

  • Kosinusinis panašumas matuoja kampą tarp vektorių, nepriklausomai nuo jų dydžio
  • „OpenAI“ įterpiniai yra normalizuoti: skaliarinė sandauga = kosinusinis panašumas
  • Balas > 0,85 rodo labai panašius tekstus
  • Artimiausio kaimyno paieška efektyviai atliekama naudojant „NumPy“ arba „scikit-learn“