Semantiline sarnasus
Sellel lehel
Teksti läheduse mõõtmine
Kui oled oma tekstid mudeliga mistral-embed vektoriteks teisendanud, saad kvantifitseerida, kui semantiliselt lähedased kaks teksti on. See on semantilise otsingu tuum: võrreldakse tähendusi, mitte ainult sõnu. Kuigi SQL-päring LIKE '%arve%' annab lihtsa jah-ei vastuse, annab sarnasusmõõdik sulle arvu, mis võimaldab tulemusi järjestada. Just see järjestus teeb kogu süsteemi väärtuslikuks.
Selles õppetükis rakendad peamisi sarnasusmõõdikuid ja näed konkreetsete Pythoni näidete varal, kuidas need praktikas toimivad.
Eukleidiline kaugus
Eukleidiline kaugus mõõdab lõigu pikkust kahe punkti vahel vektorruumis. Mida väiksem on kaugus, seda sarnasemad on tekstid. Allpool toodud näide võrdleb kolme lauset: kaks esimest väljendavad sama mõtet erineva sõnavaraga, kolmas räägib aga õunakoogist. Lausetel A ja B pole ühtegi ühist sõna, ometi on nende vaheline kaugus oluliselt väiksem kui A ja C vaheline kaugus.
import numpy as np
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
def get_embedding(text):
"""Get the embedding for a text via mistral-embed."""
response = client.embeddings.create(
model="mistral-embed",
inputs=[text],
)
return np.array(response.data[0].embedding)
# Three sentences to compare
phrase_a = "Machine learning transforms data into predictions."
phrase_b = "Automatic learning converts data into results."
phrase_c = "The recipe for apple pie is simple."
emb_a = get_embedding(phrase_a)
emb_b = get_embedding(phrase_b)
emb_c = get_embedding(phrase_c)
# Euclidean distances
dist_ab = np.linalg.norm(emb_a - emb_b)
dist_ac = np.linalg.norm(emb_a - emb_c)
print(f"Distance A-B (semantically close): {dist_ab:.4f}")
print(f"Distance A-C (semantically distant): {dist_ac:.4f}")
# A-B will be significantly lower than A-C
Koosiinussarnasus
Koosiinussarnasus on manuste jaoks kõige laialdasemalt kasutatav mõõdik. See mõõdab kahe vektori vahelist nurka, sõltumata nende suurusest. Tulemus jääb vahemikku -1 kuni 1, pakkudes koheselt arusaadavat skaalat: saad määrata lävendi ja seda ärimeeskonnale edastada, ilma et peaksid selgitama vektor norme.
from sklearn.metrics.pairwise import cosine_similarity
# With scikit-learn
sim_ab = cosine_similarity([emb_a], [emb_b])[0][0]
sim_ac = cosine_similarity([emb_a], [emb_c])[0][0]
print(f"Cosine similarity A-B: {sim_ab:.4f}") # ~0.92 (very close)
print(f"Cosine similarity A-C: {sim_ac:.4f}") # ~0.35 (distant)
Lõhe 0,92 ja 0,35 vahel on see kasulik info: oluline pole absoluutväärtus, vaid vahemaa, mis eraldab asjakohaseid tulemusi teemast kõrvale kaldunud tulemustest just sinu konkreetses andmestikus. Saad mõõdiku realiseerida ka käsitsi, kas või selleks, et kontrollida, mida scikit-learn teeb, või vältida sõltuvusi piiratud keskkonnas:
def cosine_sim(vec_a, vec_b):
"""Manual cosine similarity."""
dot = np.dot(vec_a, vec_b)
norm_a = np.linalg.norm(vec_a)
norm_b = np.linalg.norm(vec_b)
return dot / (norm_a * norm_b)
print(f"Manual verification A-B: {cosine_sim(emb_a, emb_b):.4f}")
Sarnasusmaatriks
Mitme dokumendi omavaheliseks võrdlemiseks saad koostada sarnasusmaatriksi. Allpool olev korpus segab tahtlikult kahte teemat – tehisintellekt ja gastronoomia –, nii et struktuur hüppab silma: dokumendid 0, 1 ja 3 on omavahel seotud, samas kui dokumendid 2 ja 4 moodustavad eraldi klastrid. See on täpselt see signaal, mida klasterdamisalgoritmid ära kasutavad.
from sklearn.metrics.pairwise import cosine_similarity
documents = [
"Mistral AI develops language models.",
"LLMs generate text from prompts.",
"French cuisine is renowned worldwide.",
"NLP is a branch of artificial intelligence.",
"Croissants taste best in the morning.",
]
# Encode all documents
response = client.embeddings.create(
model="mistral-embed",
inputs=documents,
)
embeddings = np.array([d.embedding for d in response.data])
# Similarity matrix (5x5)
sim_matrix = cosine_similarity(embeddings)
print("Similarity Matrix:")
for i, doc in enumerate(documents):
for j, doc2 in enumerate(documents):
if j > i:
print(f" [{i}]-[{j}]: {sim_matrix[i][j]:.3f}")
Lihtne semantiline otsing
Kõik eelnev ühineb väikeseks otsingumootoriks. Päring kodeeritakse sama mudeliga kui korpus – see on tingimata vajalik, kuna kaks erinevat mudelit loovad võrreldamatud ruumid – seejärel pöörab argsort järjestuse ümber, tuues kõrgeimad skoorid tippu.
def recherche_semantique(query, documents, embeddings, top_k=3):
"""Finds the most relevant documents for a query."""
# Encode the query
query_response = client.embeddings.create(
model="mistral-embed",
inputs=[query],
)
query_embedding = np.array(query_response.data[0].embedding)
# Calculate similarities
similarities = cosine_similarity(
[query_embedding], embeddings
)[0]
# Sort by descending similarity
ranked_indices = np.argsort(similarities)[::-1][:top_k]
results = []
for idx in ranked_indices:
results.append({
"document": documents[idx],
"score": similarities[idx],
"index": int(idx),
})
return results
# Usage example
query = "How does Mistral's AI work?"
results = recherche_semantique(query, documents, embeddings)
for r in results:
print(f" Score: {r['score']:.3f} -- {r['document']}")
Asjakohasuse lävend
Sellel mootoril on viga, mille avastad tootmises kiiresti: see tagastab alati kolm tulemust, isegi kui küsimusel pole korpusega mingit pistmist. Küsi ilmastiku kohta ja see tagastab kolm kõige vähem distantseerunud dokumenti, naeruväärsete skooridega, kuid näiliselt normaalse järjestusega. Praktikas pead seetõttu määratlema sarnasuse lävendi, millest allpool loetakse dokument ebaasjakohaseks:
SEUIL_PERTINENCE = 0.7
def recherche_avec_seuil(query, documents, embeddings, seuil=SEUIL_PERTINENCE):
"""Search with filtering by relevance threshold."""
results = recherche_semantique(query, documents, embeddings, top_k=len(documents))
return [r for r in results if r["score"] >= seuil]
# A threshold of 0.7 is a good starting point
# Adjust based on your use case:
# - 0.8+: very strict (few results, high relevance)
# - 0.6-0.7: balanced
# - 0.5: permissive (many results, variable relevance)
Võta aega, et seda lävendit kalibreerida umbes kolmekümne reaalse päringu peal, enne kui teenuse kasutajatele avad. Kui seadad selle liiga kõrgele, ütleb sinu mootor „ma ei tea“ ka legitiimsetele küsimustele. Kui seadad selle liiga madalale, söödad sa LLM-ile teemast kõrvale kaldunud konteksti, tekitades just neid hallutsinatsioone, mida RAG pidi ennetama.
Peamised punktid
- Koosiinussarnasus on standardmõõdik manuste võrdlemiseks
- Kasuta kiireks arvutamiseks funktsiooni
sklearn.metrics.pairwise.cosine_similarity - Sarnasusmaatriks võimaldab võrrelda kõiki dokumente omavahel
- Määratle oma kasutusjuhtumile kohandatud asjakohasuse lävend (0,7 on hea vaikimisi väärtus)
- Semantiline otsing leiab tulemusi tähenduse, mitte täpse sõnade sobitamise põhjal