Cosúlacht Shéimeantach
Ar an leathanach seo
Tomhas ar Gharacht Téacs
Nuair a chlaochlaíonn tú do chuid téacsanna ina veicteoirí ag baint úsáide as mistral-embed, is féidir leat a thomhas cé chomh gar ó thaobh na séimeantice de atá dhá théacs dá chéile. Is é seo croílár an chuardaigh shéimeantaigh: bríonna a chur i gcomparáid, seachas focail amháin. Cé go dtugann iarratas SQL LIKE '%invoice%' freagra simplí “tá” nó “níl”, tugann méadracht cosúlachta uimhir duit, rud a chuireann rangú ar chumas. Is é an rangú sin a dhéanann an córas iomlán luachmhar.
Sa cheacht seo, cuirfidh tú na príomhmhéadrachtaí cosúlachta i bhfeidhm agus feicfidh tú conas a oibríonn siad sa chleachtas le samplaí concreideacha Python.
Fad Eoiclídeach
Tomhaiseann fad Eoiclídeach fad na míre idir dhá phointe i spás veicteoireach. Dá lú an fad, is amhlaidh is cosúla na téacsanna. Déanann an sampla thíos comparáid idir trí abairt: deir an chéad dá abairt an rud céanna ag baint úsáide as stór focal difriúil, ach pléann an tríú ceann le pioball úll. Níl aon fhocal coiteann ag abairtí A agus B, ach beidh a bhfad i bhfad níos lú ná an fad idir A agus C.
import numpy as np
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
def get_embedding(text):
"""Get the embedding for a text via mistral-embed."""
response = client.embeddings.create(
model="mistral-embed",
inputs=[text],
)
return np.array(response.data[0].embedding)
# Three sentences to compare
phrase_a = "Machine learning transforms data into predictions."
phrase_b = "Automatic learning converts data into results."
phrase_c = "The recipe for apple pie is simple."
emb_a = get_embedding(phrase_a)
emb_b = get_embedding(phrase_b)
emb_c = get_embedding(phrase_c)
# Euclidean distances
dist_ab = np.linalg.norm(emb_a - emb_b)
dist_ac = np.linalg.norm(emb_a - emb_c)
print(f"Distance A-B (semantically close): {dist_ab:.4f}")
print(f"Distance A-C (semantically distant): {dist_ac:.4f}")
# A-B will be significantly lower than A-C
Cosúlacht Chomhshíneasa
Is í an chosúlacht chomhshíneasa an mhéadracht is forleithne a úsáidtear le haghaidh leabaithe. Tomhaiseann sí an uillinn idir dhá veicteoir, gan aird ar a méid. Raon ó -1 go 1 atá sa toradh, rud a sholáthraíonn scála atá inléite láithreach: is féidir leat tairseach a shocrú agus í a chur in iúl d’fhoireann gnó gan ort normanna veicteoireacha a mhíniú.
from sklearn.metrics.pairwise import cosine_similarity
# With scikit-learn
sim_ab = cosine_similarity([emb_a], [emb_b])[0][0]
sim_ac = cosine_similarity([emb_a], [emb_c])[0][0]
print(f"Cosine similarity A-B: {sim_ab:.4f}") # ~0.92 (very close)
print(f"Cosine similarity A-C: {sim_ac:.4f}") # ~0.35 (distant)
Is é an bhearna idir 0.92 agus 0.35 an fhaisnéis úsáideach: ní luach absalóideach atá tábhachtach, ach an corrlach a scarann torthaí ábhartha ó chinn nach mbaineann leis an ábhar i do thacair shonraí féin. Is féidir leat an mhéadracht a chur i bhfeidhm de láimh freisin, fiú mura bhfuil ann ach chun a fhíorú cad atá scikit-learn a dhéanamh nó chun spleáchais a sheachaint i dtimpeallacht atá faoi shrianta:
def cosine_sim(vec_a, vec_b):
"""Manual cosine similarity."""
dot = np.dot(vec_a, vec_b)
norm_a = np.linalg.norm(vec_a)
norm_b = np.linalg.norm(vec_b)
return dot / (norm_a * norm_b)
print(f"Manual verification A-B: {cosine_sim(emb_a, emb_b):.4f}")
Maitrís Cosúlachta
Chun iliomad doiciméad a chur i gcomparáid lena chéile, is féidir leat maitrís cosúlachta a thógáil. Meascann an corpas thíos dhá théama d’aon ghnó—IA agus cócaireacht—ionas go mbreathnaíonn tú ar an struchtúr láithreach: baineann doiciméid 0, 1, agus 3 lena chéile, agus cruthaíonn doiciméid 2 agus 4 braisle ar leith. Is é seo díreach an comhartha a úsáideann algartaim braisle.
from sklearn.metrics.pairwise import cosine_similarity
documents = [
"Mistral AI develops language models.",
"LLMs generate text from prompts.",
"French cuisine is renowned worldwide.",
"NLP is a branch of artificial intelligence.",
"Croissants taste best in the morning.",
]
# Encode all documents
response = client.embeddings.create(
model="mistral-embed",
inputs=documents,
)
embeddings = np.array([d.embedding for d in response.data])
# Similarity matrix (5x5)
sim_matrix = cosine_similarity(embeddings)
print("Similarity Matrix:")
for i, doc in enumerate(documents):
for j, doc2 in enumerate(documents):
if j > i:
print(f" [{i}]-[{j}]: {sim_matrix[i][j]:.3f}")
Cuardach Séimeantach Simplí
Tagann gach rud thuas le chéile ina inneall cuardaigh beag. Ionchódaítear an t-iarratas leis an samail chéanna leis an gcorpas—coinníoll nach féidir a shárú, toisc go dtáirgeann dhá shamhail dhifriúla spásanna nach féidir a chur i gcomparáid—ansin déanann argsort an rangú a aisiompú chun na scóir is airde a thabhairt go barr an liosta.
def recherche_semantique(query, documents, embeddings, top_k=3):
"""Finds the most relevant documents for a query."""
# Encode the query
query_response = client.embeddings.create(
model="mistral-embed",
inputs=[query],
)
query_embedding = np.array(query_response.data[0].embedding)
# Calculate similarities
similarities = cosine_similarity(
[query_embedding], embeddings
)[0]
# Sort by descending similarity
ranked_indices = np.argsort(similarities)[::-1][:top_k]
results = []
for idx in ranked_indices:
results.append({
"document": documents[idx],
"score": similarities[idx],
"index": int(idx),
})
return results
# Usage example
query = "How does Mistral's AI work?"
results = recherche_semantique(query, documents, embeddings)
for r in results:
print(f" Score: {r['score']:.3f} -- {r['document']}")
Tairseach Ábharthachta
Tá locht ar an inneall seo a aimsíonn tú go tapa sa táirgeadh: filleann sé trí thoradh i gcónaí, fiú nuair nach mbaineann an cheist ar bith leis an gcorpas. Cuir ceist faoin aimsir air, agus fillfidh sé na trí dhoiciméad is gaire, le scóir gháifeacha ach le rangú atá cosúil le gnáth-rangú. Sa chleachtas, mar sin, caithfidh tú tairseach cosúlachta a shainiú faoina mbreithnítear doiciméad nach bhfuil ábhartha:
SEUIL_PERTINENCE = 0.7
def recherche_avec_seuil(query, documents, embeddings, seuil=SEUIL_PERTINENCE):
"""Search with filtering by relevance threshold."""
results = recherche_semantique(query, documents, embeddings, top_k=len(documents))
return [r for r in results if r["score"] >= seuil]
# A threshold of 0.7 is a good starting point
# Adjust based on your use case:
# - 0.8+: very strict (few results, high relevance)
# - 0.6-0.7: balanced
# - 0.5: permissive (many results, variable relevance)
Tóg an t-am chun an tairseach seo a chalabrú ar thart ar thríocha iarratas fíor sula osclaíonn tú an seirbhís do úsáideoirí. Má shocraíonn tú ró-ard é, déarfaidh d’inneall “Níl a fhios agam” le ceisteanna dlisteanacha. Má shocraíonn tú ró-íseal é, beathaíonn tú an LLM le comhthéacs nach mbaineann leis an ábhar, rud a chruthaíonn na hallúiciní díreacha ba chóir do RAG a chosc.
Príomhphointí
- Is í an chosúlacht chomhshíneasa an mhéadracht chaighdeánach chun leabaithe a chur i gcomparáid
- Úsáid
sklearn.metrics.pairwise.cosine_similarityle haghaidh ríomhaireachtaí tapa - Ligeann maitrís cosúlachta duit gach doiciméad a chur i gcomparáid lena chéile
- Sainigh tairseach ábharthachta atá oiriúnaithe do d’úsáid chás (is tús maith é 0.7)
- Aimsíonn cuardach séimeantach torthaí de réir brí, seachas de réir meaitseála focal beacht