Семантична близост
На тази страница
Измерване на текстовата близост
След като преобразувате текстовете си във вектори чрез mistral-embed, можете да количествено определите колко семантично близки са два текста. Това е същността на семантичното търсене: сравняване на значенията, а не просто на думите. Докато SQL заявка като LIKE '%invoice%' връща просто „да“ или „не“, метриката за сходство Ви дава число, което позволява класиране. Именно това класиране прави цялата система ценна.
В този урок ще реализирате основните метрики за сходство и ще видите как работят на практика с конкретни примери на Python.
Евклидово разстояние
Евклидовото разстояние измерва дължината на отсечката между две точки във векторното пространство. Колкото по-малко е разстоянието, толкова по-подобни са текстовете. Примерът по-долу сравнява три изречения: първите две казват едно и също, използвайки различен речник, докато третото обсъжда ябълков пай. Изречения A и B нямат общи думи, но разстоянието между тях ще бъде значително по-малко от разстоянието между A и C.
import numpy as np
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
def get_embedding(text):
"""Get the embedding for a text via mistral-embed."""
response = client.embeddings.create(
model="mistral-embed",
inputs=[text],
)
return np.array(response.data[0].embedding)
# Three sentences to compare
phrase_a = "Machine learning transforms data into predictions."
phrase_b = "Automatic learning converts data into results."
phrase_c = "The recipe for apple pie is simple."
emb_a = get_embedding(phrase_a)
emb_b = get_embedding(phrase_b)
emb_c = get_embedding(phrase_c)
# Euclidean distances
dist_ab = np.linalg.norm(emb_a - emb_b)
dist_ac = np.linalg.norm(emb_a - emb_c)
print(f"Distance A-B (semantically close): {dist_ab:.4f}")
print(f"Distance A-C (semantically distant): {dist_ac:.4f}")
# A-B will be significantly lower than A-C
Косинусова близост
Косинусовата близост е най-широко използваната метрика за вложения. Тя измерва ъгъла между два вектора, независимо от тяхната големина. Резултатът варира от -1 до 1, осигурявайки лесно разбираема скала: можете да зададете праг и да го съобщите на бизнес екипа, без да се налага да обяснявате векторни норми.
from sklearn.metrics.pairwise import cosine_similarity
# With scikit-learn
sim_ab = cosine_similarity([emb_a], [emb_b])[0][0]
sim_ac = cosine_similarity([emb_a], [emb_c])[0][0]
print(f"Cosine similarity A-B: {sim_ab:.4f}") # ~0.92 (very close)
print(f"Cosine similarity A-C: {sim_ac:.4f}") # ~0.35 (distant)
Разликата между 0.92 и 0.35 е полезната информация: не абсолютната стойност има значение, а маржът, който разделя релевантните резултати от тези извън темата във Вашия конкретен набор от данни. Можете също така да реализирате метриката ръчно, ако не за друго, то поне за да проверите какво прави scikit-learn или за да избегнете зависимости в ограничена среда:
def cosine_sim(vec_a, vec_b):
"""Manual cosine similarity."""
dot = np.dot(vec_a, vec_b)
norm_a = np.linalg.norm(vec_a)
norm_b = np.linalg.norm(vec_b)
return dot / (norm_a * norm_b)
print(f"Manual verification A-B: {cosine_sim(emb_a, emb_b):.4f}")
Матрица на сходството
За да сравните множество документи един с друг, можете да изградите матрица на сходството. Корпусът по-долу умишлено смесва две теми – изкуствен интелект и гастрономия, така че структурата да изпъкне пред Вас: документи 0, 1 и 3 са свързани помежду си, докато документи 2 и 4 формират отделен клъстер. Това е точно сигналът, който алгоритмите за клъстериране използват.
from sklearn.metrics.pairwise import cosine_similarity
documents = [
"Mistral AI develops language models.",
"LLMs generate text from prompts.",
"French cuisine is renowned worldwide.",
"NLP is a branch of artificial intelligence.",
"Croissants taste best in the morning.",
]
# Encode all documents
response = client.embeddings.create(
model="mistral-embed",
inputs=documents,
)
embeddings = np.array([d.embedding for d in response.data])
# Similarity matrix (5x5)
sim_matrix = cosine_similarity(embeddings)
print("Similarity Matrix:")
for i, doc in enumerate(documents):
for j, doc2 in enumerate(documents):
if j > i:
print(f" [{i}]-[{j}]: {sim_matrix[i][j]:.3f}")
Просто семантично търсене
Всичко гореизброшено се комбинира в мини търсачка. Заявката се кодира със същия модел като корпуса – това е неизменно условие, тъй като два различни модела произвеждат несравними пространства – след което argsort обръща класирането, за да изведе най-високите резултати най-отгоре.
def recherche_semantique(query, documents, embeddings, top_k=3):
"""Finds the most relevant documents for a query."""
# Encode the query
query_response = client.embeddings.create(
model="mistral-embed",
inputs=[query],
)
query_embedding = np.array(query_response.data[0].embedding)
# Calculate similarities
similarities = cosine_similarity(
[query_embedding], embeddings
)[0]
# Sort by descending similarity
ranked_indices = np.argsort(similarities)[::-1][:top_k]
results = []
for idx in ranked_indices:
results.append({
"document": documents[idx],
"score": similarities[idx],
"index": int(idx),
})
return results
# Usage example
query = "How does Mistral's AI work?"
results = recherche_semantique(query, documents, embeddings)
for r in results:
print(f" Score: {r['score']:.3f} -- {r['document']}")
Праг на релевантност
Тази машина има недостатък, който бързо ще откриете в продукционна среда: тя винаги връща три резултата, дори когато въпросът няма нищо общо с корпуса. Попитайте я за времето и тя ще върне трите най-малко отдалечени документа с пренебрежимо малки резултати, но с привидно нормално класиране. На практика следователно трябва да дефинирате праг на сходство, под който един документ се счита за нерелевантен:
SEUIL_PERTINENCE = 0.7
def recherche_avec_seuil(query, documents, embeddings, seuil=SEUIL_PERTINENCE):
"""Search with filtering by relevance threshold."""
results = recherche_semantique(query, documents, embeddings, top_k=len(documents))
return [r for r in results if r["score"] >= seuil]
# A threshold of 0.7 is a good starting point
# Adjust based on your use case:
# - 0.8+: very strict (few results, high relevance)
# - 0.6-0.7: balanced
# - 0.5: permissive (many results, variable relevance)
Отделете време, за да калибрирате този праг върху около тридесет реални заявки, преди да отворите услугата за потребители. Ако го зададете твърде високо, Вашата машина ще казва „Не знам“ на легитимни въпроси. Ако го зададете твърде ниско, ще подавате на LLM контекст извън темата, създавайки точно халюцинациите, които RAG трябваше да предотврати.
Ключови изводи
- Косинусовата близост е стандартната метрика за сравняване на вложения
- Използвайте
sklearn.metrics.pairwise.cosine_similarityза бързи изчисления - Матрицата на сходството Ви позволява да сравните всички документи един с друг
- Дефинирайте праг на релевантност, адаптиран към Вашия случай на употреба (0.7 е добра стойност по подразбиране)
- Семантичното търсене намира резултати по смисъл, а не чрез точно съвпадение на думи