Sémantická podobnosť
Na tejto strane
Meranie textovej blízkosti
Akonáhle transformuješ svoje texty na vektory pomocou modelu mistral-embed, dokážeš kvantifikovať, ako sú dva texty sémanticky blízke. To je podstata sémantického vyhľadávania: porovnávanie významov, nielen slov. Zatiaľ čo dotaz SQL LIKE '%invoice%' vráti jednoduché áno alebo nie, metrika podobnosti ti poskytne číslo, ktoré umožňuje triedenie výsledkov. Práve toto triedenie robí celý systém hodnotným.
V tejto lekcii implementuješ hlavné metriky podobnosti a uvidíš, ako fungujú v praxi na konkrétnych príkladoch v Pythone.
Euklidovská vzdialenosť
Euklidovská vzdialenosť meria dĺžku úsečky medzi dvoma bodmi vo vektorovom priestore. Čím menšia je vzdialenosť, tým podobnejšie sú texty. Nasledujúci príklad porovnáva tri vety: prvé dve hovoria to isté inými slovami, zatiaľ čo tretia sa týka jablkového koláča. Vety A a B nemajú žiadne spoločné slová, no ich vzdialenosť bude výrazne menšia ako vzdialenosť medzi A a C.
import numpy as np
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
def get_embedding(text):
"""Get the embedding for a text via mistral-embed."""
response = client.embeddings.create(
model="mistral-embed",
inputs=[text],
)
return np.array(response.data[0].embedding)
# Three sentences to compare
phrase_a = "Machine learning transforms data into predictions."
phrase_b = "Automatic learning converts data into results."
phrase_c = "The recipe for apple pie is simple."
emb_a = get_embedding(phrase_a)
emb_b = get_embedding(phrase_b)
emb_c = get_embedding(phrase_c)
# Euclidean distances
dist_ab = np.linalg.norm(emb_a - emb_b)
dist_ac = np.linalg.norm(emb_a - emb_c)
print(f"Distance A-B (semantically close): {dist_ab:.4f}")
print(f"Distance A-C (semantically distant): {dist_ac:.4f}")
# A-B will be significantly lower than A-C
Kosínusová podobnosť
Kosínusová podobnosť je najpoužívanejšou metrikou pre vektory (embeddings). Meria uhol medzi dvoma vektormi nezávisle od ich veľkosti. Výsledok sa pohybuje v rozmedzí od -1 do 1, čo poskytuje okamžite čitateľnú škálu: môžeš nastaviť prah a komunikovať ho obchodnému tímu bez potreby vysvetľovať normy vektorov.
from sklearn.metrics.pairwise import cosine_similarity
# With scikit-learn
sim_ab = cosine_similarity([emb_a], [emb_b])[0][0]
sim_ac = cosine_similarity([emb_a], [emb_c])[0][0]
print(f"Cosine similarity A-B: {sim_ab:.4f}") # ~0.92 (very close)
print(f"Cosine similarity A-C: {sim_ac:.4f}") # ~0.35 (distant)
Rozdiel medzi 0,92 a 0,35 je tou kľúčovou informáciou: nezáleží na absolútnej hodnote, ale na rozpätí, ktoré oddeľuje relevantné výsledky od tých mimo témy vo tvojom konkrétnom datasete. Metriku môžeš implementovať aj manuálne, či už na overenie toho, čo robí knižnica scikit-learn, alebo aby si sa vyhol závislostiam v obmedzenom prostredí:
def cosine_sim(vec_a, vec_b):
"""Manual cosine similarity."""
dot = np.dot(vec_a, vec_b)
norm_a = np.linalg.norm(vec_a)
norm_b = np.linalg.norm(vec_b)
return dot / (norm_a * norm_b)
print(f"Manual verification A-B: {cosine_sim(emb_a, emb_b):.4f}")
Matica podobnosti
Na porovnanie viacerých dokumentov navzájom môžeš zostaviť maticu podobnosti. Nižšie uvedený korpus zámerne mieša dve témy – umelú inteligenciu a gastronómiu – takže štruktúra ti hneď skočí do očí: dokumenty 0, 1 a 3 spolu súvisia, zatiaľ čo dokumenty 2 a 4 tvoria samostatný zhluk. Presne tento signál využívajú algoritmy zhlukovania.
from sklearn.metrics.pairwise import cosine_similarity
documents = [
"Mistral AI develops language models.",
"LLMs generate text from prompts.",
"French cuisine is renowned worldwide.",
"NLP is a branch of artificial intelligence.",
"Croissants taste best in the morning.",
]
# Encode all documents
response = client.embeddings.create(
model="mistral-embed",
inputs=documents,
)
embeddings = np.array([d.embedding for d in response.data])
# Similarity matrix (5x5)
sim_matrix = cosine_similarity(embeddings)
print("Similarity Matrix:")
for i, doc in enumerate(documents):
for j, doc2 in enumerate(documents):
if j > i:
print(f" [{i}]-[{j}]: {sim_matrix[i][j]:.3f}")
Jednoduché sémantické vyhľadávanie
Všetko vyššie uvedené sa spája do mini vyhľadávacieho stroja. Dotaz sa zakóduje rovnakým modelom ako korpus – čo je nepodmienečná požiadavka, keďže dva rôzne modely produkujú neporovnateľné priestory – a následne argsort obráti poradie tak, aby sa najvyššie skóre dostali na vrchol.
def recherche_semantique(query, documents, embeddings, top_k=3):
"""Finds the most relevant documents for a query."""
# Encode the query
query_response = client.embeddings.create(
model="mistral-embed",
inputs=[query],
)
query_embedding = np.array(query_response.data[0].embedding)
# Calculate similarities
similarities = cosine_similarity(
[query_embedding], embeddings
)[0]
# Sort by descending similarity
ranked_indices = np.argsort(similarities)[::-1][:top_k]
results = []
for idx in ranked_indices:
results.append({
"document": documents[idx],
"score": similarities[idx],
"index": int(idx),
})
return results
# Usage example
query = "How does Mistral's AI work?"
results = recherche_semantique(query, documents, embeddings)
for r in results:
print(f" Score: {r['score']:.3f} -- {r['document']}")
Prah relevantnosti
Tento engine má chybu, ktorú v produkcii rýchlo odhalíš: vždy vráti tri výsledky, aj keď sa otázka netýka korpusu. Opýtaj sa ho na počasie a vráti tri najmenej vzdialené dokumenty so smiešne nízkymi skóre, ale zdanlivo normálnym poradím. V praxi si preto musíš definovať prah podobnosti, pod ktorým sa dokument považuje za irelevantný:
SEUIL_PERTINENCE = 0.7
def recherche_avec_seuil(query, documents, embeddings, seuil=SEUIL_PERTINENCE):
"""Search with filtering by relevance threshold."""
results = recherche_semantique(query, documents, embeddings, top_k=len(documents))
return [r for r in results if r["score"] >= seuil]
# A threshold of 0.7 is a good starting point
# Adjust based on your use case:
# - 0.8+: very strict (few results, high relevance)
# - 0.6-0.7: balanced
# - 0.5: permissive (many results, variable relevance)
Venuj čas kalibrácii tohto prahu na približne tridsiatich reálnych dotazoch skôr, než službu sprístupníš používateľom. Ak ho nastavíš príliš vysoko, tvoj engine odpovie „neviem“ aj na legitímne otázky. Ak ho nastavíš príliš nízko, budeš LLM kŕmiť kontextom mimo témy, čím vytvoríš práve tie halucinácie, ktorým mal RAG zabrániť.
Kľúčové poznatky
- Kosínusová podobnosť je štandardnou metrikou na porovnávanie vektorov (embeddings)
- Na rýchle výpočty používaj
sklearn.metrics.pairwise.cosine_similarity - Matica podobnosti ti umožňuje porovnať všetky dokumenty navzájom
- Definuj prah relevantnosti prispôsobený tvojmu prípadu použitia (0,7 je dobrá predvolená hodnota)
- Sémantické vyhľadávanie nachádza výsledky podľa významu, nie podľa presnej zhody slov