Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Ομοιότητα Σημασιολογίας

Μάθημα 3 / 18 Ενημερώθηκε 2 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Μέτρηση Εγγύτητας Κειμένου
  2. Ευκλείδεια Απόσταση
  3. Ομοιότητα Συνημιτόνου
  4. Πίνακας Ομοιότητας
  5. Απλή Σημασιολογική Αναζήτηση
  6. Κατώφλι Συνάφειας
  7. Βασικά σημεία

Μέτρηση Εγγύτητας Κειμένου

Αφού μετατρέψετε τα κείμενά σας σε διανύσματα χρησιμοποιώντας το mistral-embed, μπορείτε να ποσοτικοποιήσετε πόσο σημασιολογικά κοντά βρίσκονται δύο κείμενα. Αυτή είναι η ουσία της σημασιολογικής αναζήτησης: η σύγκριση νοημάτων, όχι απλώς λέξεων. Ενώ ένα ερώτημα SQL LIKE '%invoice%' επιστρέφει ένα απλό «ναι» ή «όχι», μια μετρική ομοιότητας σας δίνει έναν αριθμό, επιτρέποντας την κατάταξη. Αυτή η κατάταξη είναι που καθιστά πολύτιμο ολόκληρο το σύστημα.

Σε αυτό το μάθημα, θα υλοποιήσετε τις κύριες μετρικές ομοιότητας και θα δείτε πώς λειτουργούν στην πράξη με συγκεκριμένα παραδείγματα Python.

Ευκλείδεια Απόσταση

Η ευκλείδεια απόσταση μετρά το μήκος του ευθύγραμμου τμήματος μεταξύ δύο σημείων στον διανυσματικό χώρο. Όσο μικρότερη είναι η απόσταση, τόσο πιο όμοια είναι τα κείμενα. Το παρακάτω παράδειγμα συγκρίνει τρεις προτάσεις: οι δύο πρώτες λένε το ίδιο πράγμα χρησιμοποιώντας διαφορετικό λεξιλόγιο, ενώ η τρίτη συζητά για μια μηλόπιτα. Οι προτάσεις Α και Β δεν έχουν κοινές λέξεις, ωστόσο η απόστασή τους θα είναι σημαντικά μικρότερη από την απόσταση μεταξύ Α και Γ.

import numpy as np
from mistralai.client import Mistral

client = Mistral(api_key=api_key)

def get_embedding(text):
    """Get the embedding for a text via mistral-embed."""
    response = client.embeddings.create(
        model="mistral-embed",
        inputs=[text],
    )
    return np.array(response.data[0].embedding)

# Three sentences to compare
phrase_a = "Machine learning transforms data into predictions."
phrase_b = "Automatic learning converts data into results."
phrase_c = "The recipe for apple pie is simple."

emb_a = get_embedding(phrase_a)
emb_b = get_embedding(phrase_b)
emb_c = get_embedding(phrase_c)

# Euclidean distances
dist_ab = np.linalg.norm(emb_a - emb_b)
dist_ac = np.linalg.norm(emb_a - emb_c)

print(f"Distance A-B (semantically close): {dist_ab:.4f}")
print(f"Distance A-C (semantically distant): {dist_ac:.4f}")
# A-B will be significantly lower than A-C

Ομοιότητα Συνημιτόνου

Η ομοιότητα συνημιτόνου είναι η πιο ευρέως χρησιμοποιούμενη μετρική για τις ενσωματώσεις. Μετρά τη γωνία μεταξύ δύο διανυσμάτων, ανεξάρτητα από το μέγεθός τους. Το αποτέλεσμα κυμαίνεται από -1 έως 1, παρέχοντας μια άμεσα κατανοητή κλίμακα: μπορείτε να ορίσετε ένα κατώφλι και να το κοινοποιήσετε σε μια επιχειρηματική ομάδα χωρίς να χρειάζεται να εξηγήσετε διανυσματικούς κανόνες.

from sklearn.metrics.pairwise import cosine_similarity

# With scikit-learn
sim_ab = cosine_similarity([emb_a], [emb_b])[0][0]
sim_ac = cosine_similarity([emb_a], [emb_c])[0][0]

print(f"Cosine similarity A-B: {sim_ab:.4f}")  # ~0.92 (very close)
print(f"Cosine similarity A-C: {sim_ac:.4f}")  # ~0.35 (distant)

Το χάσμα μεταξύ 0,92 και 0,35 αποτελεί την χρήσιμη πληροφορία: δεν έχει σημασία η απόλυτη τιμή, αλλά το περιθώριο που διαχωρίζει τα σχετικά αποτελέσματα από τα άσχετα στο συγκεκριμένο σύνολο δεδομένων σας. Μπορείτε επίσης να υλοποιήσετε τη μετρική χειροκίνητα, έστω και μόνο για να επαληθεύσετε τι κάνει το scikit-learn ή για να αποφύγετε εξαρτήσεις σε ένα περιβάλλον με περιορισμούς:

def cosine_sim(vec_a, vec_b):
    """Manual cosine similarity."""
    dot = np.dot(vec_a, vec_b)
    norm_a = np.linalg.norm(vec_a)
    norm_b = np.linalg.norm(vec_b)
    return dot / (norm_a * norm_b)

print(f"Manual verification A-B: {cosine_sim(emb_a, emb_b):.4f}")

Πίνακας Ομοιότητας

Για να συγκρίνετε πολλαπλά έγγραφα μεταξύ τους, μπορείτε να κατασκευάσετε έναν πίνακα ομοιότητας. Το σώμα κειμένου παρακάτω αναμειγνύει σκόπιμα δύο θέματα—την Τεχνητή Νοημοσύνη και τη γαστρονομία—ώστε η δομή να γίνεται αντιληπτή αμέσως: τα έγγραφα 0, 1 και 3 σχετίζονται μεταξύ τους, ενώ τα έγγραφα 2 και 4 σχηματίζουν ένα ξεχωριστό σύμπλεγμα. Αυτό είναι ακριβώς το σήμα που εκμεταλλεύονται οι αλγόριθμοι συσταδοποίησης.

from sklearn.metrics.pairwise import cosine_similarity

documents = [
    "Mistral AI develops language models.",
    "LLMs generate text from prompts.",
    "French cuisine is renowned worldwide.",
    "NLP is a branch of artificial intelligence.",
    "Croissants taste best in the morning.",
]

# Encode all documents
response = client.embeddings.create(
    model="mistral-embed",
    inputs=documents,
)
embeddings = np.array([d.embedding for d in response.data])

# Similarity matrix (5x5)
sim_matrix = cosine_similarity(embeddings)

print("Similarity Matrix:")
for i, doc in enumerate(documents):
    for j, doc2 in enumerate(documents):
        if j > i:
            print(f"  [{i}]-[{j}]: {sim_matrix[i][j]:.3f}")

Απλή Σημασιολογική Αναζήτηση

Όλα τα παραπάνω συνδυάζονται σε μια μίνι μηχανή αναζήτησης. Το ερώτημα κωδικοποιείται με το ίδιο μοντέλο όπως και το σώμα κειμένου—μια αδιαπραγμάτευτη προϋπόθεση, καθώς δύο διαφορετικά μοντέλα παράγουν ασύγκριτους χώρους—και στη συνέχεια το argsort αντιστρέφει την κατάταξη για να φέρει τις υψηλότερες βαθμολογίες στην κορυφή.

def recherche_semantique(query, documents, embeddings, top_k=3):
    """Finds the most relevant documents for a query."""
    # Encode the query
    query_response = client.embeddings.create(
        model="mistral-embed",
        inputs=[query],
    )
    query_embedding = np.array(query_response.data[0].embedding)

    # Calculate similarities
    similarities = cosine_similarity(
        [query_embedding], embeddings
    )[0]

    # Sort by descending similarity
    ranked_indices = np.argsort(similarities)[::-1][:top_k]

    results = []
    for idx in ranked_indices:
        results.append({
            "document": documents[idx],
            "score": similarities[idx],
            "index": int(idx),
        })
    return results

# Usage example
query = "How does Mistral's AI work?"
results = recherche_semantique(query, documents, embeddings)

for r in results:
    print(f"  Score: {r['score']:.3f} -- {r['document']}")

Κατώφλι Συνάφειας

Αυτή η μηχανή έχει ένα ελάττωμα που θα ανακαλύψετε γρήγορα στην παραγωγή: επιστρέφει πάντα τρία αποτελέσματα, ακόμη και όταν η ερώτηση δεν έχει καμία σχέση με το σώμα κειμένου. Ρωτήστε την για τον καιρό και θα επιστρέψει τα τρία λιγότερο απομακρυσμένα έγγραφα, με γελοίες βαθμολογίες αλλά με μια φαινομενικά φυσιολογική κατάταξη. Στην πράξη, επομένως, πρέπει να ορίσετε ένα κατώφλι ομοιότητας κάτω από το οποίο ένα έγγραφο θεωρείται άσχετο:

SEUIL_PERTINENCE = 0.7

def recherche_avec_seuil(query, documents, embeddings, seuil=SEUIL_PERTINENCE):
    """Search with filtering by relevance threshold."""
    results = recherche_semantique(query, documents, embeddings, top_k=len(documents))
    return [r for r in results if r["score"] >= seuil]

# A threshold of 0.7 is a good starting point
# Adjust based on your use case:
# - 0.8+: very strict (few results, high relevance)
# - 0.6-0.7: balanced
# - 0.5: permissive (many results, variable relevance)

Αφιερώστε χρόνο για να βαθμονομήσετε αυτό το κατώφλι σε περίπου τριάντα πραγματικά ερωτήματα πριν ανοίξετε την υπηρεσία στους χρήστες. Αν το ορίσετε πολύ υψηλά, η μηχανή σας θα λέει «δεν ξέρω» σε νόμιμα ερωτήματα. Αν το ορίσετε πολύ χαμηλά, θα τροφοδοτείτε το LLM με άσχετο πλαίσιο, δημιουργώντας ακριβώς τις παραισθήσεις που το RAG υποτίθεται ότι θα απέτρεπε.

Βασικά σημεία

  • Η ομοιότητα συνημιτόνου είναι η τυπική μετρική για τη σύγκριση ενσωματώσεων
  • Χρησιμοποιήστε το sklearn.metrics.pairwise.cosine_similarity για γρήγορους υπολογισμούς
  • Ένας πίνακας ομοιότητας σας επιτρέπει να συγκρίνετε όλα τα έγγραφα μεταξύ τους
  • Ορίστε ένα κατώφλι συνάφειας προσαρμοσμένο στη χρήση σας (το 0,7 είναι μια καλή προεπιλογή)
  • Η σημασιολογική αναζήτηση βρίσκει αποτελέσματα βάσει νοήματος, όχι μέσω ακριβούς αντιστοίχισης λέξεων