Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Similitudni Semantika

Lezzjoni 3 / 18 Aġġornat 2 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Kif Tkejjel il-Prossimità tat-Test
  2. Distanza Ewklidjana
  3. Similitudni tal-Kosinu
  4. Matriċi ta’ Similitudni
  5. Tiftix Semantiku Sempliċi
  6. Limitu ta’ Rilevanza
  7. Punti Ewlenin

Kif Tkejjel il-Prossimità tat-Test

Ladarba tkun ibbidilt it-testi tiegħek f’vetturi bl-użu ta’ mistral-embed, tista’ tikkwantifika kemm żewġ testi huma qrib semantikament. Dan huwa l-qofol tat-tiftix semantiku: tqabbil it-tifsiriet, mhux biss il-kliem. Filwaqt li mistoqsija SQL LIKE '%invoice%' tirritorna sempliċiment iva jew le, metrika ta’ similitudni tagħtik numru, li jippermettilek tagħmel klassifikazzjoni (ranking). Dik il-klassifikazzjoni hija dak li jagħmel is-sistema kollha ta’ valur.

F’din il-lezzjoni, se timplimenta l-metriċi ewlenin ta’ similitudni u tara kif jaħdmu fil-prattika b’eżempji konkreti f’Python.

Distanza Ewklidjana

Id-distanza Ewklidjana tkejjel it-tul tas-segment bejn żewġ punti fl-ispazju vettorjali. Iż-żgħar id-distanza, aktar ikunu simili t-testi. L-eżempju hawn taħt iqabbel tliet sentenzi: l-ewwel żewġ jgħidu l-istess ħaġa bl-użu ta’ vokabolarju differenti, filwaqt li t-tielet titkellem dwar torta tat-tuffieħ. Is-sentenzi A u B ma jaqsmu l-ebda kelma komuni, madankollu d-distanza tagħhom tkun ferm iżgħar mid-distanza bejn A u C.

import numpy as np
from mistralai.client import Mistral

client = Mistral(api_key=api_key)

def get_embedding(text):
    """Get the embedding for a text via mistral-embed."""
    response = client.embeddings.create(
        model="mistral-embed",
        inputs=[text],
    )
    return np.array(response.data[0].embedding)

# Three sentences to compare
phrase_a = "Machine learning transforms data into predictions."
phrase_b = "Automatic learning converts data into results."
phrase_c = "The recipe for apple pie is simple."

emb_a = get_embedding(phrase_a)
emb_b = get_embedding(phrase_b)
emb_c = get_embedding(phrase_c)

# Euclidean distances
dist_ab = np.linalg.norm(emb_a - emb_b)
dist_ac = np.linalg.norm(emb_a - emb_c)

print(f"Distance A-B (semantically close): {dist_ab:.4f}")
print(f"Distance A-C (semantically distant): {dist_ac:.4f}")
# A-B will be significantly lower than A-C

Similitudni tal-Kosinu

Is-similitudni tal-kosinu hija l-metrika l-aktar użata għall-embeddings. Tkejjel l-angolu bejn żewġ vetturi, indipendentement mill-kobor tagħhom. Ir-riżultat ivarja minn -1 sa 1, u jipprovdi skala li tinqara minnufih: tista’ tistabbilixxi limitu (threshold) u tikkomunikah ma’ tim tan-negozju mingħajr ma jkollok tispjega n-normi vettorjali.

from sklearn.metrics.pairwise import cosine_similarity

# With scikit-learn
sim_ab = cosine_similarity([emb_a], [emb_b])[0][0]
sim_ac = cosine_similarity([emb_a], [emb_c])[0][0]

print(f"Cosine similarity A-B: {sim_ab:.4f}")  # ~0.92 (very close)
print(f"Cosine similarity A-C: {sim_ac:.4f}")  # ~0.35 (distant)

Id-differenza bejn 0.92 u 0.35 hija l-informazzjoni utli: mhux il-valur assolut li jimpotta, iżda l-marġni li jifred ir-riżultati rilevanti minn dawk barra mit-tema fid-dataset speċifiku tiegħek. Tista’ wkoll timplimenta l-metrika manwalment, jekk xejn ħlief biex tivverifika x’qed tagħmel is-scikit-learn jew biex tevita dipendenzi f’ambjent ristrett:

def cosine_sim(vec_a, vec_b):
    """Manual cosine similarity."""
    dot = np.dot(vec_a, vec_b)
    norm_a = np.linalg.norm(vec_a)
    norm_b = np.linalg.norm(vec_b)
    return dot / (norm_a * norm_b)

print(f"Manual verification A-B: {cosine_sim(emb_a, emb_b):.4f}")

Matriċi ta’ Similitudni

Biex tqabbel dokumenti multipli ma’ xulxin, tista’ tibni matriċi ta’ similitudni. Il-korpus hawn taħt iħallat intenzjonalment żewġ temi—l-AI u l-gastronomija—sabiex l-istruttura toħroġ fid-dieher għalik: id-dokumenti 0, 1 u 3 huma relatati ma’ xulxin, filwaqt li d-dokumenti 2 u 4 jiffurmaw raggrupp separat. Dan huwa eżattament is-sinjal li l-algoritmi tal-clustering jisfruttaw.

from sklearn.metrics.pairwise import cosine_similarity

documents = [
    "Mistral AI develops language models.",
    "LLMs generate text from prompts.",
    "French cuisine is renowned worldwide.",
    "NLP is a branch of artificial intelligence.",
    "Croissants taste best in the morning.",
]

# Encode all documents
response = client.embeddings.create(
    model="mistral-embed",
    inputs=documents,
)
embeddings = np.array([d.embedding for d in response.data])

# Similarity matrix (5x5)
sim_matrix = cosine_similarity(embeddings)

print("Similarity Matrix:")
for i, doc in enumerate(documents):
    for j, doc2 in enumerate(documents):
        if j > i:
            print(f"  [{i}]-[{j}]: {sim_matrix[i][j]:.3f}")

Tiftix Semantiku Sempliċi

Dan kollu jingħaqad f’magna żgħira ta’ tiftix. Il-mistoqsija tiġi kkodifikata bl-istess mudell bħall-korpus—kondizzjoni mhux negozjabbli, peress li żewġ mudelli differenti jipproduċu spazji mhux komparabbli—imbagħad argsort taqleb il-klassifikazzjoni biex iġib l-ogħla punteġġi fuq quddiem.

def recherche_semantique(query, documents, embeddings, top_k=3):
    """Finds the most relevant documents for a query."""
    # Encode the query
    query_response = client.embeddings.create(
        model="mistral-embed",
        inputs=[query],
    )
    query_embedding = np.array(query_response.data[0].embedding)

    # Calculate similarities
    similarities = cosine_similarity(
        [query_embedding], embeddings
    )[0]

    # Sort by descending similarity
    ranked_indices = np.argsort(similarities)[::-1][:top_k]

    results = []
    for idx in ranked_indices:
        results.append({
            "document": documents[idx],
            "score": similarities[idx],
            "index": int(idx),
        })
    return results

# Usage example
query = "How does Mistral's AI work?"
results = recherche_semantique(query, documents, embeddings)

for r in results:
    print(f"  Score: {r['score']:.3f} -- {r['document']}")

Limitu ta’ Rilevanza

Din il-magna għandha difett li se tiskopri malajr fil-produzzjoni: dejjem tirritorna tliet riżultati, anke meta l-mistoqsija m’għandha x’taqsam xejn mal-korpus. Jekk tistaqsiha dwar it-temp, se tirritorna t-tliet dokumenti l-inqar ‘il bogħod, b’punteġġi ridikoli iżda b’klassifikazzjoni li tidher normali. Fil-prattika, għalhekk trid tiddefinixxi limitu ta’ similitudni li taħtu dokument jitqies mhux rilevanti:

SEUIL_PERTINENCE = 0.7

def recherche_avec_seuil(query, documents, embeddings, seuil=SEUIL_PERTINENCE):
    """Search with filtering by relevance threshold."""
    results = recherche_semantique(query, documents, embeddings, top_k=len(documents))
    return [r for r in results if r["score"] >= seuil]

# A threshold of 0.7 is a good starting point
# Adjust based on your use case:
# - 0.8+: very strict (few results, high relevance)
# - 0.6-0.7: balanced
# - 0.5: permissive (many results, variable relevance)

Ħu l-ħin biex tikkalibra dan il-limitu fuq madwar tletin mistoqsija reali qabel ma tiftaħ is-servizz għall-utenti. Jekk tistabbilixxih għoli wisq, il-magna tiegħek tgħid “Ma nafx” għal mistoqsijiet leġittimi. Jekk tistabbilixxih baxx wisq, inti tgħaqqad lill-LLM ma’ kuntest barra mit-tema, u toħloq eżattament dawk l-alluċinazzjonijiet li r-RAG kellu jipprevjeni.

Punti Ewlenin

  • Is-similitudni tal-kosinu hija l-metrika standard għat-tqabbil tal-embeddings
  • Uża sklearn.metrics.pairwise.cosine_similarity għal kalkoli mgħaġġla
  • Matriċi ta’ similitudni tippermettilek tqabbel id-dokumenti kollha ma’ xulxin
  • Iddefinixxi limitu ta’ rilevanza adattat għall-każ ta’ użu tiegħek (0.7 huwa default tajjeb)
  • It-tiftix semantiku jsib riżultati bit-tifsira, mhux bit-tqabbil eżatt tal-kliem