Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Introduzzjoni għall-Embeddings

Lezzjoni 1 / 18 Aġġornat 3 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. X’inhu embedding?
  2. Vetturi u spazju semantiku
  3. Id-distanza bħala kejl tas-similarità
  4. Applikazzjonijiet tal-embeddings
  5. Għaliex Mistral għall-embeddings?
  6. Punti Ewlenin

Aġġornat fit-2 ta’ Novembru, 2026 — Mudelli. Mistral Large 3 (mistral-large-2512) u Mistral Medium 3.5 ġew iddeprekati fil-31 ta’ Ottubru, 2026, u se jiġu rtirati fit-30 ta’ April, 2027. Is-suċċessur deżinjat tagħhom, Mistral Large 4 (mistral-large-4), ilu fil-preview pubbliku mis-6 ta’ Ottubru. L-eżempji f’dan il-kors jużaw l-alias mistral-large-latest, li għadu jipponta lejn Mistral Large 3 skont l-ispeċifikazzjoni uffiċjali tiegħu (ivverifikat fit-3 ta’ Novembru, 2026). Bl-istess mod, mistral-medium-latest jipponta lejn Mistral Medium 3.5. Dawn l-aliases se jibqgħu validi sal-30 ta’ April, 2027. Għal proġetti ġodda, ittestja mistral-large-4, is-suċċessur deżinjat tagħhom.

X’inhu embedding?

Embedding huwa rappreżentazzjoni numerika ta’ test bħala vettur f’ispazju multidimensjonali. Kull kelma, sentenza jew dokument jittrasforma f’lista ta’ numri—vettur—li jaqbad it-tifsira semantika tiegħu. Ir-raġuni għal din it-trasformazzjoni hija sempliċi: il-kompjuters ma jifhmux it-test raw; huma jaħdmu bin-numri. L-embeddings jittraduċu l-lingwa umana f’format li l-algoritmi jistgħu jimmanipulaw, iqabblu u janalizzaw.

Ikkunsidra tim ta’ appoġġ lill-klijenti li qed jarkivja għaxar snin ta’ biljetti (tickets). Sakemm dawn il-biljetti jibqgħu test sempliċi, l-unika operazzjoni mekkanika possibbli hija t-tiftix eżatt b’kliem kjavi: li tfittex “delivery” qatt ma ssib “shipment”. Darba li l-biljetti jiġu kkodifikati bħala vetturi, isiru punti komparabbli fl-ispazju. “My package never arrived” tiġi kklusterjata ma’ “order not received” anke jekk ma jaqsmu l-ebda kelma komuni.

Vetturi u spazju semantiku

Immaġina spazju b’dimensjonijiet ħafna (1,024 dimensjoni għal mistral-embed, pereżempju). Kull test jokkupa pożizzjoni preċiża f’dan l-ispazju, u testi b’tifsiriet simili jispiċċaw ġeometrikament viċin xulxin.

# An embedding is simply a list of numbers
embedding_example = [0.0234, -0.1567, 0.0891, 0.0456]  # 1024 values in reality

# Two similar sentences will have close vectors
sentence_1 = "The cat sleeps on the couch"     # -> vector A
sentence_2 = "The feline dozes on the sofa"    # -> vector B (close to A)
sentence_3 = "The stock market crashed yesterday" # -> vector C (far from A and B)

Din il-proprjetà hija dak li jagħmel lill-embeddings daqshekk qawwija: il-prossimità ġeometrika tirrifletti l-prossimità semantika. Il-mudell qatt ma tgħallem regola li tgħid li “feline” hija sinonimu għal “cat”. Minflok, tgħallem ipoġġi dawn iż-żewġ kliem f’kuntesti simili, li huwa biżżejjed biex iġib il-vetturi A u B eqreb xulxin waqt li jżomm ‘il bogħod minn C.

1024
Dimensions for mistral-embed (text)
3072
Dimensions for codestral-embed (code)
5
Precision types (dtype)
< 1s
API latency per request

Id-distanza bħala kejl tas-similarità

Biex tiddetermina jekk żewġ testi humiex simili, tkejjel id-distanza bejn il-vetturi tagħhom. Tliet metriki jiddominaw il-qasam. Id-distanza Ewklidew tikkorrispondi għal-linja dritta bejn żewġ punti: iqsar il-linja, aktar simili huma t-testi. Is-similarità tal-kosinu tkejjel l-angolu bejn żewġ vetturi; angolu ta’ 0° (kosinu = 1) ifisser li t-testi huma semantikament identiċi. Fl-aħħar nett, il-prodott dot huwa mgħaġġel biex jiġi kkalkulat, li jispjega għaliex jintuża komunement għar-ranking.

Is-similarità tal-kosinu saret l-istandard għax tinjora t-tul tal-vettur. Qabbel sommarju ta’ kuntratt ta’ tliet linji mal-kuntratt sħiħ ta’ erbgħin paġna. Id-distanza Ewklidew tippenalizza s-sommarju anke jekk ikopri l-istess suġġett eżatt, filwaqt li l-angolu bejn iż-żewġ vetturi jibqa’ żgħir.

import numpy as np

def cosine_similarity(vec_a, vec_b):
    """Calculate cosine similarity between two vectors."""
    dot_product = np.dot(vec_a, vec_b)
    norm_a = np.linalg.norm(vec_a)
    norm_b = np.linalg.norm(vec_b)
    return dot_product / (norm_a * norm_b)

# Result between -1 and 1
# 1.0 = identical, 0.0 = unrelated, -1.0 = opposite

Applikazzjonijiet tal-embeddings

L-embeddings isostnu ħafna applikazzjonijiet moderni, u jixraq tara kif tidher kull waħda fil-prattika. It-tiftix semantiku isib dokumenti bit-tifsira minflok b’kliem kjavi eżatti: bażi tad-data interna ta’ proċeduri tweġib “x’għandek tagħmel jekk klijent jirrifjuta l-kunsinna” anke jekk il-proċedura hija intitolata “ġestjoni tar-ritorni fid-depo”. Ir-RAG (Retrieval-Augmented Generation) jieħu din il-loġika pass ‘il quddiem billi jdaħħal dokumenti rkuprati fil-prompt ta’ LLM, u jippermettilu jwieġeb ibbażat fuq id-data tiegħek minflok il-memorja tat-taħriġ tiegħu.

Tliet każijiet ta’ użu oħra jisfruttaw l-istess ġeometrija. Il-klassifikazzjoni tat-test tikkategorizza awtomatikament id-dokumenti billi tosserva lejn liema grupp magħruf il-vettur tagħhom huwa l-eqreb—email li tasal tinżel f‘“billing” jew “technical” mingħajr l-ebda regola miktuba bl-idejn. Id-detezzjoni tad-duplikati tindividwa kontenut kważi identiku f’bażi tad-data, u tevita li tippubblika l-istess skeda tal-prodott darbtejn għax żewġ timijiet kitbuha. Il-klustering jiggruppa d-dokumenti skont it-tema mingħajr tikketti predefiniti, metodu komuni biex tifhem corpus li l-ebda ħadd ma jaf l-istruttura tiegħu. Fl-aħħar nett, is-sistemi ta’ rakkomandazzjoni jissuġġerixxu kontenut simili, eżattament bħall-mekkaniżmu ta’ “artikli relatati” fil-qiegħ ta’ paġna.

Għaliex Mistral għall-embeddings?

Mistral toffri żewġ mudelli speċjalizzati tal-embedding. mistral-embed jittratta l-lingwa naturali u jipproduċi 1,024 dimensjoni; codestral-embed huwa mħarreġ fuq il-kodiċi sors u jilħaq sa 3,072 dimensjoni. Inti tagħżel bejniethom abbażi tan-natura tal-materja prima tiegħek: dokumentazzjoni miktuba fuq naħa, fajls .py jew .ts fuq in-naħa l-oħra.

Dawn il-mudelli huma aċċessibbli permezz ta’ API sempliċi b’proporzjon eċċellenti ta’ prezz-prestazzjoni. Fil-lezzjonijiet li ġejjin, se titgħallem kif tużahom fil-prattika.

Punti Ewlenin

  • Embedding jittrasforma t-test f’vettur numeriku multidimensjonali
  • Il-prossimità ġeometrika bejn il-vetturi tirrifletti s-similarità semantika
  • Is-similarità tal-kosinu hija l-aktar metrika komuni biex tqabbel l-embeddings
  • Mistral toffri żewġ mudelli: mistral-embed (test) u codestral-embed (kodiċi)
  • L-embeddings huma l-bażi tar-RAG, it-tiftix semantiku u l-klustering