Introduzzjoni għall-Embeddings
F'din il-paġna
Aġġornat fit-2 ta’ Novembru, 2026 — Mudelli. Mistral Large 3 (
mistral-large-2512) u Mistral Medium 3.5 ġew iddeprekati fil-31 ta’ Ottubru, 2026, u se jiġu rtirati fit-30 ta’ April, 2027. Is-suċċessur deżinjat tagħhom, Mistral Large 4 (mistral-large-4), ilu fil-preview pubbliku mis-6 ta’ Ottubru. L-eżempji f’dan il-kors jużaw l-aliasmistral-large-latest, li għadu jipponta lejn Mistral Large 3 skont l-ispeċifikazzjoni uffiċjali tiegħu (ivverifikat fit-3 ta’ Novembru, 2026). Bl-istess mod,mistral-medium-latestjipponta lejn Mistral Medium 3.5. Dawn l-aliases se jibqgħu validi sal-30 ta’ April, 2027. Għal proġetti ġodda, ittestjamistral-large-4, is-suċċessur deżinjat tagħhom.
X’inhu embedding?
Embedding huwa rappreżentazzjoni numerika ta’ test bħala vettur f’ispazju multidimensjonali. Kull kelma, sentenza jew dokument jittrasforma f’lista ta’ numri—vettur—li jaqbad it-tifsira semantika tiegħu. Ir-raġuni għal din it-trasformazzjoni hija sempliċi: il-kompjuters ma jifhmux it-test raw; huma jaħdmu bin-numri. L-embeddings jittraduċu l-lingwa umana f’format li l-algoritmi jistgħu jimmanipulaw, iqabblu u janalizzaw.
Ikkunsidra tim ta’ appoġġ lill-klijenti li qed jarkivja għaxar snin ta’ biljetti (tickets). Sakemm dawn il-biljetti jibqgħu test sempliċi, l-unika operazzjoni mekkanika possibbli hija t-tiftix eżatt b’kliem kjavi: li tfittex “delivery” qatt ma ssib “shipment”. Darba li l-biljetti jiġu kkodifikati bħala vetturi, isiru punti komparabbli fl-ispazju. “My package never arrived” tiġi kklusterjata ma’ “order not received” anke jekk ma jaqsmu l-ebda kelma komuni.
Vetturi u spazju semantiku
Immaġina spazju b’dimensjonijiet ħafna (1,024 dimensjoni għal mistral-embed, pereżempju). Kull test jokkupa pożizzjoni preċiża f’dan l-ispazju, u testi b’tifsiriet simili jispiċċaw ġeometrikament viċin xulxin.
# An embedding is simply a list of numbers
embedding_example = [0.0234, -0.1567, 0.0891, 0.0456] # 1024 values in reality
# Two similar sentences will have close vectors
sentence_1 = "The cat sleeps on the couch" # -> vector A
sentence_2 = "The feline dozes on the sofa" # -> vector B (close to A)
sentence_3 = "The stock market crashed yesterday" # -> vector C (far from A and B)
Din il-proprjetà hija dak li jagħmel lill-embeddings daqshekk qawwija: il-prossimità ġeometrika tirrifletti l-prossimità semantika. Il-mudell qatt ma tgħallem regola li tgħid li “feline” hija sinonimu għal “cat”. Minflok, tgħallem ipoġġi dawn iż-żewġ kliem f’kuntesti simili, li huwa biżżejjed biex iġib il-vetturi A u B eqreb xulxin waqt li jżomm ‘il bogħod minn C.
Id-distanza bħala kejl tas-similarità
Biex tiddetermina jekk żewġ testi humiex simili, tkejjel id-distanza bejn il-vetturi tagħhom. Tliet metriki jiddominaw il-qasam. Id-distanza Ewklidew tikkorrispondi għal-linja dritta bejn żewġ punti: iqsar il-linja, aktar simili huma t-testi. Is-similarità tal-kosinu tkejjel l-angolu bejn żewġ vetturi; angolu ta’ 0° (kosinu = 1) ifisser li t-testi huma semantikament identiċi. Fl-aħħar nett, il-prodott dot huwa mgħaġġel biex jiġi kkalkulat, li jispjega għaliex jintuża komunement għar-ranking.
Is-similarità tal-kosinu saret l-istandard għax tinjora t-tul tal-vettur. Qabbel sommarju ta’ kuntratt ta’ tliet linji mal-kuntratt sħiħ ta’ erbgħin paġna. Id-distanza Ewklidew tippenalizza s-sommarju anke jekk ikopri l-istess suġġett eżatt, filwaqt li l-angolu bejn iż-żewġ vetturi jibqa’ żgħir.
import numpy as np
def cosine_similarity(vec_a, vec_b):
"""Calculate cosine similarity between two vectors."""
dot_product = np.dot(vec_a, vec_b)
norm_a = np.linalg.norm(vec_a)
norm_b = np.linalg.norm(vec_b)
return dot_product / (norm_a * norm_b)
# Result between -1 and 1
# 1.0 = identical, 0.0 = unrelated, -1.0 = opposite
Applikazzjonijiet tal-embeddings
L-embeddings isostnu ħafna applikazzjonijiet moderni, u jixraq tara kif tidher kull waħda fil-prattika. It-tiftix semantiku isib dokumenti bit-tifsira minflok b’kliem kjavi eżatti: bażi tad-data interna ta’ proċeduri tweġib “x’għandek tagħmel jekk klijent jirrifjuta l-kunsinna” anke jekk il-proċedura hija intitolata “ġestjoni tar-ritorni fid-depo”. Ir-RAG (Retrieval-Augmented Generation) jieħu din il-loġika pass ‘il quddiem billi jdaħħal dokumenti rkuprati fil-prompt ta’ LLM, u jippermettilu jwieġeb ibbażat fuq id-data tiegħek minflok il-memorja tat-taħriġ tiegħu.
Tliet każijiet ta’ użu oħra jisfruttaw l-istess ġeometrija. Il-klassifikazzjoni tat-test tikkategorizza awtomatikament id-dokumenti billi tosserva lejn liema grupp magħruf il-vettur tagħhom huwa l-eqreb—email li tasal tinżel f‘“billing” jew “technical” mingħajr l-ebda regola miktuba bl-idejn. Id-detezzjoni tad-duplikati tindividwa kontenut kważi identiku f’bażi tad-data, u tevita li tippubblika l-istess skeda tal-prodott darbtejn għax żewġ timijiet kitbuha. Il-klustering jiggruppa d-dokumenti skont it-tema mingħajr tikketti predefiniti, metodu komuni biex tifhem corpus li l-ebda ħadd ma jaf l-istruttura tiegħu. Fl-aħħar nett, is-sistemi ta’ rakkomandazzjoni jissuġġerixxu kontenut simili, eżattament bħall-mekkaniżmu ta’ “artikli relatati” fil-qiegħ ta’ paġna.
Għaliex Mistral għall-embeddings?
Mistral toffri żewġ mudelli speċjalizzati tal-embedding. mistral-embed jittratta l-lingwa naturali u jipproduċi 1,024 dimensjoni; codestral-embed huwa mħarreġ fuq il-kodiċi sors u jilħaq sa 3,072 dimensjoni. Inti tagħżel bejniethom abbażi tan-natura tal-materja prima tiegħek: dokumentazzjoni miktuba fuq naħa, fajls .py jew .ts fuq in-naħa l-oħra.
Dawn il-mudelli huma aċċessibbli permezz ta’ API sempliċi b’proporzjon eċċellenti ta’ prezz-prestazzjoni. Fil-lezzjonijiet li ġejjin, se titgħallem kif tużahom fil-prattika.
Punti Ewlenin
- Embedding jittrasforma t-test f’vettur numeriku multidimensjonali
- Il-prossimità ġeometrika bejn il-vetturi tirrifletti s-similarità semantika
- Is-similarità tal-kosinu hija l-aktar metrika komuni biex tqabbel l-embeddings
- Mistral toffri żewġ mudelli: mistral-embed (test) u codestral-embed (kodiċi)
- L-embeddings huma l-bażi tar-RAG, it-tiftix semantiku u l-klustering