LLMs u Arkitettura
F'din il-paġna
Aġġornat fit-2 ta’ Novembru 2026 — Le Chat issa huwa Vibe. Mill-28 ta’ Mejju 2026, Le Chat sar Vibe (għadu f’chat.mistral.ai): aġent wieħed għax-xogħol u l-kodiċi, li jżomm il-konversazzjonijiet, l-issettjar u s-sottoskrizzjonijiet tiegħek. L-esperjenza antika ta’ Le Chat tibqa’ aċċessibbli fil-modalità Chat; fil-modalità Work, l-aġenti saru ħiliet (invokati b’
@), il-memorji huma l-bażi tal-għarfien, u t-tfittxija fil-fond hija l-ħila Deep Research. Il-pjanijiet issa jissejħu Mistral Free, Pro, Team u Enterprise. Din il-lezzjoni tuża l-isem Vibe; xi menus deskritti hawnhekk jistgħu biddlu l-isem jew il-post tagħhom.
Kif Jaħdem Mudell tal-Lingwa
Tuża mudell tal-lingwa kull darba li tagħmel mistoqsija fuq Vibe. Imma x’jiġri eżattament bejn il-mument li tagħfas Enter u l-mument li tidher it-tweġiba? Din il-lezzjoni tagħtik iċ-ċwievet biex tifhem l-arkitettura sottostanti mingħajr ma tidħol fid-dettalji matematiċi. Din mhix sempliċiment għarfien ġenerali bla ħlas: li tifhem il-mekkaniżmu jgħinek tbassar x’jagħmel il-mudell tajjeb, x’jagħmel ħażin, u għaliex.
X’inhu LLM?
LLM (Large Language Model jew Mudell Kbir tal-Lingwa) huwa programm tal-kompjuter imħarreġ fuq ammonti enormi ta’ test biex jitgħallem jibbaża l-kelma li jmiss f’sentenza. Dan il-prinċipju jidher sempliċi wisq—u madankollu, meta jiġi applikat fuq skala kbira, jipproduċi riżultati sorprendentement koerenti u utli. Konkretament, meta tagħmel mistoqsija lil Mistral Small 4, il-mudell jipproċedi hekk:
- Jibdel it-test tiegħek f’tokens
- Jipproċessa dawn it-tokens permezz ta’ biljuni ta’ kalkoli
- Jibbaża l-aktar token probabbli li għandu jmiss
- Jirrepeti l-operazzjoni token wara token sakemm jikkompleta t-tweġiba tiegħu
Dan jispjega fenomenu li osservajt mill-ewwel skambju tiegħek: it-tweġiba tidher progressivament fuq l-iskrin (streaming) għax il-mudell effettivament jiġġenera t-tweġiba tiegħu kelma b’kelma. Dak li tara jgħaddi mhux artifatt tad-display—hija l-ġenerazzjoni nnifisha, f’ħin reali.
Parametri tal-Mudell
Meta nitkellmu dwar mudell ta’ “7 biljun parametru” jew “14-il biljun parametru”, nirreferu għan-numru ta’ konnessjonijiet diġitali aġġustabbli li fihom il-mudell. Dawn il-parametri huma l-piżijiet tal-mudell. Biex nużaw analogija: jekk il-mudell kien moħħ, il-parametri kienu jkunu s-sinapsi—il-konnessjonijiet bejn in-newroni. Aktar ma jkun hemm parametri, aktar il-mudell ikun jista’ jaqbad sfumaturi u relazzjonijiet kumplessi fil-lingwa.
Madankollu, oqgħod attent li ma tagħmilx din iċ-ċifra l-uniku kriterju: mudell akbar mhuwiex awtomatikament aħjar. L-effiċjenza tiddependi daqstant ieħor fuq il-kwalità tad-data tat-taħriġ—data nadifa u diversa tipproduċi riżultati aħjar—l-arkitettura tal-mudell, jiġifieri kif huma organizzati l-parametri, it-tekniki ta’ taħriġ użati biex jiġu aġġustati dawn il-parametri, u l-fine-tuning, ir-raffinar wara t-taħriġ għal kompiti speċifiċi. Dan huwa preċiżament dak li jippermetti lil Mistral jikkompeti ma’ mudelli ħafna akbar: arkitettura effiċjenti u data ta’ taħriġ ta’ kwalità għolja.
L-Arkitettura Transformer
Il-LLMs moderni kollha jiddependu fuq l-arkitettura Transformer, introdotta fl-2017. Żewġ ideat biżżejjed biex tifhem l-essenzjali.
L-ewwel waħda hija l-mekkaniżmu tal-attenzjoni, il-qalb tat-Transformer. Dan jippermetti lill-mudell iħares lejn it-test kollu tad-dħul biex jifhem ir-relazzjonijiet bejn il-kliem, anke meta jkunu ‘l bogħod fis-sentenza. Ħu “Il-qattus li kien qed jorqod fuq is-sofa qam”: grazzi għall-attenzjoni, il-mudell jifhem li “qam” tirreferi għall-qattus, mhux għas-sofa. Din il-kapaċità li tgħaqqad elementi ‘l bogħod hija dak li jiddistingwi t-Transformers mill-ġenerazzjonijiet preċedenti ta’ mudelli tal-lingwa.
It-tieni idea hija l-impiljar ta’ saffi. Transformer jikkonsisti f’diversi saffi mpiljati, u kull wieħed jirraffina l-fehim tat-test: is-saffi bikrin jaqbdu relazzjonijiet grammatikali sempliċi, filwaqt li s-saffi fondi jifhmu kunċetti astratti u relazzjonijiet semantiċi kumplessi. Għalhekk, il-fehim jinbena permezz ta’ raffinar suċċessiv, eżatt bħal qari li jmur mis-sintassi għat-tifsira.
Mixture of Experts (MoE) — L-I speċjalità ta’ Mistral
Waħda mill-innovazzjonijiet ewlenin ta’ Mistral AI hija l-użu tal-arkitettura Mixture of Experts (MoE), popolarizzata ma’ Mixtral 8x7B. Il-prinċipju jikser mal-approċċ klassiku: minflok netwerk newrali massiv wieħed li jipproċessa kollox, MoE taqsam il-mudell f’diversi “esperti” speċjalizzati, u mekkaniżmu ta’ routing jagħżel, għal kull token ipproċessat, l-aktar esperti rilevanti.
Il-benefiċċju huwa doppju. F’termini ta’ effiċjenza, ftit esperti biss jiġu attivati għal kull token, li jnaqqas b’mod sinifikanti l-ħin tal-kalkolu. F’termini ta’ prestazzjoni, il-mudell jibbenefika mill-kapaċità totala tal-esperti kollha flimkien, filwaqt li jħallas biss l-ispiża tal-kalkolu għal dawk li effettivament jaħdmu—kull espert jista’ wkoll jispeċjalizza f’tip ta’ kontenut jew kompitu. Fil-prattika, mudell MoE ta’ 47 biljun parametru li jattiva biss 12-il biljun għal kull token jista’ joffri prestazzjoni komparabbli għal mudell dens ta’ 47 biljun, filwaqt li jkun veloċi daqs mudell ta’ 12-il biljun. Dan jispjega għaliex il-mudelli ta’ Mistral joffru proporzjon prestazzjoni/veloċità spiss superjuri għall-kompetizzjoni.
Piżijiet tal-Mudell
Il-Piżijiet huma l-valuri numeriċi li jiddefinixxu l-imġiba tal-mudell—dawn huma l-parametri famużi, ladarba jintemm it-taħriġ. Meta Mistral joħroġ mudell bħala “Open”, dan ifisser li dawn il-piżijiet huma downloadabbli. U li jkollok il-piżijiet ibiddel kollox: tista’ tospita l-mudell fuq is-servers tiegħek stess, tħaddmu mingħajr konnessjoni tal-internet, timmodifikah jew tagħmlu fine-tuning, u tintegraħ f’sistemi inkorporati. Mingħajr il-piżijiet, tiddependi mill-API tal-fornitur. Din hija d-differenza fundamentali bejn il-mudelli Open u Premier li ltqajt magħhom fil-lezzjonijiet preċedenti—issa tifhem x’hemm teknikament wara dan.
Taħriġ f’Żewġ Fażijiet
Kif jinħoloq mudell bħal Mistral Small 4? F’żewġ passi kbar. L-ewwel huwa l-pre-training: il-mudell jiġi espost għal ammonti enormi ta’ test—kotba, artikli, kodiċi sors, paġni tal-web—u jitgħallem l-istrutturi tal-lingwa. Din il-fażi teħtieġ eluf ta’ GPUs għal ġimgħat u tispiża miljuni ta’ ewro; tagħti lill-mudell il-kultura u l-mastery tal-lingwa tiegħu.
It-tieni pass huwa l-fine-tuning u l-allinjament: il-mudell imħarreġ minn qabel jiġi raffinat biex isegwi struzzjonijiet, ikun utli, u jevita li jipproduċi kontenut perikoluż. Din il-fażi tiddependi fuq data annotata mill-bniedem u tekniki bħal RLHF (Reinforcement Learning from Human Feedback). Dan huwa dak li jibdel predittur tat-test mhux maħdum f’assistent kapaċi għad-djalogu—id-differenza bejn mudell li jikkompleta frażijiet u mudell li jwieġbek.
Punti Ewlenin
- LLM jibbaża t-token li jmiss, ripetut eluf ta’ drabi biex jipproduċi tweġiba sħiħa
- Il-Parametri (piżijiet) huma l-konnessjonijiet diġitali li jikkodifikaw l-għarfien tal-mudell
- L-arkitettura Transformer u l-mekkaniżmu tal-attenzjoni tagħha jippermettu li jinftiehmu r-relazzjonijiet fit-test
- Mixture of Experts (MoE) hija l-ispeċjalità ta’ Mistral: prestazzjoni ta’ mudell kbir, veloċità ta’ wieħed żgħir
- Il-mudelli jinħolqu f’żewġ fażijiet: pre-training massiv u mbagħad fine-tuning immirat
- Il-piżijiet miftuħa jippermettu l-awto-ospitar u l-personalizzazzjoni