LLM-ji in arhitektura
Na tej strani
Posodobljeno 2. novembra 2026 — Le Chat je zdaj Vibe. Od 28. maja 2026 dalje je Le Chat postal Vibe (še vedno na chat.mistral.ai): en sam agent za delo in kodo, ki ohranja tvoja pogovora, nastavitve in naročnine. Stara izkušnja Le Chat je še vedno dostopna v načinu Chat; v načinu Work so agenti zdaj veščine (priklicane z `@»), spomini so baza znanja, globoko iskanje pa veščina Deep Research. Načrti se zdaj imenujejo Mistral Free, Pro, Team in Enterprise. Ta lekcija zdaj uporablja ime Vibe; nekateri tukaj opisani meniji so morda spremenili imena ali lokacije.
Kako deluje jezikovni model
Jezikovni model uporabiš vsakič, ko v Vibeu postaviš vprašanje. A kaj se pravzaprav zgodi med trenutkom, ko pritisneš Enter, in trenutkom, ko se pojavi odgovor? Ta lekcija ti daje ključe za razumevanje osnovne arhitekture, ne da bi se poglabljal v matematične podrobnosti. To ni le splošno znanje: razumevanje mehanizma ti pomaga predvideti, kaj model počne dobro, kaj slabo in zakaj.
Kaj je LLM?
LLM (Large Language Model ali velik jezikovni model) je računalniški program, usposobljen na ogromnih količinah besedila, da se nauči napovedovati naslednjo besedo v stavku. To načelo se zdi varljivo preprosto – a vendar, ko ga uporabimo v velikem merilu, prinaša presenetljivo koherentne in uporabne rezultate. Konkretno, ko postaviš vprašanje modelu Mistral Small 4, model deluje takole:
- Tvoje besedilo pretvori v žetone (tokens)
- Te žetone obdela z milijardami izračunov
- Napove najbolj verjeten žeton, ki bi moral slediti
- Postopek ponavlja žeton za žetonom, dokler ne zaključi svojega odgovora
To pojasnjuje pojav, ki si ga opazil že pri prvem pogovoru: odgovor se na zaslonu pojavlja postopoma (pretakanje ali streaming), ker model svoj odgovor dejansko ustvarja besedo za besedo. Kar vidiš drseti, ni napaka prikaza – to je samo generiranje v realnem času.
Parametri modela
Ko govorimo o modelu z „7 milijardami parametrov” ali „14 milijardami parametrov”, mislimo na število prilagodljivih digitalnih povezav, ki jih model vsebuje. Ti parametri so uteži modela. Če uporabimo analogijo: če bi bil model možgani, bi bili parametri sinapse – povezave med nevroni. Več parametrov pomeni, da model lahko zajame več odtenkov in kompleksnejših jezikovnih razmerij.
Vendar bodi previden, da tega števila ne spremeniš v edino merilo: večji model samodejno ni boljši. Učinkovitost je enako odvisna od kakovosti učnih podatkov – čisti in raznoliki podatki dajejo boljše rezultate – arhitekture modela, kar pomeni, kako so parametri organizirani, tehnik usposabljanja, uporabljenih za prilagajanje teh parametrov, in dodatnega finega uglaševanja (fine-tuning), kar je izpopolnjevanje po usposabljanju za specifične naloge. Prav to omogoča Mistralu, da tekmuje z veliko večjimi modeli: učinkovita arhitektura in visokokakovostni učni podatki.
Arhitektura Transformer
Vsi sodobni LLM-ji temeljijo na arhitekturi Transformer, predstavljeni leta 2017. Za razumevanje bistva sta dovolj dve ideji.
Prva je mehanizem pozornosti (attention), srce Transformatorja. Modelu omogoča, da „pogleda” celotno vhodno besedilo in razume razmerja med besedami, tudi če so v stavku oddaljene. Vzemimo stavek: „Mačka, ki je spala na kavču, se je zbudila”: zahvaljujoč pozornosti model razume, da se „se je zbudila” nanaša na mačko, ne na kavč. Ta sposobnost povezovanja oddaljenih elementov je tisto, kar loči Transformatorje od prejšnjih generacij jezikovnih modelov.
Druga ideja je skladiščenje plastí (layers). Transformator je sestavljen iz več zaporednih plasti in vsaka izpopolnjuje razumevanje besedila: zgodnje plasti zajamejo preprosta slovnična razmerja, medtem ko globoke plasti dojamejo abstraktne koncepte in kompleksna semantična razmerja. Razumevanje je torej zgrajeno skozi zaporedna izpopolnjevanja, podobno kot branje, ki prehaja od sintakse do pomena.
Mešanica strokovnjakov (MoE) – Mistralova posebnost
Ena glavnih inovacij podjetja Mistral AI je uporaba arhitekture Mešanica strokovnjakov (Mixture of Experts ali MoE), ki je postala priljubljena z modelom Mixtral 8x7B. Načelo prelamlja klasični pristop: namesto ene same ogromne nevronske mreže, ki obdela vse, MoE razdeli model na več specializiranih „strokovnjakov”, mehanizem usmerjanja pa za vsak obdelan žeton izbere najustreznejše strokovnjake.
Korist je dvojna. Glede učinkovitosti se za vsak žeton aktivira le nekaj strokovnjakov, kar bistveno zmanjša čas izračuna. Glede zmogljivosti model izkorišča skupno zmogljivost vseh strokovnjakov, hkrati pa plača strošek izračuna le za tiste, ki dejansko delajo – vsak strokovnjak se lahko specializira tudi za določeno vrsto vsebine ali nalogo. V praksi lahko model MoE s 47 milijardami parametrov, ki na žeton aktivira le 12 milijard, ponudi zmogljivost, primerljivo z gostim modelom s 47 milijardami parametrov, hkrati pa je hiter kot model z 12 milijardami parametrov. To pojasnjuje, zakaj modeli Mistral pogosto nudijo boljše razmerje med zmogljivostjo in hitrostjo od konkurence.
Uteži modela
Uteži so numerične vrednosti, ki določajo obnašanje modela – to so znameniti parametri, ko je usposabljanje končano. Ko Mistral izda model kot „Open” (odprt), to pomeni, da so te uteži prenosljive. In posedovanje uteži spremeni vse: model lahko gostiš na svojih strežnikih, ga poganjaš brez internetne povezave, ga modificiraš ali dodatno fino uglašuješ ter integriraš v vgrajene sisteme. Brez uteži si odvisen od API-ja ponudnika. To je temeljna razlika med odprtimi (Open) in premier modeli, s katerimi si se srečal v prejšnjih lekcijah – zdaj razumeš, kaj tehnično stoji za tem.
Usposabljanje v dveh fazah
Kako nastane model, kot je Mistral Small 4? V dveh glavnih korakih. Prvi je predhodno usposabljanje (pre-training): model je izpostavljen ogromnim količinam besedila – knjigam, člankom, izvorni kodi, spletnim stranem – in se nauči jezikovnih struktur. Ta faza zahteva tisoče grafičnih procesorjev (GPU) tedne dni in stane milijone evrov; modelu daje njegovo „kulturo” in obvladovanje jezika.
Drugi korak je fino uglaševanje in poravnava (fine-tuning and alignment): predhodno usposobljen model se izpopolni, da sledi navodilom, je uporaben in se izogiba ustvarjanju nevarnih vsebin. Ta faza temelji na podatkih, ki so jih označili ljudje, in tehnikah, kot je RLHF (utrjevanje z učenjem iz človeških povratnih informacij). To je tisto, kar surovega napovedovalca besedila spremeni v asistenta, zmožnega dialoga – razlika med modelom, ki dopolnjuje stavke, in modelom, ki ti odgovarja.
Ključne ugotovitve
- LLM napoveduje naslednji žeton, kar se tisočkrat ponovi, da nastane celoten odgovor
- Parametri (uteži) so digitalne povezave, ki kodirajo znanje modela
- Arhitektura Transformer in njen mehanizem pozornosti omogočata razumevanje razmerij v besedilu
- Mešanica strokovnjakov (MoE) je Mistralova posebnost: zmogljivost velikega modela, hitrost majhnega
- Modeli nastanejo v dveh fazah: obsežno predhodno usposabljanje, nato ciljno fino uglaševanje
- Odprte uteži omogočajo samostojno gostovanje in prilagajanje