Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

LLM-ovi i arhitektura

Lekcija 11 od 16 Ažurirano 2. studenoga 2026. Početnik
Na ovoj stranici
  1. Kako jezični model funkcionira
  2. Što je LLM?
  3. Parametri modela
  4. Arhitektura Transformera
  5. Mješavina stručnjaka (MoE) — Mistralova specijalnost
  6. Težine modela
  7. Obuka u dvije faze
  8. Ključne točke

Ažurirano 2. studenoga 2026. — Le Chat je sada Vibe. Od 28. svibnja 2026., Le Chat je postao Vibe (i dalje na chat.mistral.ai): jedinstveni agent za posao i kodiranje koji zadržava tvoje razgovore, postavke i pretplate. Legacy iskustvo Le Chata ostaje dostupno u načinu Chat; u načinu Work, agenti su sada vještine (pozivaju se s @), memorije su baza znanja, a dubinsko pretraživanje je vještina Deep Research. Planovi se sada nazivaju Mistral Free, Pro, Team i Enterprise. Ova lekcija koristi naziv Vibe; neki izbornici opisani ovdje možda su promijenili nazive ili lokacije.

Kako jezični model funkcionira

Koristiš jezični model svaki put kada postaviš pitanje na Vibeu. Ali što se točno događa između trenutka kada pritisneš Enter i trenutka kada se pojavi odgovor? Ova ti lekcija daje ključeve za razumijevanje temeljne arhitekture bez ulaska u matematičke detalje. To nije samo opće znanje: razumijevanje mehanizma pomaže ti predvidjeti što model radi dobro, što loše i zašto.

Što je LLM?

LLM (Large Language Model ili veliki jezični model) računalni je program obučen na ogromnim količinama teksta kako bi naučio predviđati sljedeću riječ u rečenici. Ovo načelo djeluje varljivo jednostavno – a ipak, primijenjeno u velikom mjerilu, proizvodi iznenađujuće koherentne i korisne rezultate. Konkretno, kada postaviš pitanje modelu Mistral Small 4, model postupak na sljedeći način:

  1. Pretvara tvoj tekst u tokene
  2. Obrađuje te tokene kroz milijarde izračuna
  3. Predviđa najvjerojatniji token koji bi trebao uslijediti
  4. Ponavlja operaciju token po token dok ne dovrši svoj odgovor

To objašnjava fenomen koji si primijetio već pri prvom razgovoru: odgovor se na zaslonu pojavljuje postupno (streaming) jer model zapravo generira svoj odgovor riječ po riječ. Ono što vidiš kako se pomiče nije artefakt prikaza – to je sama generacija u stvarnom vremenu.

Parametri modela

Kada govorimo o modelu s „7 milijardi parametara“ ili „14 milijardi parametara“, mislimo na broj podesivih digitalnih veza koje model sadrži. Ti parametri predstavljaju težine modela. Da upotrijebimo analogiju: da je model mozak, parametri bi bili sinapse – veze između neurona. Što je više parametara, to model može uhvatiti više nijansi i složenih odnosa u jeziku.

Međutim, pazi da taj broj ne pretvoriš u jedini kriterij: veći model nije automatski bolji. Učinkovitost jednako ovisi o kvaliteti podataka za obuku – čisti i raznoliki podaci daju bolje rezultate – arhitekturi modela, odnosno načinu na koji su parametri organizirani, tehnikama obuke korištenima za prilagodbu tih parametara te finom podešavanju (fine-tuning), odnosno doradi nakon obuke za specifične zadatke. Upravo to omogućuje Mistralu da se natječe s mnogo većim modelima: učinkovita arhitektura i podaci za obuku visoke kvalitete.

Arhitektura Transformera

Svi moderni LLM-ovi oslanjaju se na arhitekturu Transformera, uvedenu 2017. godine. Dvije su ideje dovoljne da shvatiš bit.

Prva je mehanizam pažnje (attention), srce Transformera. On omogućuje modelu da „gleda“ cijeli ulazni tekst kako bi razumio odnose između riječi, čak i kada su one udaljene u rečenici. Uzmi primjer: „Mačka koja je spavala na kauzu probudila se“: zahvaljujući pažnji, model razumije da se „probudila“ odnosi na mačku, a ne na kauč. Ta sposobnost povezivanja udaljenih elemenata ono je što razlikuje Transformatore od prethodnih generacija jezičnih modela.

Druga ideja je slaganje slojeva. Transformator se sastoji od više složenih slojeva, a svaki od njih produbljuje razumijevanje teksta: rani slojevi hvataju jednostavne gramatičke odnose, dok duboki slojevi shvaćaju apstraktne koncepte i složene semantičke odnose. Razumijevanje se stoga gradi kroz uzastopna pročišćavanja, baš kao čitanje koje prelazi od sintakse do značenja.

Mješavina stručnjaka (MoE) — Mistralova specijalnost

Jedna od glavnih inovacija tvrtke Mistral AI je korištenje arhitekture Mješavine stručnjaka (Mixture of Experts – MoE), popularizirane s modelom Mixtral 8x7B. Načelo prekida s klasičnim pristupom: umjesto jedne masivne neuronske mreže koja obrađuje sve, MoE dijeli model na nekoliko specijaliziranih „stručnjaka“, a mehanizam usmjeravanja za svaki obrađeni token odabire najrelevantnije stručnjake.

Prednost je dvostruka. Što se tiče učinkovitosti, za svaki se token aktivira samo nekoliko stručnjaka, što značajno smanjuje vrijeme izračuna. Što se tiče performansi, model ima koristi od ukupnog kapaciteta svih stručnjaka zajedno, dok plaća trošak izračuna samo za one koji zapravo rade – svaki se stručnjak također može specijalizirati za određenu vrstu sadržaja ili zadatka. U praksi, MoE model s 47 milijardi parametara koji aktivira samo 12 milijardi po token može ponuditi performanse usporedive s gustim (dense) modelom od 47 milijardi, a biti brz poput modela od 12 milijardi. To objašnjava zašto Mistralovi modeli nude omjer performansi i brzine često superioran u odnosu na konkurenciju.

Težine modela

Težine su numeričke vrijednosti koje definiraju ponašanje modela – to su oni slavni parametri, jednom kada je obuka završena. Kada Mistral objavi model kao „Open“, to znači da su te težine dostupne za preuzimanje. A posjedovanje težina mijenja sve: model možeš hostati na vlastitim poslužiteljima, pokretati ga bez internetske veze, modificirati ga ili fino podesiti te ga integrirati u ugrađene sustave. Bez težina ovisiš o API-ju pružatelja usluge. To je temeljna razlika između Open i Premier modela na koje si naišao u prethodnim lekcijama – sada razumiješ što tehnički stoji iza toga.

Obuka u dvije faze

Kako se stvara model poput Mistral Small 4? U dva velika koraka. Prvi je predobuka (pre-training): model se izlaže ogromnim količinama teksta – knjigama, člancima, izvornom kodu, web stranicama – i uči strukture jezika. Ova faza zahtijeva tisuće GPU-ova tijekom tjedana i košta milijune eura; ona modelu daje kulturu i jezično majstorstvo.

Drugi korak je fino podešavanje i usklađivanje (fine-tuning and alignment): predobučeni model se dorauje kako bi slijedio upute, bio koristan i izbjegavao proizvodnju opasnog sadržaja. Ova se faza oslanja na podatke annotirane od strane ljudi i tehnike poput RLHF-a (pojačano učenje na temelju ljudskih povratnih informacija). To je ono što sirovi prediktor teksta pretvara u asistenta sposobnog za dijalog – razlika između modela koji dovršava rečenice i modela koji ti odgovara.

Ključne točke

  • LLM predviđa sljedeći token, ponavljajući to tisućama puta kako bi proizveo cjelovit odgovor
  • Parametri (težine) digitalne su veze koje kodiraju znanje modela
  • Arhitektura Transformera i njezin mehanizam pažnje omogućuju razumijevanje odnosa u tekstu
  • Mješavina stručnjaka (MoE) Mistralova je specijalnost: performanse velikog modela, brzina malog
  • Modeli se stvaraju u dvije faze: masivna predobuka, a zatim ciljano fino podešavanje
  • Otvorene težine omogućuju samostalno hostanje i prilagodbu