Lähe põhisisu juurde
Eesti— Vali keel
Menüü

LLM-id ja arhitektuur

Õppetund 11 / 16 Värskendatud 2. november 2026 Algajatele
Sellel lehel
  1. Kuidas keelemudel töötab
  2. Mis on LLM?
  3. Mudeli parameetrid
  4. Transformeri arhitektuur
  5. Ekspertide segu (MoE) – Mistrali eripära
  6. Mudeli kaalud
  7. Kahefaasiline treening
  8. Peamised punktid

Uuendatud 2. novembril 2026 — Le Chat on nüüd Vibe. Alates 28. maist 2026 on Le Chat nüüd Vibe (aadressil chat.mistral.ai): üks agent tööks ja kodeerimiseks, mis kannab üle sinu vestlused, seaded ja tellimused. Vana Le Chati kasutajakogemus on endiselt kättesaadav režiimis Chat; režiimis Work on agendid nüüd oskused (käivitatakse sümboliga @), mälud on teadmistebaas ja põhjalik otsing on oskus Deep Research. Plaanid kannavad nüüd nimesid Mistral Free, Pro, Team ja Enterprise. Selles õppetükis kasutame nime Vibe; mõned siin kirjeldatud menüüd võivad olla muutnud nime või asukohta.

Kuidas keelemudel töötab

Kasutad keelemudelit iga kord, kui esitad Vibe’is küsimuse. Aga mis tegelikult toimub hetkest, kui vajutad Enterit, kuni vastuse ilmumiseni? See õppetükk annab sulle võtmed aluseks oleva arhitektuuri mõistmiseks, süvenemata matemaatilistesse detailidesse. See pole lihtsalt tasuta üldteadmine: mehhanismi mõistmine aitab sul ennustada, mida mudel teeb hästi, mida halvasti ja miks.

Mis on LLM?

LLM (Large Language Model ehk suur keelemudel) on arvutiprogramm, mida on treenitud tohutute tekstikogustega, et õppida ennustama lauses järgmist sõna. See printsiip tundub petlikult lihtne – ometi toodab see suurele skaalale rakendatuna üllatavalt sidusaid ja kasulikke tulemusi. Konkreetsemalt, kui küsid Mudelilt Mistral Small 4 küsimuse, tegutseb mudel järgmiselt:

  1. See teisendab sinu teksti tokeniteks
  2. See töötleb neid tokeneid läbi miljardite arvutuste
  3. See ennustab kõige tõenäolisemat tokenit, mis peaks järgnema
  4. See kordab toimingut token haaval, kuni vastus on valmis

See seletab nähtust, mida märkasid juba oma esimesest suhtlusest: vastus ilmub ekraanile järk-järgult (voogedastus), sest mudel genereerib oma vastuse sõna-sõnalt. See, mida näed kerimas, pole kuvaartefakt – see on genereerimine ise reaalajas.

Mudeli parameetrid

Kui räägime “7 miljardi parameetriga” või “14 miljardi parameetriga” mudelist, peame silmas mudelis olevate reguleeritavate digitaalsete ühenduste arvu. Need parameetrid on mudeli kaalud. Analoogiana: kui mudel oleks aju, oleksid parameetrid sünapsid – neuronite vahelised ühendused. Mida rohkem parameetreid, seda rohkem nüansse ja keerukaid seoseid keeles suudab mudel haarata.

Olge aga ettevaatlik, et mitte muuta seda numbrit ainsaks kriteeriumiks: suurem mudel pole automaatselt parem. Tõhusus sõltub sama palju treeningandmete kvaliteedist – puhtad ja mitmekesised andmed annavad paremaid tulemusi –, mudeli arhitektuurist, ehk sellest, kuidas parameetrid on organiseeritud, kasutatud treeningtehnikatest nende parameetrite kohandamiseks ja peenreguleerimisest (fine-tuning), mis on treeningujärgne täiustamine kindlate ülesannete jaoks. Just see võimaldab Mistralil konkureerida palju suuremate mudelitega: tõhus arhitektuur ja kõrgekvaliteedilised treeningandmed.

Transformeri arhitektuur

Kõik kaasaegsed LLM-id tuginevad Transformeri arhitektuurile, mida tutvustati 2017. aastal. Põhilise mõistmiseks piisab kahest ideest.

Esimene on tähelepanu (attention) mehhanism, mis on Transformeri süda. See võimaldab mudelil “vaadata” kogu sisendteksti, et mõista sõnadevahelisi seoseid, isegi kui need on lauses üksteisest kaugel. Võta näiteks “Kass, kes magas diivanil, ärkas üles”: tänu tähelepanule mõistab mudel, et “ärkas üles” viitab kassile, mitte diivanile. Just see võime siduda kaugel asuvaid elemente eristab Transformatoreid keelemudelite eelmistest põlvkondadest.

Teine idee on kihtide virnastamine. Transformer koosneb mitmest virnastatud kihist ja igaüks neist täiustab teksti mõistmist: varased kihid tabavad lihtsaid grammatilisi seoseid, samas kui sügavad kihid haaravad abstraktseid mõisteid ja keerukaid semantilisi seoseid. Mõistmine kujuneb seega järjestikuste täiustuste kaudu, sarnaselt lugemisega, mis liigub süntaksilt tähendusele.

Ekspertide segu (MoE) – Mistrali eripära

Üks Mistral AI suuremaid uuendusi on ekspertide segu (Mixture of Experts ehk MoE) arhitektuuri kasutamine, mis sai populaarseks Mudeliga Mixtral 8x7B. Printsiip murdub klassikalise lähenemisega: ühe tohutu närvivõrgu asemel, mis töötleb kõike, jagab MoE mudeli mitmeks spetsialiseerunud “eksperdiks” ja marsruutimismehhanism valib iga töödeldava tokeni jaoks kõige asjakohasemad eksperdid.

Kasu on kahekordne. Tõhususe seisukohalt aktiveeritakse iga tokeni jaoks vaid mõned eksperdid, mis vähendab oluliselt arvutusaega. Tulemuslikkuse seisukohalt saab mudel kasu kõigi ekspertide koguvõimsusest, makstes arvutuskulu ainult nende eest, kes tegelikult töötavad – iga ekspert saab ka spetsialiseeruda teatud tüüpi sisule või ülesandele. Praktikas võib 47 miljardi parameetriga MoE mudel, mis aktiveerib tokeni kohta vaid 12 miljardit, pakkuda tulemuslikkust, mis on võrreldav tiheda 47 miljardi parameetriga mudeliga, olles samas sama kiire kui 12 miljardi parameetriga mudel. See seletab, miks Mistrali mudelite tulemuslikkuse ja kiiruse suhe on sageli parem kui konkurentidel.

Mudeli kaalud

Kaalud on numbrilised väärtused, mis määravad mudeli käitumise – need on kuulsad parameetrid pärast treeningu lõppu. Kui Mistral avaldab mudeli kui “Open”, tähendab see, et need kaalud on allalaaditavad. Kaalude omamine muudab kõike: saad majutada mudeli oma serveritesse, käivitada seda ilma internetiühenduseta, seda muuta või peenreguleerida ning integreerida manussüsteemidesse. Ilma kaaludeta sõltud teenusepakkuja API-st. See on fundamentaalne erinevus Open ja Premier mudelite vahel, millega kohtusid eelmistes õppetükkides – nüüd mõistad, mis selle taga tehniliselt seisab.

Kahefaasiline treening

Kuidas luuakse selline mudel nagu Mistral Small 4? Kahes põhietapis. Esimene on eeltreening: mudel puutub kokku tohutute tekstikogustega – raamatud, artiklid, lähtekood, veebilehed – ja õpib keelestruktuure. See faas nõuab tuhandeid GPU-sid nädalate jooksul ja maksab miljoneid eurosid; see annab mudelile kultuuri ja keeleoskuse.

Teine samm on peenreguleerimine ja joondamine: eeltreenitud mudelit täiustatakse, et see järgiks juhiseid, oleks kasulik ja väldiks ohtliku sisu loomist. See faas tugineb inimeste annoteeritud andmetele ja tehnikatele nagu RLHF (Reinforcement Learning from Human Feedback). Just see muudab toore tekstiennustaja vestlusvõimeliseks assistendiks – erinevus mudeli vahel, mis täiendab fraase, ja mudeli vahel, mis vastab sulle.

Peamised punktid

  • LLM ennustab järgmist tokenit, korrates seda tuhandeid kordi tervikliku vastuse loomiseks
  • Parameetrid (kaalud) on digitaalsed ühendused, mis kodeerivad mudeli teadmisi
  • Transformeri arhitektuur ja selle tähelepanu mehhanism võimaldavad mõista seoseid tekstis
  • Ekspertide segu (MoE) on Mistrali eripära: suure mudeli tulemuslikkus, väikese mudeli kiirus
  • Mudeleid luuakse kahes faasis: mahukas eeltreening ja seejärel sihipärane peenreguleerimine
  • Avatud kaalud võimaldavad isemajutust ja kohandamist