LLM-arkkitehtuuri
Tällä sivulla
Päivitetty 2. marraskuuta 2026 — Le Chat on nyt Vibe. 28. toukokuuta 2026 lähtien Le Chat on ollut Vibe (osoitteessa chat.mistral.ai): yksi agentti työhön ja koodaukseen, joka säilyttää keskustelusi, asetuksesi ja tilauksesi. Vanha Le Chat -kokemus on edelleen käytettävissä Chat-tilassa; Work-tilassa agenteista on tullut taitoja (kutsutaan merkillä
@), muistit ovat tietopankki ja syvähaku on Deep Research -taito. Tilaukset ovat nyt nimeltään Mistral Free, Pro, Team ja Enterprise. Tässä oppitunnissa käytetään nimeä Vibe; jotkin tässä kuvatut valikot voivat olla muuttaneet nimeään tai sijaintiaan.
Miten kielimalli toimii
Käytät kielimallia joka kerta, kun esität kysymyksen Vibessä. Mutta mitä oikeastaan tapahtuu sen hetken välillä, kun painat Enter-näppäintä, ja hetken välillä, kun vastaus ilmestyy näkyviin? Tämä oppitunti antaa sinulle avaimet ymmärtää taustalla olevaa arkkitehtuuria syventymättä matemaattisiin yksityiskohtiin. Kyse ei ole pelkästä ilmaisesta yleissivistyksestä: mekanismin ymmärtäminen auttaa ennakoimaan, mitä malli tekee hyvin, mitä huonosti ja miksi.
Mikä on LLM?
LLM (Large Language Model, suuri kielimalli) on tietokoneohjelma, joka on koulutettu valtavilla tekstiaineistoilla oppimaan ennustamaan lauseen seuraava sana. Tämä periaate vaikuttaa petollisen yksinkertaiselta – ja kuitenkin mittakaavaan sovellettuna se tuottaa yllättävän johdonmukaisia ja hyödyllisiä tuloksia. Konkreettisesti, kun esität Mistral Small 4:lle kysymyksen, malli toimii seuraavasti:
- Se muuntaa tekstisi tokeneiksi
- Se käsittelee nämä tokenit miljardien laskutoimitusten kautta
- Se ennustaa todennäköisimmän seuraavan tokenin
- Se toistaa operaation token kerrallaan, kunnes vastaus on valmis
Tämä selittää ilmiön, jonka huomasit jo ensimmäisestä vuorovaikutuksestasi: vastaus ilmestyy näytölle vähitellen (streaming), koska malli itse asiassa tuottaa vastauksensa sana sanalta. Se, mitä näet vierivän ruudulla, ei ole näyttöartefakti – se on itse generointi reaaliajassa.
Mallin parametrit
Kun puhumme “7 miljardin parametrin” tai “14 miljardin parametrin” mallista, viittaamme mallin sisältämien säädettävien digitaalisten yhteyksien määrään. Nämä parametrit ovat mallin painot. Käyttääksemme analogiaa: jos malli olisi aivot, parametrit olisivat synapseja – yhteyksiä neuronien välillä. Mitä enemmän parametreja, sitä enemmän vivahteita ja monimutkaisia suhteita kielessä malli pystyy tallentamaan.
Varo kuitenkin tekemästä tästä luvusta ainoaa arviointiperustetta: suurempi malli ei ole automaattisesti parempi. Tehokkuus riippuu yhtä lailla koulutusdatan laadusta – puhdas ja monipuolinen data tuottaa parempia tuloksia – mallin arkkitehtuurista, eli siitä, miten parametrit on järjestetty, käytetyistä koulutustekniikoista näiden parametrien säätämiseksi sekä hienosäädöstä, joka on koulutuksen jälkeinen tarkennus tiettyjä tehtäviä varten. Juuri tämä mahdollistaa sen, että Mistral pystyy kilpailemaan paljon suurempien mallien kanssa: tehokas arkkitehtuuri ja korkealaatuinen koulutusdata.
Transformer-arkkitehtuuri
Kaikki nykyaikaiset LLM-mallit perustuvat Transformer-arkkitehtuuriin, joka esiteltiin vuonna 2017. Kaksi ideaa riittää oleellisen ymmärtämiseen.
Ensimmäinen on huomio-mekanismi (attention), joka on Transformerin sydän. Se mahdollistaa sen, että malli voi “katsoa” koko syötetekstiä ymmärtääkseen sanojen väliset suhteet, vaikka ne olisivat lauseessa kaukana toisistaan. Ota esimerkiksi lause “The cat that was sleeping on the sofa woke up”: huomiomekanismin ansiosta malli ymmärtää, että “woke up” viittaa kissaan, ei sohvaan. Tämä kyky yhdistää etäällä olevia elementtejä on se, mikä erottaa Transformerit aiemmista kielimallisukupolvista.
Toinen idea on kerrosten pinoutuminen. Transformer koostuu useista päällekkäisistä kerroksista, ja jokainen tarkentaa tekstin ymmärtämistä: varhaiset kerrokset sieppaavat yksinkertaisia kieliopillisia suhteita, kun taas syvät kerrokset omaksuvat abstrakteja käsitteitä ja monimutkaisia semanttisia suhteita. Ymmärrys rakentuu siis peräkkäisten tarkennusten kautta, aivan kuin lukeminen, joka etenee syntaksista merkitykseen.
Asiantuntijoiden sekoitus (MoE) – Mistralin erikoisala
Yksi Mistral AI:n suurista innovaatioista on Asiantuntijoiden sekoitus (Mixture of Experts, MoE) -arkkitehtuurin käyttö, joka tuli tunnetuksi Mixtral 8x7B:n myötä. Periaate rikkoo klassisen lähestymistavan: yhden valtaisan hermoverkon sijaan, joka käsittelee kaiken, MoE jakaa mallin useisiin erikoistuneisiin “asiantuntijoihin”, ja reititysmekanismi valitsee jokaiselle käsiteltävälle tokenille sopivimmat asiantuntijat.
Hyöty on kaksinkertainen. Tehokkuuden kannalta vain muutama asiantuntija aktivoituu kutakin tokenia kohden, mikä lyhentää laskenta-aikaa merkittävästi. Suorituskyvyn kannalta malli hyötyy kaikkien asiantuntijoiden yhdistetystä kokonaiskapasiteetista, mutta maksaa laskentakustannukset vain niille, jotka todella työskentelevät – jokainen asiantuntija voi myös erikoistua tiettyyn sisältötyyppiin tai tehtävään. Käytännössä 47 miljardin parametrin MoE-malli, joka aktivoi vain 12 miljardia parametria tokenia kohden, voi tarjota suorituskyvyn, joka vastaa tiheää 47 miljardin mallia, olla kuitenkin yhtä nopea kuin 12 miljardin malli. Tämä selittää, miksi Mistral-mallit tarjoavat usein kilpailijoitaan paremman suorituskyvyn ja nopeuden suhteen.
Mallin painot
Painot ovat numeerisia arvoja, jotka määrittelevät mallin käyttäytymisen – nämä ovat kuuluisat parametrit koulutuksen päätyttyä. Kun Mistral julkaisee mallin “Open”-versiona, se tarkoittaa, että nämä painot ovat ladattavissa. Painojen omistaminen muuttaa kaiken: voit isännöidä mallia omilla palvelimillasi, suorittaa sen ilman internet-yhteyttä, muokata tai hienosäätää sitä ja integroida sen upotettuihin järjestelmiin. Ilman painoja olet riippuvainen tarjoajan rajapinnasta (API). Tämä on Open- ja Premier-mallien välinen perustavanlaatuinen ero, johon törmäsit aiemmissa oppitunneissa – nyt ymmärrät, mikä sen takana on teknisesti.
Kaksivaiheinen koulutus
Miten malli kuten Mistral Small 4 luodaan? Kahdessa päävaiheessa. Ensimmäinen on esikoulutus: malli altistetaan valtaville tekstiaineistoille – kirjoille, artikkeleille, lähdekoodille, verkkosivuille – ja oppii kielen rakenteet. Tämä vaihe vaatii tuhansia näytönohjaimia (GPU) viikkojen ajan ja maksaa miljoonia euroja; se antaa mallille sen yleissivistyksen ja kielitaidon.
Toinen vaihe on hienosäätö ja linjaus: esikoulutettu malli tarkennetaan seuraamaan ohjeita, olemaan hyödyllinen ja välttämään vaarallisen sisällön tuottamista. Tämä vaihe perustuu ihmisten annotoimaan dataan ja tekniikoihin kuten RLHF (Reinforcement Learning from Human Feedback). Tämä muuttaa raakan tekstiennustajan avustajaksi, joka pystyy vuorovaikutukseen – eron mallin välillä, joka täydentää lauseita, ja mallin, joka vastaa sinulle.
Keskeiset asiat
- LLM ennustaa seuraavaa tokenia, toistaen tätä tuhansia kertoja tuottaakseen täydellisen vastauksen
- Parametrit (painot) ovat digitaalisia yhteyksiä, jotka koodaavat mallin tiedon
- Transformer-arkkitehtuuri ja sen huomio-mekanismi mahdollistavat tekstissä olevien suhteiden ymmärtämisen
- Asiantuntijoiden sekoitus (MoE) on Mistralin erikoisala: suuren mallin suorituskyky, pienen mallin nopeus
- Mallit luodaan kahdessa vaiheessa: valtava esikoulutus ja sen jälkeen kohdennettu hienosäätö
- Avoimet painot mahdollistavat oman isännöinnin ja mukauttamisen