LLM's en architectuur
Op deze pagina
Bijgewerkt op 2 november 2026 — Le Chat is nu Vibe. Sinds 28 mei 2026 heet Le Chat Vibe (nog steeds op chat.mistral.ai): één agent voor werk en code die uw gesprekken, instellingen en abonnementen overneemt. De legacy-ervaring van Le Chat blijft toegankelijk in de modus Chat; in de modus Work zijn agents nu vaardigheden (aan te roepen met
@), zijn herinneringen de kennisbank en is diep zoeken de vaardigheid Deep Research. De abonnementen heten nu Mistral Free, Pro, Team en Enterprise. Deze les gebruikt de naam Vibe; sommige hier beschreven menu’s kunnen van naam of locatie zijn veranderd.
Hoe een taalmodel werkt
U gebruikt een taalmodel elke keer dat u een vraag stelt in Vibe. Maar wat gebeurt er eigenlijk tussen het moment dat u op Enter drukt en het moment dat het antwoord verschijnt? Deze les geeft u de sleutels om de onderliggende architectuur te begrijpen zonder in wiskundige details te duiken. Dit is niet zomaar gratis algemene kennis: inzicht in het mechanisme helpt u om te anticiperen wat het model goed doet, wat slecht, en waarom.
Wat is een LLM?
Een LLM (Large Language Model) is een computerprogramma dat is getraind op enorme hoeveelheden tekst om te leren de volgende woord in een zin te voorspellen. Dit principe lijkt bedrieglijk eenvoudig – en toch levert het, op schaal toegepast, verrassend coherente en nuttige resultaten op. Concreet gaat Mistral Small 4 als volgt te werk wanneer u een vraag stelt:
- Het zet uw tekst om in tokens
- Het verwerkt deze tokens via miljarden berekeningen
- Het voorspelt het meest waarschijnlijke token dat daarop moet volgen
- Het herhaalt de bewerking token voor token totdat het zijn antwoord heeft voltooid
Dit verklaart een fenomeen dat u vanaf uw eerste uitwisseling heeft opgemerkt: het antwoord verschijnt geleidelijk op het scherm (streaming) omdat het model zijn antwoord daadwerkelijk woord voor woord genereert. Wat u ziet scrollen is geen weergave-artefact – het is de generatie zelf, in real time.
Modelparameters
Wanneer we spreken over een model met “7 miljard parameters” of “14 miljard parameters”, verwijzen we naar het aantal instelbare digitale verbindingen dat het model bevat. Deze parameters zijn de gewichten van het model. Om een analogie te gebruiken: als het model een brein was, zouden de parameters de synapsen zijn – de verbindingen tussen neuronen. Hoe meer parameters, hoe meer nuances en complexe relaties in de taal het model kan vastleggen.
Pas echter op dat u dit cijfer niet als enig criterium gaat zien: een groter model is niet automatisch beter. De efficiëntie hangt net zozeer af van de kwaliteit van de trainingsdata – schone en diverse data levert betere resultaten op – de modelarchitectuur, oftewel hoe de parameters zijn georganiseerd, de trainingstechnieken die worden gebruikt om deze parameters aan te passen, en fine-tuning, de verfijning na de training voor specifieke taken. Dit is precies wat Mistral in staat stelt te concurreren met veel grotere modellen: een efficiënte architectuur en trainingsdata van hoge kwaliteit.
De Transformer-architectuur
Alle moderne LLM’s vertrouwen op de Transformer-architectuur, geïntroduceerd in 2017. Twee ideeën volstaan om de essentie te begrijpen.
Het eerste is het attention-mechanisme, het hart van de Transformer. Het stelt het model in staat om de volledige invoertekst te “bekijken” om relaties tussen woorden te begrijpen, zelfs wanneer deze ver uit elkaar staan in de zin. Neem “De kat die op de bank sliep, werd wakker”: dankzij attention begrijpt het model dat “werd wakker” verwijst naar de kat, niet naar de bank. Dit vermogen om verre elementen met elkaar te verbinden, onderscheidt Transformers van eerdere generaties taalmodellen.
Het tweede idee is het stapelen van lagen. Een Transformer bestaat uit meerdere gestapelde lagen, waarbij elke laag het begrip van de tekst verfijnt: de vroege lagen vangen eenvoudige grammaticale relaties op, terwijl de diepe lagen abstracte concepten en complexe semantische relaties doorgronden. Begrip wordt dus opgebouwd door opeenvolgende verfijningen, vergelijkbaar met een leesproces dat van syntaxis naar betekenis gaat.
Mixture of Experts (MoE) — Mistral’s specialiteit
Een van de grote innovaties van Mistral AI is het gebruik van de Mixture of Experts (MoE)-architectuur, gepopulariseerd met Mixtral 8x7B. Het principe breekt met de klassieke aanpak: in plaats van één enorm neuraal netwerk dat alles verwerkt, verdeelt MoE het model in verschillende gespecialiseerde “experts”, en een routeringsmechanisme selecteert voor elk verwerkt token de meest relevante experts.
Het voordeel is tweeledig. Qua efficiëntie worden voor elk token slechts enkele experts geactiveerd, wat de rekentijd aanzienlijk verkort. Qua prestaties profiteert het model van de totale capaciteit van alle experts samen, terwijl alleen de rekenkosten worden gedragen voor degenen die daadwerkelijk werken – elke expert kan zich ook specialiseren in een bepaald type inhoud of taak. In de praktijk kan een MoE-model met 47 miljard parameters dat slechts 12 miljard per token activeert, prestaties bieden die vergelijkbaar zijn met een dicht (dense) model van 47 miljard, terwijl het even snel is als een model van 12 miljard. Dit verklaart waarom Mistral-modellen vaak een betere verhouding tussen prestatie en snelheid bieden dan de concurrentie.
Modelgewichten
Gewichten zijn de numerieke waarden die het gedrag van het model bepalen – dit zijn de beroemde parameters, zodra de training is voltooid. Wanneer Mistral een model als “Open” uitbrengt, betekent dit dat deze gewichten downloadbaar zijn. En het bezitten van de gewichten verandert alles: u kunt het model op uw eigen servers hosten, het uitvoeren zonder internetverbinding, het aanpassen of fine-tunen, en het integreren in embedded systemen. Zonder de gewichten bent u afhankelijk van de API van de aanbieder. Dit is het fundamentele verschil tussen de Open- en Premier-modellen die u in eerdere lessen bent tegengekomen – u begrijpt nu wat er technisch achter schuilgaat.
Training in twee fasen
Hoe wordt een model zoals Mistral Small 4 gemaakt? In twee grote stappen. De eerste is pre-training: het model wordt blootgesteld aan enorme hoeveelheden tekst – boeken, artikelen, broncode, webpagina’s – en leert taalstructuren. Deze fase vereist duizenden GPU’s gedurende weken en kost miljoenen euro’s; het geeft het model zijn cultuur en taalbeheersing.
De tweede stap is fine-tuning en alignment: het vooraf getrainde model wordt verfijnd om instructies te volgen, nuttig te zijn en te voorkomen dat het gevaarlijke inhoud produceert. Deze fase vertrouwt op door mensen geannoteerde data en technieken zoals RLHF (Reinforcement Learning from Human Feedback). Dit is wat een ruwe tekstvoorspeller transformeert tot een assistent die capable is van dialoog – het verschil tussen een model dat zinnen voltooit en een model dat u antwoordt.
Belangrijkste punten
- Een LLM voorspelt het volgende token, duizenden keren herhaald om een volledig antwoord te produceren
- Parameters (gewichten) zijn de digitale verbindingen die de kennis van het model coderen
- De Transformer-architectuur en het attention-mechanisme maken het mogelijk relaties in tekst te begrijpen
- Mixture of Experts (MoE) is Mistral’s specialiteit: de prestatie van een groot model, de snelheid van een klein model
- Modellen worden in twee fasen gemaakt: massale pre-training gevolgd door gerichte fine-tuning
- Open gewichten maken self-hosting en aanpassing mogelijk