LLM:er och arkitektur
På denna sida
Uppdaterat 2 november 2026 — Le Chat är nu Vibe. Sedan den 28 maj 2026 har Le Chat bytt namn till Vibe (fortfarande på chat.mistral.ai): en enda agent för arbete och kod som behåller dina konversationer, inställningar och prenumerationer. Den äldre versionen av Le Chat finns kvar i läget Chat; i läget Work är agenter nu färdigheter (anropas med
@), minnen utgör kunskapsbasen och djup sökning är färdigheten Deep Research. Abonnemangen heter nu Mistral Free, Pro, Team och Enterprise. I denna lektion använder vi namnet Vibe; vissa menyer som beskrivs här kan ha bytt namn eller plats.
Hur en språkmodell fungerar
Du använder en språkmodell varje gång du ställer en fråga i Vibe. Men vad händer egentligen mellan det ögonblick du trycker på Enter och det att svaret dyker upp? Denna lektion ger dig nycklarna till att förstå den underliggande arkitekturen utan att fördjupa dig i matematiska detaljer. Det här är inte bara allmänbildning: att förstå mekanismen hjälper dig att förutse vad modellen gör bra, vad den gör dåligt och varför.
Vad är en LLM?
En LLM (Large Language Model, stor språkmodell) är ett datorprogram som tränats på enorma mängder text för att lära sig förutsäga nästa ord i en mening. Principen verkar bedrägligt enkel – och ändå ger den, när den appliceras i stor skala, överraskande sammanhängande och användbara resultat. Konkret, när du ställer en fråga till Mistral Small 4, går modellen tillväga så här:
- Den omvandlar din text till token
- Den bearbetar dessa token genom miljardtals beräkningar
- Den förutsäger den mest sannolika token som ska följa
- Den upprepar operationen token för token tills den slutfört sitt svar
Detta förklarar ett fenomen du observerade redan vid ditt första utbyte: svaret visas gradvis på skärmen (streaming) eftersom modellen faktiskt genererar sitt svar ord för ord. Det du ser rulla fram är inte en visningsartefakt – det är själva genereringen, i realtid.
Modellparametrar
När vi talar om en modell med “7 miljarder parametrar” eller “14 miljarder parametrar” syftar vi på antalet justerbara digitala kopplingar som modellen innehåller. Dessa parametrar är modellens vikter. För att använda en analogi: om modellen vore en hjärna skulle parametrarna vara synapserna – kopplingarna mellan neuronerna. Ju fler parametrar, desto fler nyanser och komplexa relationer i språket kan modellen fånga.
Var dock försiktig med att göra detta tal till det enda kriteriet: en större modell är inte automatiskt bättre. Effektiviteten beror lika mycket på kvaliteten på träningsdatan – ren och varierad data ger bättre resultat – modellarkitekturen, det vill säga hur parametrarna är organiserade, de träningsmetoder som används för att justera dessa parametrar, och finjustering, den efterföljande förfiningen för specifika uppgifter. Det är precis detta som gör att Mistral kan konkurrera med mycket större modeller: en effektiv arkitektur och träningsdata av hög kvalitet.
Transformer-arkitekturen
Alla moderna LLM:er bygger på arkitekturen Transformer, som introducerades 2017. Två idéer räcker för att förstå det väsentliga.
Den första är mekanismen för uppmärksamhet (attention), som är hjärtat i Transformer. Den låter modellen “titta” på hela inmatningstexten för att förstå relationer mellan ord, även när de ligger långt ifrån varandra i meningen. Ta meningen “Katten som sov i soffan vaknade”: tack vare uppmärksamhetsmekanismen förstår modellen att “vaknade” syftar på katten, inte soffan. Denna förmåga att länka ihop element på avstånd är det som skiljer Transformer-modeller från tidigare generationer av språkmodeller.
Den andra idén är staplingen av lager. En Transformer består av flera lager som staplas ovanpå varandra, och varje lager förfinar förståelsen av texten: de tidiga lagren fångar enkla grammatiska relationer, medan de djupa lagren griper abstrakta begrepp och komplexa semantiska relationer. Förståelsen byggs alltså upp genom successiva förfiningar, ungefär som en läsning som går från syntax till betydelse.
Mixture of Experts (MoE) – Mistral specialitet
En av Mistral AIs stora innovationer är användningen av arkitekturen Mixture of Experts (MoE), som populariserades med Mixtral 8x7B. Principen bryter med den klassiska approachen: istället för ett enda massivt neuralt nätverk som bearbetar allt, delar MoE upp modellen i flera specialiserade “experter”, och en routningsmekanism väljer, för varje token som bearbetas, de mest relevanta experterna.
Fördelen är dubbel. När det gäller effektivitet aktiveras bara några få experter för varje token, vilket minskar beräkningstiden avsevärt. När det gäller prestanda drar modellen nytta av den totala kapaciteten hos alla experter sammantagna, samtidigt som man bara betalar beräkningskostnaden för de som faktiskt arbetar – varje expert kan också specialisera sig på en viss typ av innehåll eller uppgift. I praktiken kan en MoE-modell med 47 miljarder parametrar som bara aktiverar 12 miljarder per token erbjuda prestanda jämförbar med en tät modell på 47 miljarder, samtidigt som den är lika snabb som en modell på 12 miljarder. Detta förklarar varför Mistral-modeller ofta erbjuder ett bättre förhållande mellan prestanda och hastighet än konkurrenterna.
Modellvikter
Vikter är de numeriska värden som definierar modellens beteende – det är de berömda parametrarna när träningen väl är avslutad. När Mistral släpper en modell som “Open” betyder det att dessa vikter kan laddas ner. Och att äga vikterna ändrar allt: du kan hosta modellen på dina egna servrar, köra den utan internetanslutning, modifiera eller finjustera den, och integrera den i inbyggda system. Utan vikterna är du beroende av leverantörens API. Det är den fundamentala skillnaden mellan Open- och Premier-modellerna som du stött på i tidigare lektioner – nu förstår du vad som tekniskt sett ligger bakom.
Träning i två faser
Hur skapas en modell som Mistral Small 4? I två stora steg. Det första är förträning: modellen exponeras för enorma mängder text – böcker, artiklar, källkod, webbsidor – och lär sig språkliga strukturer. Denna fas kräver tusentals GPU:er i flera veckor och kostar miljontals euro; den ger modellen dess kultur och språkmästerskap.
Det andra steget är finjustering och anpassning: den förtränade modellen förfinas för att följa instruktioner, vara användbar och undvika att producera farligt innehåll. Denna fas förlitar sig på data annoterad av människor och tekniker som RLHF (Reinforcement Learning from Human Feedback). Det är detta som förvandlar en rå textförutsägare till en assistent kapabel till dialog – skillnaden mellan en modell som fullbordar fraser och en modell som svarar dig.
Viktiga punkter
- En LLM förutsäger nästa token, vilket upprepas tusentals gånger för att producera ett komplett svar
- Parametrar (vikter) är de digitala kopplingar som kodar modellens kunskap
- Arkitekturen Transformer och dess mekanism för uppmärksamhet möjliggör förståelse av relationer i text
- Mixture of Experts (MoE) är Mistral specialitet: prestandan hos en stor modell, hastigheten hos en liten
- Modeller skapas i två faser: massiv förträning följt av målinriktad finjustering
- Öppna vikter möjliggör egen hosting och anpassning