Spring til hovedindhold
Dansk— Vælg et sprog
Menu

LLM'er og arkitektur

Lektion 11 af 16 Opdateret 2. november 2026 Begynder
På denne side
  1. Hvordan en sprogmodel fungerer
  2. Hvad er en LLM?
  3. Modelparametre
  4. Transformer-arkitekturen
  5. Mixture of Experts (MoE) – Mistral-specialiteten
  6. Modelvægte
  7. Træning i to faser
  8. Vigtige pointer

Opdateret 2. november 2026 — Le Chat er nu Vibe. Fra den 28. maj 2026 er Le Chat blevet til Vibe (stadig på chat.mistral.ai): en enkelt agent til arbejde og kode, der overtager dine samtaler, indstillinger og abonnementer. Den ældre Le Chat-oplevelse er stadig tilgængelig i Chat-tilstand; i Work-tilstand er agenter nu færdigheder (kaldes med @), hukommelse er vidensbasen, og dyb søgning er færdigheden Deep Research. Abonnementerne hedder nu Mistral Free, Pro, Team og Enterprise. Denne lektion bruger nu navnet Vibe; nogle menuer beskrevet her kan have ændret navn eller placering.

Hvordan en sprogmodel fungerer

Du bruger en sprogmodel hver gang du stiller et spørgsmål i Vibe. Men hvad sker der egentlig mellem det øjeblik, du trykker på Enter, og svaret vises? Denne lektion giver dig nøglen til at forstå den underliggende arkitektur uden at dykke ned i matematiske detaljer. Dette er ikke bare gratis almen viden: At forstå mekanismen hjælper dig med at forudse, hvad modellen gør godt, hvad den gør dårligt, og hvorfor.

Hvad er en LLM?

En LLM (Large Language Model) er et computerprogram, der er trænet på enorme mængder tekst for at lære at forudsige det næste ord i en sætning. Dette princip virker bedragerisk simpelt – og alligevel producerer det, når det anvendes i stor skala, overraskende sammenhængende og nyttige resultater. Konkret, når du stiller Mistral Small 4 et spørgsmål, foregår processen sådan her:

  1. Den omdanner din tekst til tokens
  2. Den behandler disse tokens gennem milliarder af beregninger
  3. Den forudsiger det mest sandsynlige token, der bør følge
  4. Den gentager operationen token for token, indtil den har fuldført sit svar

Dette forklarer et fænomen, du observerede fra din første udveksling: Svaret vises gradvist på skærmen (streaming), fordi modellen rent faktisk genererer sit svar ord for ord. Det, du ser rulle ned ad skærmen, er ikke en visningsartefakt – det er selve genereringen i realtid.

Modelparametre

Når vi taler om en model med „7 milliarder parametre” eller „14 milliarder parametre”, henviser vi til antallet af justerbare digitale forbindelser, modellen indeholder. Disse parametre er modellens vægte. For at bruge en analogi: Hvis modellen var en hjerne, ville parametrene være synapserne – forbindelserne mellem neuronerne. Jo flere parametre, jo flere nuancer og komplekse relationer i sproget kan modellen fange.

Pas dog på med ikke at gøre dette tal til det eneste kriterium: En større model er ikke automatisk bedre. Effektiviteten afhænger lige så meget af kvaliteten af træningsdataene – rene og varierede data giver bedre resultater – modelarkitekturen, altså hvordan parametrene er organiseret, de træningsteknikker, der bruges til at justere disse parametre, og finjustering, som er efterbehandlingsfasen til specifikke opgaver. Det er præcis dette, der gør det muligt for Mistral at konkurrere med meget større modeller: En effektiv arkitektur og træningsdata af høj kvalitet.

Transformer-arkitekturen

Alle moderne LLM’er er baseret på Transformer-arkitekturen, der blev introduceret i 2017. To idéer er nok til at gribe det væsentlige.

Den første er opmærksomheds-mekanismen (attention), som er hjertet i Transformer. Den gør det muligt for modellen at „kigge” på hele inputteksten for at forstå relationer mellem ord, selv når de er langt fra hinanden i sætningen. Tag sætningen „Katten, der sov på sofaen, vågnede”: Takket være opmærksomhed forstår modellen, at „vågnede” refererer til katten, ikke sofaen. Denne evne til at koble fjerntliggende elementer er det, der adskiller Transformere fra tidligere generationer af sprogmodeller.

Den anden idé er stabling af lag. En Transformer består af flere stablede lag, og hvert lag forfiner forståelsen af teksten: De tidlige lag fanger simple grammatiske relationer, mens de dybe lag griber abstrakte begreber og komplekse semantiske relationer. Forståelsen opbygges derfor gennem successive forfininger, meget ligesom en læsning, der bevæger sig fra syntaks til betydning.

Mixture of Experts (MoE) – Mistral-specialiteten

En af Mistral AIs store innovationer er brugen af Mixture of Experts (MoE)-arkitekturen, der blev populariseret med Mixtral 8x7B. Princippet bryder med den klassiske tilgang: I stedet for et enkelt massivt neuralt netværk, der behandler alt, opdeler MoE modellen i flere specialiserede „eksperter”, og en routing-mekanisme vælger for hvert behandlet token de mest relevante eksperter.

Fordelen er dobbelt. Med hensyn til effektivitet aktiveres kun få eksperter for hvert token, hvilket reducerer beregningstiden betydeligt. Med hensyn til ydeevne drager modellen fordel af den samlede kapacitet af alle eksperter kombineret, mens den kun betaler beregningsomkostningen for dem, der faktisk arbejder – hver ekspert kan også specialisere sig i en type indhold eller opgave. I praksis kan en MoE-model med 47 milliarder parametre, der kun aktiverer 12 milliarder per token, levere ydeevne, der er sammenlignelig med en tæt model på 47 milliarder, mens den er lige så hurtig som en model på 12 milliarder. Dette forklarer, hvorfor Mistral-modeller tilbyder et forhold mellem ydeevne og hastighed, der ofte er overlegen i forhold til konkurrenterne.

Modelvægte

Vægte er de numeriske værdier, der definerer modellens adfærd – det er de berømte parametre, når træningen er afsluttet. Når Mistral udgiver en model som „Open”, betyder det, at disse vægte kan downloades. Og det at eje vægtene ændrer alt: Du kan hoste modellen på dine egne servere, køre den uden internetforbindelse, modificere eller finjustere den og integrere den i indlejrede systemer. Uden vægtene er du afhængig af udbyderens API. Dette er den fundamentale forskel mellem Open- og Premier-modellerne, du stødte på i tidligere lektioner – nu forstår du, hvad der teknisk set ligger bag.

Træning i to faser

Hvordan skabes en model som Mistral Small 4? I to store trin. Det første er for-træning: Modellen udsættes for enorme mængder tekst – bøger, artikler, kildekode, websider – og lærer sprogstrukturer. Denne fase kræver tusindvis af GPU’er i ugevis og koster millioner af euro; den giver modellen dens kultur og sproglige mesterskab.

Det andet trin er finjustering og tilpasning: Den for-trænede model forfines til at følge instruktioner, være nyttig og undgå at producere farligt indhold. Denne fase er baseret på menneskeannoterede data og teknikker som RLHF (Reinforcement Learning from Human Feedback). Det er dette, der transformerer en rå tekstforudsiger til en assistent, der kan føre en dialog – forskellen mellem en model, der fuldfører sætninger, og en model, der svarer dig.

Vigtige pointer

  • En LLM forudsiger det næste token, gentaget tusindvis af gange for at producere et komplet svar
  • Parametre (vægte) er de digitale forbindelser, der koder modellens viden
  • Transformer-arkitekturen og dens opmærksomheds-mekanisme muliggør forståelse af relationer i tekst
  • Mixture of Experts (MoE) er Mistral-specialiteten: Ydeevnen fra en stor model, hastigheden fra en lille
  • Modeller skabes i to faser: Massiv for-træning efterfulgt af målrettet finjustering
  • Åbne vægte muliggør selv-hosting og tilpasning