Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Benchmarks og evalueringer – at læse mellem linjerne

Lektion 12 af 14 Opdateret 28. juli 2026 Begynder
På denne side
  1. Hvorfor benchmarks betyder noget (og hvorfor de ikke er nok)
  2. Hvad standardbenchmarks måler
  3. Fire regler for læsning af en scoretabel
  4. Tre strukturelle begrænsninger
  5. Krydsreferér kilder, og test derefter selv
  6. Vigtige pointer

Hvorfor benchmarks betyder noget (og hvorfor de ikke er nok)

Hver gang en ny model udkommer, følger der en tabel med scorer fra standardiserede benchmarks. Disse tal cirkulerer uændrede i presseartikler og interne præsentationer. De er nyttige: De giver dig et første indtryk af modellens evner og hjælper dig med at placere den i landskabet. Men de bliver vildledende, så snart du læser dem uden at vide, hvad de faktisk måler. Denne lektion viser dig, hvordan du fortolker dem med en praktikers blik frem for pressemeddelelsens begejstring.

Hvad standardbenchmarks måler

MMLU (Massive Multitask Language Understanding) evaluerer en models generelle viden på tværs af 57 domæner – historie, fysik, jura, medicin, datalogi – via flervalgsspørgsmål. Det måler omfanget af faktuel viden og intet andet: ikke ræsonnementsevne, ikke evnen til at følge komplekse instrukser og ikke skrivekvalitet. Topmodeller ligger nu over 85 til 90 %, hvilket også betyder, at benchmarket discriminerer mindre effektivt i toppen af ranglisten. En model, der er fremragende til MMLU, kan stadig fejle i at skrive et læsbart ledelsesreferat.

HumanEval tester funktionel Python-kodegenerering ud fra en beskrivelse i naturligt sprog, og MBPP (Mostly Basic Python Problems) gør det samme med enklere problemer. Disse benchmarks måler evnen til at skrive en korrekt, isoleret funktion. De siger intet om evnen til at arbejde i en eksisterende kodebase, fejlfinde uventet adfærd eller arkitektere et projekt – kernen i jobbet. Der findes varianter som HumanEval+ med strengere tests og MultiPL-E til dækning af flere sprog.

LMArena, tidligere Chatbot Arena, fungerer anderledes: Rigtige brugere stiller spørgsmål til to anonyme modeller og stemmer på det bedste svar, hvor rangeringen bygges på et Elo-system lånt fra skak. Denne opsætning måler oplevet kvalitet i frie samtaler, hvilket gør det til det benchmark, der ligner virkelig brug tættest. Dens svaghed er symmetrisk: Den siger intet om ydeevnen på en præcis teknisk opgave, og den favoriserer mekanisk svar, der er behagelige at læse.

Andre evalueringer kompletterer billedet afhængigt af den målrettede evne. GSM8K og MATH fokuserer på løsning af matematiske problemer, ARC på videnskabeligt ræsonnement på sekundærniveau, HellaSwag på fuldførelse af scenarier baseret på sund fornuft, TruthfulQA på modstand mod hallucinationer og misinformation, og CTO Bench på ende-til-ende kodningsopgaver, der er langt mere realistiske end HumanEval.

Fire regler for læsning af en scoretabel

Den første regel er at sammenligne det sammenlignelige. Det giver lidt mening at sammenligne en model med 3 milliarder parametre med en på 70 milliarder parametre på de samme søjler, hvis du ignorerer kløften i størrelse og omkostninger. Det relevante spørgsmål er aldrig “hvem har den bedste score”, men “for et givet budget, hvilken model leverer de bedste resultater”.

Den anden regel opfordrer dig til at være på vagt over for marginale forbedringer. En forskel på et eller to point på MMLU mellem to modeller er generelt ubetydelig: Benchmarks har naturlig varians, og denne forskel vil ikke oversætte sig til noget, dine brugere kan mærke. Alligevel giver det fremragende overskrifter i pressemeddelelser.

Den tredje regel er at kigge efter konsistens. En model, der stråler på ét benchmark og forbliver gennemsnitlig alle andre steder, bør få alarmklokkerne til at ringe; solide modeller viser regelmæssig ydeevne på tværs af alle evalueringer.

Den fjerde regel er at tjekke datoen. Scorer offentliggjort ved en models lancering er måske ikke længere repræsentative få måneder senere, fordi nye konkurrenter er dukket op, og evalueringsmetodikker har udviklet sig. En udateret tabel i en kommerciel præsentation bør få dig til at spørge, hvor den kommer fra.

Tre strukturelle begrænsninger

Kontaminering er den mest lumske. Modeller trænes på enorme tekstkorpus, der kan indeholde selve benchmark-spørgsmålene og svarene. En høj score kan så afspejle udenadslære frem for ræsonnementsevne, uden at der er ond vilje involveret.

Repræsentativitet udgør et andet problem: Standardiserede benchmarks afspejler ikke dit brugstilfælde. En model, der excellerer på MMLU, kan vise sig at være middelmådig til at skrive forretningsmails på fransk, simpelthen fordi ingen nogensinde har evalueret denne opgave. Benchmarks måler generelle evner, aldrig ydeevne i din kontekst.

Optimering er endelig en forudsigelig konsekvens af hypen omkring ranglister. Laboratorier kender benchmarksene og kan styre træningen til at præstere godt på dem, nogle gange på bekostning af andre opgaver. Dette er fænomenet “undervisning til testen”, som er velkendt uden for kunstig intelligens.

Krydsreferér kilder, og test derefter selv

I stedet for udelukkende at stole på tal offentliggjort af en udbyder – Mistral ligesom alle andre – bør du krydsreferere dem med uafhængige ranglister. Artificial Analysis sammenligner kvalitet, pris, hastighed og latens på et homogent grundlag. LMArena afspejler menneskelig præference under reelle forhold. Scale AI Leaderboard fokuserer på kodning, instruksefterlevelse og matematik. OpenRouter-ranglister baserer sig på effektiv brug, altså på hvad udviklere faktisk vælger at betale for. CTO Bench tilbyder endelig realistiske ende-til-ende kodningsopgaver.

Den eneste evaluering, der virkelig driver din beslutning, er dog den, du foretager med dine egne data, dine brugstilfælde og dine kvalitetskriterier. Metoden reduceres til seks trin:

  1. Byg et testsæt på 20 til 50 eksempler, der er repræsentative for din virkelige brug
  2. Definer dine kvalitetskriterier eksplicit (nøjagtighed, tone, fuldstændighed, format)
  3. Test 2 eller 3 kandidatmodeller på dette samme sæt
  4. Evaluér blindt, hvis muligt, uden at vide hvilken model der har produceret hvilket svar
  5. Mål også latens og omkostninger per anmodning
  6. Beslut baseret på forholdet mellem kvalitet/omkostninger/begrænsninger

Blind evaluering fortjener særlig vægt: Intet bias’er en bedømmelse mere end at vide, at et svar kommer fra den model, du håbede ville vinde.

Vigtige pointer

  • Benchmarks giver en første indikation, men er ikke nok til at vælge en model
  • MMLU måler viden, HumanEval kode, LMArena menneskelig præference
  • Pas på marginale forskelle og benchmark-kontaminering
  • Konsulter uafhængige ranglister (Artificial Analysis, LMArena, Scale AI)
  • Den bedste evaluering er altid den, du laver med dine egne data