Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Evaluering af en kodeagent: SWE-bench og videre

Lektion 7 af 14 Opdateret 2. november 2026 Udvikler
På denne side
  1. Mål en agent, ikke en funktion
  2. SWE-bench: Rigtige tickets, rigtige tests
  3. Sådan læser du en score: Eksemplet Devstral
  4. Hvad SWE-bench ikke fortæller dig
  5. Dit eget benchmark
  6. Vigtige pointer

Lektion omskrevet 2. november 2026. Den tidligere version indeholdt niveauer for SWE-bench-score og en tabel over konkurrenter uden kilder; begge er fjernet. Tal for Devstral stammer fra Mistral’s officielle annoncering (9. december 2025); formater for SWE-bench kommer fra benchmark-siden. Devstral blev fjernet fra API’en den 31. juli 2026: dens score tjener her som eksempel på, hvordan man læser resultater. Kilder: Devstral 2 og Mistral Vibe CLI (Mistral) · SWE-bench.

Mål en agent, ikke en funktion

Hvordan evaluerer du objektivt en model, der er designet til at løse udviklingsproblemer? Klassiske benchmarks til kodegenerering som HumanEval eller MBPP verificerer blot, om en model kan skrive en isoleret funktion ud fra et prompt. De fortæller dig ikke, om den kan navigere i et repository med hundredtusindvis af linjer og rette en rigtig fejl. En model kan excellerere i den første opgave og stadig skuffe i den anden.

SWE-bench udfylder dette hul og er blevet referencestandarden for kodeagenter.

SWE-bench: Rigtige tickets, rigtige tests

SWE-bench evaluerer modeller på rigtige GitHub-tickets fra populære Python-repositories. Protokollen replikerer en udviklers arbejdsgang: Modellen modtager en fejlbeskrivelse eller en anmodning om en ny funktion uden at få at vide, hvor den skal kigge; den udforsker repository’et, lokaliserer problemet og foreslår en løsning; denne løsning bedømmes derefter automatisk af projektets egne tests – de samme, der beskytter koden i produktion.

Benchmarket findes i flere formater:

FormatIndhold
SWE-bench (Full)2.294 opgaver indsamlet fra 12 populære Python-repositories
SWE-bench Lite300 opgaver udvalgt for at reducere evalueringsomkostninger samtidig med, at sværhedsgraden bevares
SWE-bench Verified500 opgaver filtreret af mennesker i samarbejde med OpenAI

Benchmark-siden udgiver også varianterne Multilingual og Multimodal, som er nyttige, hvis din kode ikke er skrevet i Python, eller hvis dine tickets indeholder skærmbilleder.

Sådan læser du en score: Eksemplet Devstral

En SWE-bench-score på X % betyder, at agenten har løst X % af opgaverne i testsættet – det vil sige, at den har produceret en løsning, der består projektets tests. Det betyder ikke, at modellen skriver god kode X % af tiden.

Ved lanceringen den 9. december 2025 annoncerede Mistral 72,2 % på SWE-bench Verified for Devstral 2 (123 milliarder parametre) og 68,0 % for Devstral Small 2 (24 milliarder). Kløften er lille i forhold til størrelsesforskellen: Det er netop dette, der gjorde Devstral Small 2 interessant, og hvorfor Vibe’s dokumentation stadig anbefaler den til lokal brug i dag.

Den samme annoncering illustrerer en væsentlig forbeholdenhed. Mistral hævdede op til syv gange lavere omkostninger end Claude Sonnet på rigtige opgaver, mens de samtidig bemærkede, at menneskelige evaluatorer stadig foretrak Claude Sonnet 4.5 frem for Devstral 2 med stor margin. En benchmark-score, et omkostningstal og menneskelig præference måler tre forskellige ting; ingen af dem erstatter de to andre.

Hvad SWE-bench ikke fortæller dig

SWE-bench tester en specifik arbejdsstil: at rette fejl i open source Python-projekter med en eksisterende testsuite. Dit daglige arbejde i TypeScript, Java eller på en applikation uden tests har måske intet at gøre med dette setup.

Evalueringsbetingelserne har stor vægt: Antallet af tilladte forsøg, de værktøjer (scaffolding), der stilles til rådighed for agenten, og tidsgrænser kan flytte scorerne med flere point. To tal, der offentliggøres separat af to leverandører med to forskellige værktøjssæt, er derfor ikke altid sammenlignelige. Foretræk rangeringer, der evaluerer modeller i et fælles framework, og læs altid metodikken, før du kigger på tallet.

Størrelse betyder også noget, og ikke kun for regningen: En model med 24 milliarder parametre, der kan køre på et enkelt GPU, er brugbar dér, hvor en meget større model kræver et cluster og et team til at vedligeholde det.

Dit eget benchmark

Den bedste evaluering er den, du bygger på dit eget repository. Tag tre til fem allerede løste tickets sammen med den løsning, dit team skrev, og de tilhørende tests. Lad kandidatmodeller behandle dem – for eksempel Mistral Small 4 og Large 4 via API’en eller Vibe Code med dens indbyggede model – og sammenlign derefter:

  • Succesrate: Består testene med den foreslåede løsning?
  • Diff-kvalitet: Er ændringen minimal, læsbar og overholdende af jeres konventioner?
  • Omkostninger og tid: Forbrugte tokens, sessionsvarighed, antal menneskelige indgreb.

Ingen offentlig rangering vil erstatte denne test, og du kan genudføre den på en time med hver ny model.

Vigtige pointer

  • SWE-bench evaluerer agenter på rigtige GitHub-tickets, bedømt af projektets tests
  • Tre hovedformater: Full (2.294 opgaver), Lite (300), Verified (500, menneske-filtreret)
  • Devstral 2 og Devstral Small 2 annoncerede 72,2 % og 68,0 % på SWE-bench Verified
  • Score, omkostninger og menneskelig præference måler forskellige ting; evalueringsværktøj ændrer tallene
  • Den afgørende test kører på dine egne løste tickets