Utvärdera en kodagent: SWE-bench och bortom
På denna sida
Lektionen omskriven den 2 november 2026. Den tidigare versionen listade poängnivåer för SWE-bench och en konkurrenttabell utan källor; båda har tagits bort. Siffror för Devstral kommer från Mistral:s officiella tillkännagivande (9 december 2025); formaten för SWE-bench kommer från benchmark-webbplatsen. Devstral togs bort från API:t den 31 juli 2026: dess poäng tjänar här som exempel på hur man läser resultat. Källor: Devstral 2 och Mistral Vibe CLI (Mistral) · SWE-bench.
Mät en agent, inte en funktion
Hur utvärderar du objektivt en modell som är designad för att lösa utvecklingsproblem? Klassiska benchmark för kodgenerering som HumanEval eller MBPP verifierar bara om en modell kan skriva en isolerad funktion utifrån en prompt. De säger inget om den kan navigera i ett arkiv med hundratusentals rader kod och fixa en riktig bugg. En modell kan excellerar i den första uppgiften och ändå vara en besvikelse i den andra.
SWE-bench fyller detta gap och har blivit referensstandarden för kodagenter.
SWE-bench: Riktiga ärenden, riktiga tester
SWE-bench utvärderar modeller på riktiga GitHub-ärenden från populära Python-arkiv. Protokollet efterliknar en utvecklares arbetsflöde: modellen får en buggbeskrivning eller funktionsförfrågan utan att få veta var den ska leta; den utforskar arkivet, lokaliserar problemet och föreslår en lösning; denna lösning bedöms sedan automatiskt av projektets egna tester – samma som skyddar koden i produktion.
Benchmarken finns i flera format:
| Format | Innehåll |
|---|---|
| SWE-bench (Full) | 2 294 uppgifter insamlade från 12 populära Python-arkiv |
| SWE-bench Lite | 300 uppgifter valda för att minska utvärderingskostnaden samtidigt som svårighetsgraden bevaras |
| SWE-bench Verified | 500 uppgifter filtrerade av människor, i samarbete med OpenAI |
Benchmark-webbplatsen publicerar även varianterna Multilingual och Multimodal, vilket är användbart om din kod inte är skriven i Python eller om dina ärenden innehåller skärmdumpar.
Läsa ett resultat: Exemplet Devstral
En SWE-bench-poäng på X % betyder att agenten löste X % av testuppgifterna – det vill säga att den producerade en lösning som klarar projektets tester. Det betyder inte att modellen skriver bra kod X % av tiden.
Vid lanseringen den 9 december 2025 tillkännagav Mistral 72,2 % på SWE-bench Verified för Devstral 2 (123 miljarder parametrar) och 68,0 % för Devstral Small 2 (24 miljarder). Gapet är litet i förhållande till storleksskillnaden: detta är vad som gjorde Devstral Small 2 intressant, och varför Vibe:s dokumentation fortfarande rekommenderar den för lokal användning idag.
Samma tillkännagivande illustrerar en viktig förbehållsamhet. Mistral hävdade upp till sju gånger lägre kostnad än Claude Sonnet på riktiga uppgifter, samtidigt som de noterade att mänskliga utvärderare fortfarande föredrog Claude Sonnet 4.5 framför Devstral 2. En benchmark-poäng, en kostnadssiffra och mänsklig preferens mäter tre olika saker; ingen ersätter de andra två.
Vad SWE-bench inte berättar
SWE-bench testar en specifik arbetsstil: att fixa buggar i open source Python-projekt med en befintlig testsvit. Ditt dagliga arbete i TypeScript, Java eller på en applikation utan tester kanske inte har något med denna setup att göra.
Utvärderingsvillkoren har stor betydelse: antalet tillåtna försök, verktygen (scaffolding) som tillhandahålls agenten och tidsgränser kan flytta poängen med flera enheter. Två siffror som publiceras separat av två leverantörer med två olika verktygssatser är därför inte alltid jämförbara. Föredrank ranglistor som utvärderar modeller i ett gemensamt ramverk, och läs alltid metodiken innan du tittar på siffran.
Storlek spelar också roll, och inte bara för fakturan: en modell på 24 miljarder parametrar som får plats på ett enda GPU är användbar där en mycket större modell kräver ett kluster och ett team för underhåll.
Din egen benchmark
Den bästa utvärderingen är den du bygger på ditt eget arkiv. Ta tre till fem redan lösta ärenden, tillsammans med den lösning ditt team skrev och de tillhörande testerna. Låt kandidatmodeller bearbeta dem – till exempel Mistral Small 4 och Large 4 via API:t, eller Vibe Code med sin inbyggda modell – och jämför sedan:
- Framgångsfrekvens: Klarar testerna med den föreslagna lösningen?
- Diff-kvalitet: Är den minimal, läsbar och följer den era konventioner?
- Kostnad och tid: Förbrukade token, sessionslängd, antal mänskliga ingripanden.
Ingen offentlig ranglista kommer att ersätta detta test, och du kan köra det igen på en timme med varje ny modell.
Viktiga punkter
- SWE-bench utvärderar agenter på riktiga GitHub-ärenden, bedömda av projektets tester
- Tre huvudformat: Full (2 294 uppgifter), Lite (300), Verified (500, människofiltrerade)
- Devstral 2 och Devstral Small 2 tillkännagav 72,2 % respektive 68,0 % på SWE-bench Verified
- Poäng, kostnad och mänsklig preferens mäter olika saker; utvärderingsverktyg ändrar siffrorna
- Det avgörande testet körs på dina egna lösta ärenden