Koodiagendi hindamine: SWE-bench ja kaugemale
Sellel lehel
Õppetund kirjutati ümber 2. novembril 2026. Eelmises versioonis olid mainitud SWE-bench’i tulemuste tasemed ja konkurentide tabel ilma allikateta; mõlemad on eemaldatud. Devstrali näitajad pärinevad Mistrali ametlikust teadaandest (9. detsember 2025); SWE-bench’i formaadid tulevad võrdlusaluse veebisaidilt. Devstral eemaldati API-st 31. juulil 2026: selle tulemused teenivad siin näitena, kuidas tulemusi lugeda. Allikad: Devstral 2 and Mistral Vibe CLI (Mistral) · SWE-bench.
Hinda agenti, mitte funktsiooni
Kuidas hinnata objektiivselt mudelit, mis on loodud arendusprobleemide lahendamiseks? Klassikalised koodi genereerimise võrdlusalused, nagu HumanEval või MBPP, kontrollivad, kas mudel suudab kirjutada üksiku funktsiooni põhinevalt sisendile. Need ei ütle sulle, kas mudel suudab navigeerida sadade tuhandete koodiridadega repositooriumis ja parandada päris vea. Mudel võib esimeses ülesandes hiilata, kuid teises pettumust valmistada.
SWE-bench täidab selle lünga ja on saanud koodiagentide võrdlusstandardiks.
SWE-bench: päris piletid, päris testid
SWE-bench hindab mudeleid päris GitHubi piletite põhjal populaarsetes Pythoni repositooriumides. Protokoll kordab arendaja töövoogu: mudel saab vea kirjelduse või funktsioonisoovi, ilma et talle öeldaks, kust otsida; ta uurib repositooriumi, leiab probleemi ja pakub lahenduse; see lahendus hinnatakse seejärel automaatselt projekti enda testidega – samadega, mis kaitsevad koodi tootmises.
Võrdlusalus on saadaval mitmes formaadis:
| Formaadi nimi | Sisu |
|---|---|
| SWE-bench (Full) | 2294 ülesannet, kogutud 12 populaarsest Pythoni repositooriumist |
| SWE-bench Lite | 300 ülesannet, valitud hindamiskulude vähendamiseks, säilitades samas raskusastme |
| SWE-bench Verified | 500 ülesannet, filtreeritud inimeste poolt koostöös OpenAI-ga |
Võrdlusaluse veebisait avaldab ka mitmekeelseid ja multimodaalseid variante, mis on kasulikud, kui sinu kood ei ole Pythonis või kui piletid sisaldavad ekraanipilte.
Tulemuse lugemine: Devstrali näide
SWE-bench’i tulemus X% tähendab, et agent lahendas X% testkomplekti piletitest – ehk ta lõi paranduse, mis läbib projekti testid. See ei tähenda, et mudel kirjutab X% ajast head koodi.
Selle lansseerimisel 9. detsembril 2025 teatas Mistral 72,2% tulemusest SWE-bench Verifiedis Devstral 2 (123 miljardit parameetrit) jaoks ja 68,0% Devstral Small 2 (24 miljardit) jaoks. Lõhe on väike võrreldes suuruse erinevusega: see tegi Devstral Small 2 huvitavaks ja seetõttu soovitab Vibe’i dokumentatsioon seda tänaseni kohalikuks kasutamiseks.
Sama teadaanne toob välja olulise hoiatuse. Mistral väitis, et reaalsetes ülesannetes on kulud kuni seitse korda madalamad kui Claude Sonnetil, märkides samas, et inimhinnangud eelistasid endiselt tugevalt Claude Sonnet 4.5 Devstral 2-le. Võrdlusaluse tulemus, kulunumber ja inimlik eelistus mõõdavad kolme erinevat asja; üks ei asenda kahte teist.
Mida SWE-bench sulle ei ütle
SWE-bench testib kindlat tööstiili: vigade parandamist avatud lähtekoodiga Pythoni projektides, millel on olemasolev testikomplekt. Sinu igapäevatöö TypeScriptis, Javas või rakenduses, millel pole teste, võib olla sellest seadistusest täiesti erinev.
Hindamistingimustel on suur kaal: lubatud katsete arv, agendile pakutav tööriististus (scaffolding) ja ajapiirangud võivad tulemusi nihutada mitme punkti võrra. Kahe müüja poolt eraldi avaldatud näitajad kahe erineva tööriististusega ei ole seetõttu alati võrreldavad. Eelista edetabeleid, mis hindavad mudeleid ühises raamistikus, ja loe enne numbri vaatamist alati metodoloogiat.
Suurus loeb samuti, ja mitte ainult arve pärast: 24-miljardi-parameetriline mudel, mis mahub ühele GPU-le, on kasutatav seal, kus palju suurem mudel nõuab klasterdamist ja meeskonda selle haldamiseks.
Sinu enda võrdlusalus
Parim hindamine on see, mille ehitate oma repositooriumi põhjal. Võta kolm kuni viis juba lahendatud piletit koos meeskonna loodud paranduse ja sellega seotud testidega. Pane kandidaatmudelid neid töötlema – näiteks Mistral Small 4 ja Large 4 API kaudu või Vibe Code selle sisseehitatud mudeliga – ja võrdle:
- Edukuse määr: Kas testid läbivad pakutud parandusega?
- Diff-i kvaliteet: Kas see on minimaalne, loetav ja kooskõlas sinu konventsioonidega?
- Kulu ja aeg: Tarbitud tokenid, seansi kestus, inimsekkumiste arv.
Ükski avalik edetabel ei asenda seda testi ja saad seda iga uue mudeliga tunni ajaga uuesti käivitada.
Peamised punktid
- SWE-bench hindab agente päris GitHubi piletite põhjal, hinnates neid projekti testidega
- Kolm peamist formaati: Full (2294 ülesannet), Lite (300), Verified (500, inimeste filtreeritud)
- Devstral 2 ja Devstral Small 2 teatasid tulemustest 72,2% ja 68,0% SWE-bench Verifiedis
- Tulemus, kulu ja inimlik eelistus mõõdavad erinevaid asju; hindamistööriististus muudab numbreid
- Otsustav test jookseb sinu enda lahendatud piletite põhjal