Kaip įvertinti kodo agentą: SWE-bench ir ne tik
Šiame puslapyje
Pamoka perrašyta 2026 m. lapkričio 2 d. Ankstesnėje versijoje buvo pateikti SWE-bench balų lygiai ir konkurentų lentelė be šaltinių; abu elementai pašalinti. Devstral duomenys paimti iš oficialaus „Mistral“ pranešimo (2025 m. gruodžio 9 d.); SWE-bench formatai – iš paties testo svetainės. Devstral iš API buvo pašalintas 2026 m. liepos 31 d.: jo rezultatai čia pateikiami kaip pavyzdys, kaip skaityti vertinimus. Šaltiniai: Devstral 2 and Mistral Vibe CLI (Mistral) · SWE-bench.
Vertink agentą, o ne funkciją
Kaip objektyviai įvertinti modelį, sukurtą spręsti kūrimo problemas? Klasikiniai kodo generavimo testai, tokie kaip „HumanEval“ arba „MBPP“, patikrina, ar modelis gali parašyti izoliuotą funkciją pagal užklausą. Jie nepasako, ar modelis sugeba naršyti saugykloje, kurioje yra šimtai tūkstančių eilučių, ir ištaisyti realią klaidą. Modelis gali puikiai atlikti pirmąją užduotį, bet nuvylti antrojoje.
SWE-bench užpildo šią spragą ir tapo pagrindiniu kodo agentų vertinimo standartu.
SWE-bench: tikri bilietai, tikri testai
SWE-bench vertina modelius naudodamas tikrus „GitHub“ bilietus iš populiarių „Python“ saugyklų. Protokolas atkuria kūrėjo darbo eigą: modelis gauna klaidos aprašymą arba funkcijos prašymą, jam nenurodant, kur ieškoti; jis naršo saugykloje, suranda problemą ir siūlo taisymą; šis taisymas automatiškai įvertinamas naudojant paties projekto testus – tuos pačius, kurie saugo kodą gamyboje.
Testas yra kelių formatų:
| Formatas | Turinys |
|---|---|
| SWE-bench (Full) | 2 294 užduotys, surinktos iš 12 populiarių „Python“ saugyklų |
| SWE-bench Lite | 300 užduočių, atrinktų siekiant sumažinti vertinimo išlaidas, išlaikant sudėtingumą |
| SWE-bench Verified | 500 užduočių, atrinktų žmonių bendradarbiaujant su „OpenAI“ |
Testo svetainėje taip pat skelbiami daugiakalbiai ir daugiamodaliai variantai, naudingi, jei tavo kodas parašytas ne „Python“ kalba arba jei bilietai apima ekrano kopijas.
Kaip skaityti rezultatą: Devstral pavyzdys
SWE-bench rezultatas X % reiškia, kad agentas išsprendė X % testų rinkinio bilietų – tai yra, jis sukūrė taisymą, kuris išlaiko projekto testus. Tai nereiškia, kad modelis X % atvejų rašo gerą kodą.
Paleidimo metu, 2025 m. gruodžio 9 d., „Mistral“ paskelbė, kad „Devstral 2“ (123 mlrd. parametrų) surinko 72,2 %, o „Devstral Small 2“ (24 mlrd.) – 68,0 % „SWE-bench Verified“ teste. Skirtumas, palyginti su dydžių skirtumu, yra nedidelis: būtent tai padarė „Devstral Small 2“ įdomiu ir kodėl „Vibe“ dokumentacija jį iki šiol rekomenduoja naudoti lokaliai.
Tas pats pranešimas iliustruoja svarbią pastabą. „Mistral“ teigė, kad realiose užduotyse išlaidos gali būti iki septynių kartų mažesnės nei naudojant „Claude Sonnet“, tačiau kartu pažymėjo, kad žmogaus vertintojai vis dar gerokai labiau rinkosi „Claude Sonnet 4.5“ nei „Devstral 2“. Testo balas, išlaidų dydis ir žmogaus pasirinkimas matuoja tris skirtingus dalykus; nė vienas jų nepakeičia kitų dviejų.
Ko SWE-bench nepasako
SWE-bench tikrina specifinį darbo stilių: klaidų taisymą atviro kodo „Python“ projektuose, turinčiuose esamą testų rinkinį. Tavo kasdienis darbas su „TypeScript“, „Java“ arba programine įranga be testų gali neturėti nieko bendro su šia sąranka.
Vertinimo sąlygos daro didelę įtaką: leidžiamų bandymų skaičius, agentui suteiktos priemonės (scaffolding) ir laiko limitai gali pakeisti rezultatus keliais balais. Todėl du skaičiai, atskirai paskelbti dviejų tiekėjų naudojant skirtingas priemones, ne visada yra palyginami. Teik pirmenybę reitingams, kuriuose modeliai vertinami bendroje sistemoje, ir prieš žiūrėdamas į skaičių, visada perskaityk metodiką.
Dydis taip pat svarbus, ir ne tik dėl sąskaitos: 24 mlrd. parametrų modelis, kuris telpa į vieną GPU, yra naudojamas ten, kur daug didesnis modelis reikalautų klasterio ir komandos jo priežiūrai.
Tavo asmeninis testas
Geriausias vertinimas yra tas, kurį sukuri savo saugykloje. Paimk tris–penkis jau išspręstus bilietus kartu su tavo komandos parašytu taisymu ir susijusiais testais. Paprašyk kandidatų modelių juos apdoroti – pavyzdžiui, „Mistral Small 4“ ir „Large 4“ per API arba „Vibe Code“ su integruotu modeliu – tada palygink:
- Sėkmės rodiklis: ar testai išlaikyti su siūlomu taisymu?
- Skirtumo (diff) kokybė: ar jis minimalus, skaitomas ir atitinka tavo konvencijas?
- Išlaidos ir laikas: sunaudoti tokenai, sesijos trukmė, žmogaus įsikišimų skaičius.
Joks viešas reitingas nepakeis šio testo, ir tu gali jį per valandą paleisti iš naujo su kiekvienu nauju modeliu.
Svarbiausi punktai
- SWE-bench vertina agentus pagal tikrus „GitHub“ bilietus, vertinamus projekto testais
- Trys pagrindiniai formatai: „Full“ (2 294 užduotys), „Lite“ (300), „Verified“ (500, atrinkta žmonių)
- „Devstral 2“ ir „Devstral Small 2“ „SWE-bench Verified“ teste surinko atitinkamai 72,2 % ir 68,0 %
- Balas, išlaidos ir žmogaus pasirinkimas matuoja skirtingus dalykus; vertinimo priemonės keičia skaičius
- Lemiamas testas vykdomas naudojant tavo pačių išspręstus bilietus