Egy kódügynök értékelése: SWE-bench és tovább
Ezen az oldalon
Lecke átírva: 2026. november 2. A korábbi verzió források nélküli SWE-bench pontszám-kategóriákat és egy versenytársakat felsoroló táblázatot tartalmazott; mindkettőt eltávolítottuk. A Devstral adatai a Mistral hivatalos bejelentéséből származnak (2025. december 9.); az SWE-bench formátumok a benchmark oldaláról kerültek ki. A Devstralt 2026. július 31-én eltávolították az API-ból: pontszámai itt példaként szolgálnak az eredmények olvasásának módjára. Források: Devstral 2 and Mistral Vibe CLI (Mistral) · SWE-bench.
Ügynököt mérj, ne függvényt
Hogyan értékeled objektíven azt a modellt, amelyet fejlesztési problémák megoldására terveztek? A klasszikus kódgenerálási benchmarkok, mint a HumanEval vagy az MBPP, csupán azt ellenőrzik, hogy a modell képes-e egy izolált függvényt megírni egy prompt alapján. Azt nem árulják el, hogy képes-e navigálni egy több százezer soros kódtárban, és kijavítani egy valós hibát. Egy modell kiváló lehet az első feladatban, mégis csalódást keltő a másodikban.
Az SWE-bench tölti be ezt a rést, és a kódügynökök referencia-szabványává vált.
SWE-bench: Valós jegyek, valós tesztek
Az SWE-bench a modelleket valós GitHub jegyek alapján értékeli népszerű Python tárolókból. A protokoll lemásolja a fejlesztői munkafolyamatot: a modell kap egy hibaleírást vagy funkciókérést anélkül, hogy megmondanák neki, hol keresgéljen; feltárja a tárolót, megtalálja a problémát, és javaslatot tesz a javításra; ezt a javítást ezután automatikusan minősítik a projekt saját tesztjei – ugyanazok, amelyek éles környezetben védik a kódot.
A benchmark több formátumban is elérhető:
| Formátum | Tartalom |
|---|---|
| SWE-bench (Full) | 2294 feladat 12 népszerű Python tárolóból gyűjtve |
| SWE-bench Lite | 300 feladat, amelyeket az értékelési költség csökkentésére választottak ki, a nehézség megőrzése mellett |
| SWE-bench Verified | 500 feladat, amelyeket emberek szűrtek ki, az OpenAI-jal együttműködésben |
A benchmark oldal többnyelvű és többmódusú variánsokat is közzétesz, amelyek hasznosak, ha a kódod nem Pythonban íródott, vagy ha a jegyek képernyőképeket is tartalmaznak.
Pontszám olvasása: A Devstral példa
Az X%-os SWE-bench pontszám azt jelenti, hogy az ügynök a tesztkészlet jegyeinek X%-át oldotta meg – vagyis olyan javítást produkált, amely átment a projekt tesztjein. Nem azt jelenti, hogy a modell az esetek X%-ában ír jó kódot.
A 2025. december 9-i induláskor a Mistral bejelentette, hogy a Devstral 2 (123 milliárd paraméter) 72,2%-ot, a Devstral Small 2 (24 milliárd) pedig 68,0%-ot ért el az SWE-bench Verified teszten. A különbség kicsi a méretbeli különbséghez képest: ez tette érdekessé a Devstral Small 2-t, és ezért ajánlja a Vibe dokumentációja még ma is helyi használatra.
Ugyanez a bejelentés egy lényeges figyelmeztetésre is rávilágít. A Mistral állítása szerint a valós feladatokon akár hétszer alacsonyabb költséget ér el, mint a Claude Sonnet, miközben megjegyezte, hogy az emberi értékelők még mindig erősen preferálták a Claude Sonnet 4.5-öt a Devstral 2-vel szemben. A benchmark pontszám, a költség és az emberi preferencia három különböző dolgot mér; egyik sem helyettesíti a másik kettőt.
Amit az SWE-bench nem árul el
Az SWE-bench a munka egy specifikus stílusát teszteli: hibák javítását nyílt forráskódú Python projektekben, meglévő tesztkészlettel. A napi munkád TypeScriptben, Javában, vagy egy tesztek nélküli alkalmazáson semmilyen kapcsolatban nem állhat ezzel a felállással.
Az értékelési feltételek nagy súllyal bírnak: a megengedett kísérletek száma, az ügynök rendelkezésére bocsátott eszközök (scaffolding) és az időkorlátok több ponttal is eltolhatják az eredményeket. Két különböző szállító által, két különböző eszközkészlettel közzétett adat ezért nem mindig összehasonlítható. Részesítsd előnyben azokat a rangsorokat, amelyek közös keretrendszerben értékelik a modelleket, és mindig olvasd el a módszertant a szám előtt.
A méret is számít, és nem csak a számla miatt: egy 24 milliárd paraméteres modell, amely elfér egyetlen GPU-n, használható ott, ahol egy sokkal nagyobb modellhez klaszter és karbantartó csapat szükséges.
A saját benchmarkod
A legjobb értékelés az, amelyet a saját tárolódon építesz fel. Válassz ki három-öt már megoldott jegyet, együtt a csapatod által írt javítással és a hozzájuk tartozó tesztekkel. Dolgoztasd fel ezeket jelölt modellekkel – például a Mistral Small 4-gyel és Large 4-gyel az API-n keresztül, vagy a Vibe Code-dal a beépített modelljével –, majd hasonlítsd össze az alábbiakat:
- Sikerarány: Átmennek a tesztek a javasolt javítással?
- Diff minőség: Minimális, olvasható és megfelel a konvencióitoknak?
- Költség és idő: Felhasznált tokenek, munkamenet időtartama, emberi beavatkozások száma.
Egyetlen nyilvános rangsor sem helyettesíti ezt a tesztet, és minden új modellel újra lefuttathatod egy óra alatt.
Főbb megállapítások
- Az SWE-bench valós GitHub jegyeken értékeli az ügynököket, a projekt tesztjei alapján minősítve
- Három fő formátum: Full (2294 feladat), Lite (300), Verified (500, ember által szűrt)
- A Devstral 2 és a Devstral Small 2 72,2%-ot, illetve 68,0%-ot ért el az SWE-bench Verified teszten
- A pontszám, a költség és az emberi preferencia különböző dolgokat mér; az értékelési eszközkészlet megváltoztatja a számokat
- A döntő teszt a saját, már megoldott jegyeiden fut