Hodnocení kódového agenta: SWE-bench a dál
Na této stránce
Lekce přepsána 2. listopadu 2026. Předchozí verze obsahovala úrovně skóre SWE-bench a tabulku konkurence bez zdrojů; obojí bylo odstraněno. Údaje o Devstralu pocházejí z oficiálního oznájení společnosti Mistral (9. prosince 2025); formáty SWE-bench vycházejí ze stránek benchmarku. Devstral byl z API odstraněn 31. července 2026: jeho skóre zde slouží jako příklad toho, jak číst výsledky. Zdroje: Devstral 2 a Mistral Vibe CLI (Mistral) · SWE-bench.
Měřte agenta, nikoliv funkci
Jak objektivně zhodnotit model navržený k řešení vývojářských problémů? Klasické benchmarky generování kódu, jako jsou HumanEval nebo MBPP, ověřují, zda model dokáže napsat izolovanou funkci na základě promptu. Neříkají vám však, zda zvládne navigovat v repozitáři se stovkami tisíc řádků a opravit skutečnou chybu. Model může v prvním úkolu vynikat a ve druhém zůstat zklamáním.
SWE-bench tuto mezeru vyplňuje a stal se referenčním standardem pro kódové agenty.
SWE-bench: Skutečné ticketty, skutečné testy
SWE-bench hodnotí modely na základě skutečných tickettů na GitHubu z populárních Python repozitářů. Protokol napodobuje pracovní postup vývojáře: model obdrží popis chyby nebo požadavek na funkci, aniž by mu bylo řečeno, kde hledat; prozkoumá repozitář, lokalizuje problém a navrhne opravu; tato oprava je následně automaticky vyhodnocena vlastními testy projektu – těmi samými, které chrání kód v produkci.
Benchmark je k dispozici v několika formátech:
| Formát | Obsah |
|---|---|
| SWE-bench (Full) | 2 294 úloh sesbíraných z 12 populárních Python repozitářů |
| SWE-bench Lite | 300 úloh vybraných ke snížení nákladů na vyhodnocení při zachování obtížnosti |
| SWE-bench Verified | 500 úloh filtrovaných lidmi ve spolupráci se společností OpenAI |
Stránky benchmarku také publikují varianty Multilingual (vícejazyčné) a Multimodal (multimodální), které jsou užitečné, pokud váš kód není v Pythonu nebo pokud vaše ticketty obsahují screenshoty.
Čtení skóre: Příklad Devstral
Skóre SWE-bench X % znamená, že agent vyřešil X % tickettů v testovací sadě – tedy že navrhl opravu, která projde testy projektu. Neznamená to, že model píše dobrý kód v X % případů.
Při svém uvedení 9. prosince 2025 společnost Mistral oznámila pro Devstral 2 (123 miliard parametrů) výsledek 72,2 % na SWE-bench Verified a pro Devstral Small 2 (24 miliard) 68,0 %. Rozdíl je malý vzhledem k rozdílu ve velikosti: právě to učinilo Devstral Small 2 zajímavým a důvodem, proč jej dokumentace Vibe dodnes doporučuje pro lokální použití.
Stejné oznámení ilustruje zásadní upozornění. Mistral tvrdil až sedminásobně nižší náklady než Claude Sonnet u reálných úloh, přičemž poznamenal, že lidští hodnotitelé stále výrazně preferovali Claude Sonnet 4.5 před Devstralem 2. Skóre benchmarku, údaj o nákladech a lidská preference měří tři různé věci; žádná z nich nenahrazuje ty ostatní dvě.
Co vám SWE-bench neřekne
SWE-bench testuje specifický styl práce: opravování chyb v open source Python projektech s existující sadou testů. Vaše každodenní práce v TypeScriptu, Javě nebo na aplikaci bez testů může s tímto nastavením nemít nic společného.
Podmínky vyhodnocení mají velkou váhu: počet povolených pokusů, nástroje (scaffolding) poskytnuté agentovi a časové limity mohou posunout skóre o několik bodů. Dvě čísla zveřejněná odděleně dvěma dodavateli se dvěma různými nastaveními nástrojů proto nejsou vždy srovnatelná. Upřednostněte žebříčky, které hodnotí modely ve společném rámci, a před pohledem na číslo si vždy přečtěte metodiku.
Velikost také záleží, a to nejen kvůli účtu: model s 24 miliardami parametrů, který se vejde na jeden GPU, je použitelný tam, kde mnohem větší model vyžaduje cluster a tým pro údržbu.
Váš vlastní benchmark
Nejlepším vyhodnocením je to, které si vytvoříte na vlastním repozitáři. Vezměte tři až pět již vyřešených tickettů spolu s opravou, kterou napsal váš tým, a příslušnými testy. Nechte je zpracovat kandidátské modely – například Mistral Small 4 a Large 4 přes API nebo Vibe Code s jeho vestavěným modelem – a poté porovnejte:
- Míra úspěšnosti: Projdou testy s navrženou opravou?
- Kvalita diffu: Je minimální, čitelný a v souladu s vašimi konvencemi?
- Náklady a čas: Spotřebované tokeny, délka relace, počet lidských zásahů.
Žádný veřejný žebříček tento test nenahradí a můžete jej znovu spustit za hodinu s každým novým modelem.
Klíčové poznatky
- SWE-bench hodnotí agenty na skutečných tickettech z GitHubu, přičemž je hodnotí testy projektu
- Tři hlavní formáty: Full (2 294 úloh), Lite (300), Verified (500, filtrováno lidmi)
- Devstral 2 a Devstral Small 2 oznámily na SWE-bench Verified výsledky 72,2 % a 68,0 %
- Skóre, náklady a lidská preference měří různé věci; nástroje pro vyhodnocení mění čísla
- Rozhodující test běží na vašich vlastních vyřešených tickettech