Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Hodnocení kódového agenta: SWE-bench a dál

Lekce 7 z 14 Aktualizováno 2. listopadu 2026 Vývojář
Na této stránce
  1. Měřte agenta, nikoliv funkci
  2. SWE-bench: Skutečné ticketty, skutečné testy
  3. Čtení skóre: Příklad Devstral
  4. Co vám SWE-bench neřekne
  5. Váš vlastní benchmark
  6. Klíčové poznatky

Lekce přepsána 2. listopadu 2026. Předchozí verze obsahovala úrovně skóre SWE-bench a tabulku konkurence bez zdrojů; obojí bylo odstraněno. Údaje o Devstralu pocházejí z oficiálního oznájení společnosti Mistral (9. prosince 2025); formáty SWE-bench vycházejí ze stránek benchmarku. Devstral byl z API odstraněn 31. července 2026: jeho skóre zde slouží jako příklad toho, jak číst výsledky. Zdroje: Devstral 2 a Mistral Vibe CLI (Mistral) · SWE-bench.

Měřte agenta, nikoliv funkci

Jak objektivně zhodnotit model navržený k řešení vývojářských problémů? Klasické benchmarky generování kódu, jako jsou HumanEval nebo MBPP, ověřují, zda model dokáže napsat izolovanou funkci na základě promptu. Neříkají vám však, zda zvládne navigovat v repozitáři se stovkami tisíc řádků a opravit skutečnou chybu. Model může v prvním úkolu vynikat a ve druhém zůstat zklamáním.

SWE-bench tuto mezeru vyplňuje a stal se referenčním standardem pro kódové agenty.

SWE-bench: Skutečné ticketty, skutečné testy

SWE-bench hodnotí modely na základě skutečných tickettů na GitHubu z populárních Python repozitářů. Protokol napodobuje pracovní postup vývojáře: model obdrží popis chyby nebo požadavek na funkci, aniž by mu bylo řečeno, kde hledat; prozkoumá repozitář, lokalizuje problém a navrhne opravu; tato oprava je následně automaticky vyhodnocena vlastními testy projektu – těmi samými, které chrání kód v produkci.

Benchmark je k dispozici v několika formátech:

FormátObsah
SWE-bench (Full)2 294 úloh sesbíraných z 12 populárních Python repozitářů
SWE-bench Lite300 úloh vybraných ke snížení nákladů na vyhodnocení při zachování obtížnosti
SWE-bench Verified500 úloh filtrovaných lidmi ve spolupráci se společností OpenAI

Stránky benchmarku také publikují varianty Multilingual (vícejazyčné) a Multimodal (multimodální), které jsou užitečné, pokud váš kód není v Pythonu nebo pokud vaše ticketty obsahují screenshoty.

Čtení skóre: Příklad Devstral

Skóre SWE-bench X % znamená, že agent vyřešil X % tickettů v testovací sadě – tedy že navrhl opravu, která projde testy projektu. Neznamená to, že model píše dobrý kód v X % případů.

Při svém uvedení 9. prosince 2025 společnost Mistral oznámila pro Devstral 2 (123 miliard parametrů) výsledek 72,2 % na SWE-bench Verified a pro Devstral Small 2 (24 miliard) 68,0 %. Rozdíl je malý vzhledem k rozdílu ve velikosti: právě to učinilo Devstral Small 2 zajímavým a důvodem, proč jej dokumentace Vibe dodnes doporučuje pro lokální použití.

Stejné oznámení ilustruje zásadní upozornění. Mistral tvrdil až sedminásobně nižší náklady než Claude Sonnet u reálných úloh, přičemž poznamenal, že lidští hodnotitelé stále výrazně preferovali Claude Sonnet 4.5 před Devstralem 2. Skóre benchmarku, údaj o nákladech a lidská preference měří tři různé věci; žádná z nich nenahrazuje ty ostatní dvě.

Co vám SWE-bench neřekne

SWE-bench testuje specifický styl práce: opravování chyb v open source Python projektech s existující sadou testů. Vaše každodenní práce v TypeScriptu, Javě nebo na aplikaci bez testů může s tímto nastavením nemít nic společného.

Podmínky vyhodnocení mají velkou váhu: počet povolených pokusů, nástroje (scaffolding) poskytnuté agentovi a časové limity mohou posunout skóre o několik bodů. Dvě čísla zveřejněná odděleně dvěma dodavateli se dvěma různými nastaveními nástrojů proto nejsou vždy srovnatelná. Upřednostněte žebříčky, které hodnotí modely ve společném rámci, a před pohledem na číslo si vždy přečtěte metodiku.

Velikost také záleží, a to nejen kvůli účtu: model s 24 miliardami parametrů, který se vejde na jeden GPU, je použitelný tam, kde mnohem větší model vyžaduje cluster a tým pro údržbu.

Váš vlastní benchmark

Nejlepším vyhodnocením je to, které si vytvoříte na vlastním repozitáři. Vezměte tři až pět již vyřešených tickettů spolu s opravou, kterou napsal váš tým, a příslušnými testy. Nechte je zpracovat kandidátské modely – například Mistral Small 4 a Large 4 přes API nebo Vibe Code s jeho vestavěným modelem – a poté porovnejte:

  • Míra úspěšnosti: Projdou testy s navrženou opravou?
  • Kvalita diffu: Je minimální, čitelný a v souladu s vašimi konvencemi?
  • Náklady a čas: Spotřebované tokeny, délka relace, počet lidských zásahů.

Žádný veřejný žebříček tento test nenahradí a můžete jej znovu spustit za hodinu s každým novým modelem.

Klíčové poznatky

  • SWE-bench hodnotí agenty na skutečných tickettech z GitHubu, přičemž je hodnotí testy projektu
  • Tři hlavní formáty: Full (2 294 úloh), Lite (300), Verified (500, filtrováno lidmi)
  • Devstral 2 a Devstral Small 2 oznámily na SWE-bench Verified výsledky 72,2 % a 68,0 %
  • Skóre, náklady a lidská preference měří různé věci; nástroje pro vyhodnocení mění čísla
  • Rozhodující test běží na vašich vlastních vyřešených tickettech