Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Hodnotenie kódového agenta: SWE-bench a ďalej

Lekcia 7 z 14 Aktualizované 2. novembra 2026 Vývojár
Na tejto strane
  1. Meraj agenta, nie funkciu
  2. SWE-bench: Skutočné ticketty, skutočné testy
  3. Čítanie skóre: Príklad Devstral
  4. Čo ti SWE-bench nepovie
  5. Tvoj vlastný benchmark
  6. Kľúčové poznatky

Lekcia prepísaná 2. novembra 2026. Predchádzajúca verzia obsahovala úrovne skóre SWE-bench a tabuľku konkurentov bez zdrojov; obe boli odstránené. Údaje o Devstral pochádzajú z oficiálneho oznámenia Mistral (9. decembra 2025); formáty SWE-bench pochádzajú zo stránky benchmarku. Devstral bol z API odstránený 31. júla 2026: jeho skóre tu slúži ako príklad toho, ako čítať výsledky. Zdroje: Devstral 2 a Mistral Vibe CLI (Mistral) · SWE-bench.

Meraj agenta, nie funkciu

Ako objektívne vyhodnotíš model navrhnutý na riešenie vývojárskych problémov? Klasické benchmarky generovania kódu, ako sú HumanEval alebo MBPP, overujú, či model dokáže napísať izolovanú funkciu na základe zadania. Nepovedia ti však, či dokáže navigovať v repozitári so stotisícami riadkov a opraviť skutočnú chybu. Model môže excelovať v prvej úlohe a v druhej zostať sklamaním.

SWE-bench vypĺňa túto medzeru a stal sa referenčným štandardom pre kódových agentov.

SWE-bench: Skutočné ticketty, skutočné testy

SWE-bench hodnotí modely na základe skutočných GitHub ticketov z populárnych Python repozitárov. Protokol replikuje pracovný postup vývojára: model dostane popis chyby alebo požiadavku na funkciu bez toho, aby mu bolo povedané, kde hľadať; preskúma repozitár, lokalizuje problém a navrhne opravu; táto oprava je následne automaticky vyhodnotená vlastnými testami projektu – tými istými, ktoré chránia kód v produkcii.

Benchmark existuje v niekoľkých formátoch:

FormátObsah
SWE-bench (Full)2 294 úloh zozbieraných z 12 populárnych Python repozitárov
SWE-bench Lite300 úloh vybraných na zníženie nákladov na hodnotenie pri zachovaní obtiažnosti
SWE-bench Verified500 úloh filtrovaných ľuďmi v spolupráci s OpenAI

Stránka benchmarku tiež publikuje varianty Multilingual (viacjazyčný) a Multimodal (multimodálny), ktoré sú užitočné, ak tvoj kód nie je v Pythone alebo ak tvoje tickety obsahujú screenshoty.

Čítanie skóre: Príklad Devstral

Skóre SWE-bench X % znamená, že agent vyriešil X % ticketov z testovacej sady – teda, že vyprodukoval opravu, ktorá prejde testami projektu. Neznamená to, že model píše dobrý kód v X % prípadov.

Pri svojom spustení 9. decembra 2025 Mistral oznámil 72,2 % na SWE-bench Verified pre Devstral 2 (123 miliárd parametrov) a 68,0 % pre Devstral Small 2 (24 miliárd). Rozdiel je malý vzhľadom na rozdiel vo veľkosti: práve to urobilo Devstral Small 2 zaujímavým a dôvodom, prečo ho dokumentácia Vibe aj dnes odporúča na lokálne použitie.

To isté oznámenie ilustruje dôležité upozornenie. Mistral tvrdil až sedemkrát nižšie náklady v porovnaní s Claude Sonnet pri reálnych úlohách, pričom zároveň poznamenal, že ľudskí hodnotitelia stále výrazne uprednostňovali Claude Sonnet 4.5 pred Devstral 2. Skóre benchmarku, údaj o nákladoch a ľudská preferencia merajú tri rôzne veci; žiadna z nich nenahrádza tie ostatné dve.

Čo ti SWE-bench nepovie

SWE-bench testuje špecifický štýl práce: opravovanie chýb v open source Python projektoch s existujúcou sadou testov. Tvoja každodenná práca v TypeScripte, Jave alebo na aplikácii bez testov môže mať s týmto nastavením spoločné len málo.

Podmienky hodnotenia majú veľkú váhu: počet povolených pokusov, nástroje (scaffolding) poskytnuté agentovi a časové limity môžu posunúť skóre o niekoľko bodov. Dve čísla publikované oddelene dvoma dodávateľmi s dvoma rôznymi nastaveniami nástrojov preto nie sú vždy porovnateľné. Uprednostni rebríčky, ktoré hodnotia modely v spoločnom rámci, a pred číslom si vždy prečítaj metodiku.

Veľkosť tiež záleží, a nielen kvôli faktúre: model s 24 miliardami parametrov, ktorý sa zmestí na jeden GPU, je použiteľný tam, kde oveľa väčší model vyžaduje cluster a tím na údržbu.

Tvoj vlastný benchmark

Najlepšie hodnotenie je to, ktoré si vytvoríš na vlastnom repozitári. Vezmi tri až päť už vyriešených ticketov spolu s opravou, ktorú napísal tvoj tím, a príslušnými testami. Nechaj kandidátske modely, aby ich spracovali – napríklad Mistral Small 4 a Large 4 cez API alebo Vibe Code so zabudovaným modelom – a potom porovnávaj:

  • Miera úspešnosti: Prejdú testy s navrhnutou opravou?
  • Kvalita diffu: Je minimálna, čitateľná a v súlade s tvojimi konvenciami?
  • Náklady a čas: Spotrebované tokeny, trvanie relácie, počet ľudských zásahov.

Žiadny verejný rebríček tento test nenahradí a môžeš ho znovu spustiť za hodinu s každým novým modelom.

Kľúčové poznatky

  • SWE-bench hodnotí agentov na skutočných GitHub ticketoch, pričom o výsledku rozhodujú testy projektu
  • Tri hlavné formáty: Full (2 294 úloh), Lite (300), Verified (500, filtrované ľuďmi)
  • Devstral 2 a Devstral Small 2 oznámili 72,2 % a 68,0 % na SWE-bench Verified
  • Skóre, náklady a ľudská preferencia merajú rôzne veci; nástroje na hodnotenie menia čísla
  • Rozhodujúci test beží na tvojich vlastných vyriešených ticketoch