Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Koda aģenta novērtēšana: SWE-bench un tālāk

Nodarbība 7 no 14 Atjaunota 2026. gada 2. novembris Programmētājs
Šajā lapā
  1. Vērtē aģentu, nevis funkciju
  2. SWE-bench: reāli biļetes, reāli testi
  3. Rezultāta lasīšana: Devstral piemērs
  4. Ko SWE-bench tev nepasaka
  5. Tavs paša etalons
  6. Galvenās atziņas

Nodarbība pārrakstīta 2026. gada 2. novembrī. Iepriekšējā versijā bija norādīti SWE-bench rezultātu līmeņi un konkurentu tabula bez avotiem; abi ir dzēsti. Devstral dati nāk no Mistral oficiālā paziņojuma (2025. gada 9. decembris); SWE-bench formāti ir ņemti no etalonu vietnes. Devstral tika izņemts no API 2026. gada 31. jūlijā: tā rezultāti šeit kalpo kā piemērs, kā lasīt datus. Avoti: Devstral 2 and Mistral Vibe CLI (Mistral) · SWE-bench.

Vērtē aģentu, nevis funkciju

Kā objektīvi novērtēt modeli, kas paredzēts izstrādes problēmu risināšanai? Klasiskie koda ģenerēšanas etaloni, piemēram, HumanEval vai MBPP, pārbauda, vai modelis spēj uzrakstīt izolētu funkciju, pamatojoties uz uzdevumu. Tie nepasaka, vai tas spēj orientēties repozitorijā ar simtiem tūkstošu koda rindu un novērst reālu kļūdu. Modelis var izcili tikt galā ar pirmo uzdevumu, bet palikt vīlušies otrajā.

SWE-bench aizpilda šo plaisu un ir kļuvis par atsauces standartu koda aģentiem.

SWE-bench: reāli biļetes, reāli testi

SWE-bench vērtē modeļus, izmantojot reālus GitHub biļetes no populāriem Python repozitorijiem. Protokols atkārto izstrādātāja darba plūsmu: modelis saņem kļūdas aprakstu vai funkcionalitātes pieprasījumu, netiekot informēts, kur meklēt; tas izpēta repozitoriju, atrod problēmu un piedāvā labojumu; šo labojumu pēc tam automātiski vērtē paša projekta testi – tie paši, kas aizsargā kodu ražošanas vidē.

Etalons ir pieejams vairākos formātos:

FormātsSaturs
SWE-bench (Full)2294 uzdevumi, apkopoti no 12 populāriem Python repozitorijiem
SWE-bench Lite300 uzdevumi, atlasīti, lai samazinātu novērtēšanas izmaksas, saglabājot sarežģītību
SWE-bench Verified500 uzdevumi, atlasīti cilvēku spēkiem sadarbībā ar OpenAI

Etalonu vietnē publicēti arī daudzvalodu un multimodāli varianti, kas noder, ja tavs kods nav Python valodā vai ja biļetēs ir iekļauti ekrānuzņēmumi.

Rezultāta lasīšana: Devstral piemērs

SWE-bench rezultāts X% nozīmē, ka aģents atrisināja X% testa kopas biļešu – tas ir, tas izveidoja labojumu, kas iztur projekta testus. Tas nenozīmē, ka modelis X% gadījumu raksta labu kodu.

Tā palaišanas brīdī 2025. gada 9. decembrī Mistral paziņoja par 72,2% rezultātu SWE-bench Verified etalonā priekš Devstral 2 (123 miljardi parametru) un 68,0% priekš Devstral Small 2 (24 miljardi). Atšķirība ir maza, ņemot vērā izmēru starpību: tieši tas padarīja Devstral Small 2 interesantu, un tāpēc Vibe dokumentācija to joprojām iesaka lokālai lietošanai.

Tajā pašā paziņojumā ilustrēts būtisks brīdinājums. Mistral apgalvoja, ka reālos uzdevumos izmaksas ir līdz septiņām reizēm zemākas nekā Claude Sonnet, vienlaikus atzīmējot, ka cilvēku vērtētāji joprojām daudz vairāk dod priekšroku Claude Sonnet 4.5, nevis Devstral 2. Etalona rezultāts, izmaksu rādītājs un cilvēku preferences mēra trīs dažādas lietas; neviens no tiem neaizstāj pārējos divus.

Ko SWE-bench tev nepasaka

SWE-bench testē konkrētu darba stilu: kļūdu novēršanu atvērtā koda Python projektos ar esošu testu kopu. Tava ikdienas darbība ar TypeScript, Java vai lietotnē bez testiem var nebūt nekādā sakarā ar šo iestatījumu.

Novērtēšanas apstākļiem ir liela nozīme: atļauto mēģinājumu skaits, aģentam nodrošinātie rīki (scaffolding) un laika limiti var mainīt rezultātus par vairākiem punktiem. Tāpēc divi rādītāji, ko atsevišķi publicējuši divi pārdevēji ar diviem dažādiem rīku komplektiem, ne vienmēr ir salīdzināmi. Dod priekšroku rangiem, kas vērtē modeļus vienotā ietvarā, un vienmēr izlasi metodiku pirms skaties uz skaitli.

Izmēram arī ir nozīme, un ne tikai rēķina dēļ: 24 miljardu parametru modelis, kas ietilpst vienā GPU, ir lietojams tur, kur daudz lielākam modelim ir nepieciešams klasteris un komanda tā uzturēšanai.

Tavs paša etalons

Labākais novērtējums ir tas, ko veido savā repozitorijā. Paņem trīs līdz piecas jau atrisinātas biļetes kopā ar tavas komandas izveidoto labojumu un saistītajiem testiem. Liec kandidātu modeļiem tos apstrādāt – piemēram, Mistral Small 4 un Large 4, izmantojot API, vai Vibe Code ar tajā iebūvēto modeli – un tad salīdzini:

  • Veiksmes rādītājs: vai testi iztur ar piedāvāto labojumu?
  • Diff kvalitāte: vai tas ir minimāls, lasāms un atbilst taviem standartiem?
  • Izmaksas un laiks: patērētie tokeni, sesijas ilgums, cilvēka iejaukšanās reižu skaits.

Neviens publisks rangs neaizstās šo testu, un tu vari to atkārtot stundas laikā ar katru jauno modeli.

Galvenās atziņas

  • SWE-bench vērtē aģentus, izmantojot reālas GitHub biļetes, ko vērtē projekta testi
  • Trīs galvenie formāti: Full (2294 uzdevumi), Lite (300), Verified (500, atlasīti cilvēku spēkiem)
  • Devstral 2 un Devstral Small 2 uzrādīja attiecīgi 72,2% un 68,0% rezultātu SWE-bench Verified etalonā
  • Rezultāts, izmaksas un cilvēku preferences mēra dažādas lietas; novērtēšanas rīki maina skaitļus
  • Izšķirošais tests tiek veikts, izmantojot tavas pašas atrisinātās biļetes