Evalwazzjoni ta' Aġent tal-Kodiċi: SWE-bench u Aktar
F'din il-paġna
Lezzjoni miktuba mill-ġdid fit-2 ta’ Novembru 2026. Il-verżjoni preċedenti kienet tinkludi livelli ta’ punteġġ SWE-bench u tabella ta’ kompetituri mingħajr sorsi; it-tnejn tneħħew. Iċ-ċifri ta’ Devstral ġejjin mill-ħabta uffiċjali ta’ Mistral (9 ta’ Diċembru 2025); il-formati ta’ SWE-bench ġejjin mis-sit tal-benchmark. Devstral tneħħa mill-API fil-31 ta’ Lulju 2026: il-punteġġi tiegħu jservu hawnhekk bħala eżempju ta’ kif taqra r-riżultati. Sorsi: Devstral 2 and Mistral Vibe CLI (Mistral) · SWE-bench.
Kejjel Aġent, Mhux Funzjoni
Kif tevalwa b’mod oġġettiv mudell iddisinjat biex isolvi problemi ta’ żvilupp? Il-benchmarks klassiċi tal-ġenerazzjoni tal-kodiċi bħal HumanEval jew MBPP jivverifikaw jekk mudell jistax jikteb funzjoni iżolata minn prompt. Dawn ma jgħidulekx jekk jistax jinnaviga repository b’mijiet ta’ eluf ta’ linji u jissejjaħ bug reali. Mudell jista’ jeċċella fl-ewwel kompitu u jibqa’ deludenti fit-tieni.
SWE-bench jimla din il-lakuna u sar l-istandard ta’ referenza għall-aġenti tal-kodiċi.
SWE-bench: Tikketta Reali, Testijiet Reali
SWE-bench jevalwa l-mudelli fuq tikketta reali ta’ GitHub minn repositories popolari ta’ Python. Il-protokoll jirreplika l-fluss tax-xogħol ta’ żviluppatur: il-mudell jirċievi deskrizzjoni ta’ bug jew talba għal funzjonalità mingħajr ma jingħatalu fejn ifittex; jesplora r-repository, isib il-problema, u jipproponi soluzzjoni; dik is-soluzzjoni mbagħad tiġi ġġudikata awtomatikament mit-testijiet tal-proġett innifsu—l-istess dawk li jipproteġu l-kodiċi fil-produzzjoni.
Il-benchmark jiġi f’diversi formati:
| Format | Kontenut |
|---|---|
| SWE-bench (Full) | 2,294 kompitu miġbura minn 12 repository popolari ta’ Python |
| SWE-bench Lite | 300 kompitu magħżula biex jitnaqqas l-ispiża tal-evalwazzjoni filwaqt li tinżamm id-diffikultà |
| SWE-bench Verified | 500 kompitu ffiltrati minn bnedmin, f’kollaborazzjoni ma’ OpenAI |
Is-sit tal-benchmark jippubblika wkoll varjanti Multilingwi u Multimodali, utli jekk il-kodiċi tiegħek mhux bil-Python jew jekk it-tikketti tiegħek jinkludu screenshots.
Kif Taqra Punteġġ: L-Eżempju ta’ Devstral
Punteġġ ta’ SWE-bench ta’ X% ifisser li l-aġent solva X% mit-tikketti tas-sett tat-test—jiġifieri, pproduċa soluzzjoni li tgħaddi mit-testijiet tal-proġett. Dan ma jfissirx li l-mudell jikteb kodiċi tajjeb X% tal-ħin.
Fil-ħarġa tiegħu fid-9 ta’ Diċembru 2025, Mistral ħabbar 72.2% fuq SWE-bench Verified għal Devstral 2 (123 biljun parametru) u 68.0% għal Devstral Small 2 (24 biljun). Id-differenza hija żgħira meta mqabbla mad-differenza fid-daqs: dan huwa dak li għamel lil Devstral Small 2 interessanti, u għaliex id-dokumentazzjoni ta’ Vibe għadha tirrakomandah illum għall-użu lokali.
L-istess ħabba turi avvertenza essenzjali. Mistral iddikjara spiża sa seba’ darbiet inqas minn Claude Sonnet fuq kompiti reali, filwaqt li nnota li l-evalwaturi umani għadhom jippreferu b’mod qawwi lil Claude Sonnet 4.5 fuq Devstral 2. Punteġġ ta’ benchmark, ċifra tal-ispiża, u preferenza umana jkejlu tliet affarijiet differenti; l-ebda wieħed minnhom ma jissostitwixxi l-oħrajn.
X’Ma Jgħidlekx SWE-bench
SWE-bench jittestja stil speċifiku ta’ xogħol: it-tiswija ta’ bugs f’proġetti open source ta’ Python b’sett eżistenti ta’ testijiet. Ix-xogħol ta’ kuljum tiegħek f’TypeScript, Java, jew fuq applikazzjoni mingħajr testijiet jista’ ma jkollu xejn x’jaqsam ma’ din l-installazzjoni.
Il-kundizzjonijiet tal-evalwazzjoni għandhom piż kbir: in-numru ta’ tentattivi permessi, l-għodod (scaffolding) ipprovduti lill-aġent, u l-limiti ta’ żmien jistgħu jbiddlu l-punteġġi b’diversi punti. Għalhekk, żewġ ċifri ppubblikati separatament minn żewġ fornituri b’żewġ installazzjonijiet differenti ta’ għodod mhux dejjem huma komparabbli. Ippreferi klassifiki li jevalwaw mudelli f’qafas komuni, u aqra dejjem il-metodoloġija qabel in-numru.
Id-daqs jimpatta wkoll, u mhux biss għall-kont: mudell ta’ 24 biljun parametru li joqgħod fuq GPU waħda huwa użabbli fejn mudell ferm akbar jeħtieġ cluster u tim biex jinżamm.
Il-Benchmark Tiegħek Stess
L-aqwa evalwazzjoni hija dik li tibni fuq ir-repository tiegħek stess. Ħu tlieta sa ħames tikketti diġà solvuti, flimkien mas-soluzzjoni li kiteb it-tim tiegħek u t-testijiet assoċjati. Ħalli l-mudelli kandidati jipproċessawhom—pereżempju, Mistral Small 4 u Large 4 permezz tal-API, jew Vibe Code bil-mudell integrat tiegħu—imbagħad qabbel:
- Rata ta’ suċċess: It-testijiet jgħaddu bis-soluzzjoni proposta?
- Kwalità tad-Diff: Hija minima, leġibbli, u konformi mal-konvenzjonijiet tiegħek?
- Spiża u ħin: Tokens ikkunsmati, tul tas-sessjoni, numru ta’ interventi umani.
L-ebda klassifika pubblika ma tissostitwixxi dan it-test, u tista’ terġa’ tgħaddih f’siegħa ma’ kull mudell ġdid.
Punti Ewlenin
- SWE-bench jevalwa aġenti fuq tikketta reali ta’ GitHub, iġġudikati mit-testijiet tal-proġett
- Tliet formati ewlenin: Full (2,294 kompitu), Lite (300), Verified (500, iffiltrati minn bnedmin)
- Devstral 2 u Devstral Small 2 ħabbru 72.2% u 68.0% fuq SWE-bench Verified
- Il-punteġġ, l-ispiża u l-preferenza umana jkejlu affarijiet differenti; l-għodod tal-evalwazzjoni jbiddlu n-numri
- It-test deċiżiv jimxi fuq it-tikketti solvuti tiegħek stess