Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Evalwazzjoni ta' Aġent tal-Kodiċi: SWE-bench u Aktar

Lezzjoni 7 / 14 Aġġornat 2 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Kejjel Aġent, Mhux Funzjoni
  2. SWE-bench: Tikketta Reali, Testijiet Reali
  3. Kif Taqra Punteġġ: L-Eżempju ta’ Devstral
  4. X’Ma Jgħidlekx SWE-bench
  5. Il-Benchmark Tiegħek Stess
  6. Punti Ewlenin

Lezzjoni miktuba mill-ġdid fit-2 ta’ Novembru 2026. Il-verżjoni preċedenti kienet tinkludi livelli ta’ punteġġ SWE-bench u tabella ta’ kompetituri mingħajr sorsi; it-tnejn tneħħew. Iċ-ċifri ta’ Devstral ġejjin mill-ħabta uffiċjali ta’ Mistral (9 ta’ Diċembru 2025); il-formati ta’ SWE-bench ġejjin mis-sit tal-benchmark. Devstral tneħħa mill-API fil-31 ta’ Lulju 2026: il-punteġġi tiegħu jservu hawnhekk bħala eżempju ta’ kif taqra r-riżultati. Sorsi: Devstral 2 and Mistral Vibe CLI (Mistral) · SWE-bench.

Kejjel Aġent, Mhux Funzjoni

Kif tevalwa b’mod oġġettiv mudell iddisinjat biex isolvi problemi ta’ żvilupp? Il-benchmarks klassiċi tal-ġenerazzjoni tal-kodiċi bħal HumanEval jew MBPP jivverifikaw jekk mudell jistax jikteb funzjoni iżolata minn prompt. Dawn ma jgħidulekx jekk jistax jinnaviga repository b’mijiet ta’ eluf ta’ linji u jissejjaħ bug reali. Mudell jista’ jeċċella fl-ewwel kompitu u jibqa’ deludenti fit-tieni.

SWE-bench jimla din il-lakuna u sar l-istandard ta’ referenza għall-aġenti tal-kodiċi.

SWE-bench: Tikketta Reali, Testijiet Reali

SWE-bench jevalwa l-mudelli fuq tikketta reali ta’ GitHub minn repositories popolari ta’ Python. Il-protokoll jirreplika l-fluss tax-xogħol ta’ żviluppatur: il-mudell jirċievi deskrizzjoni ta’ bug jew talba għal funzjonalità mingħajr ma jingħatalu fejn ifittex; jesplora r-repository, isib il-problema, u jipproponi soluzzjoni; dik is-soluzzjoni mbagħad tiġi ġġudikata awtomatikament mit-testijiet tal-proġett innifsu—l-istess dawk li jipproteġu l-kodiċi fil-produzzjoni.

Il-benchmark jiġi f’diversi formati:

FormatKontenut
SWE-bench (Full)2,294 kompitu miġbura minn 12 repository popolari ta’ Python
SWE-bench Lite300 kompitu magħżula biex jitnaqqas l-ispiża tal-evalwazzjoni filwaqt li tinżamm id-diffikultà
SWE-bench Verified500 kompitu ffiltrati minn bnedmin, f’kollaborazzjoni ma’ OpenAI

Is-sit tal-benchmark jippubblika wkoll varjanti Multilingwi u Multimodali, utli jekk il-kodiċi tiegħek mhux bil-Python jew jekk it-tikketti tiegħek jinkludu screenshots.

Kif Taqra Punteġġ: L-Eżempju ta’ Devstral

Punteġġ ta’ SWE-bench ta’ X% ifisser li l-aġent solva X% mit-tikketti tas-sett tat-test—jiġifieri, pproduċa soluzzjoni li tgħaddi mit-testijiet tal-proġett. Dan ma jfissirx li l-mudell jikteb kodiċi tajjeb X% tal-ħin.

Fil-ħarġa tiegħu fid-9 ta’ Diċembru 2025, Mistral ħabbar 72.2% fuq SWE-bench Verified għal Devstral 2 (123 biljun parametru) u 68.0% għal Devstral Small 2 (24 biljun). Id-differenza hija żgħira meta mqabbla mad-differenza fid-daqs: dan huwa dak li għamel lil Devstral Small 2 interessanti, u għaliex id-dokumentazzjoni ta’ Vibe għadha tirrakomandah illum għall-użu lokali.

L-istess ħabba turi avvertenza essenzjali. Mistral iddikjara spiża sa seba’ darbiet inqas minn Claude Sonnet fuq kompiti reali, filwaqt li nnota li l-evalwaturi umani għadhom jippreferu b’mod qawwi lil Claude Sonnet 4.5 fuq Devstral 2. Punteġġ ta’ benchmark, ċifra tal-ispiża, u preferenza umana jkejlu tliet affarijiet differenti; l-ebda wieħed minnhom ma jissostitwixxi l-oħrajn.

X’Ma Jgħidlekx SWE-bench

SWE-bench jittestja stil speċifiku ta’ xogħol: it-tiswija ta’ bugs f’proġetti open source ta’ Python b’sett eżistenti ta’ testijiet. Ix-xogħol ta’ kuljum tiegħek f’TypeScript, Java, jew fuq applikazzjoni mingħajr testijiet jista’ ma jkollu xejn x’jaqsam ma’ din l-installazzjoni.

Il-kundizzjonijiet tal-evalwazzjoni għandhom piż kbir: in-numru ta’ tentattivi permessi, l-għodod (scaffolding) ipprovduti lill-aġent, u l-limiti ta’ żmien jistgħu jbiddlu l-punteġġi b’diversi punti. Għalhekk, żewġ ċifri ppubblikati separatament minn żewġ fornituri b’żewġ installazzjonijiet differenti ta’ għodod mhux dejjem huma komparabbli. Ippreferi klassifiki li jevalwaw mudelli f’qafas komuni, u aqra dejjem il-metodoloġija qabel in-numru.

Id-daqs jimpatta wkoll, u mhux biss għall-kont: mudell ta’ 24 biljun parametru li joqgħod fuq GPU waħda huwa użabbli fejn mudell ferm akbar jeħtieġ cluster u tim biex jinżamm.

Il-Benchmark Tiegħek Stess

L-aqwa evalwazzjoni hija dik li tibni fuq ir-repository tiegħek stess. Ħu tlieta sa ħames tikketti diġà solvuti, flimkien mas-soluzzjoni li kiteb it-tim tiegħek u t-testijiet assoċjati. Ħalli l-mudelli kandidati jipproċessawhom—pereżempju, Mistral Small 4 u Large 4 permezz tal-API, jew Vibe Code bil-mudell integrat tiegħu—imbagħad qabbel:

  • Rata ta’ suċċess: It-testijiet jgħaddu bis-soluzzjoni proposta?
  • Kwalità tad-Diff: Hija minima, leġibbli, u konformi mal-konvenzjonijiet tiegħek?
  • Spiża u ħin: Tokens ikkunsmati, tul tas-sessjoni, numru ta’ interventi umani.

L-ebda klassifika pubblika ma tissostitwixxi dan it-test, u tista’ terġa’ tgħaddih f’siegħa ma’ kull mudell ġdid.

Punti Ewlenin

  • SWE-bench jevalwa aġenti fuq tikketta reali ta’ GitHub, iġġudikati mit-testijiet tal-proġett
  • Tliet formati ewlenin: Full (2,294 kompitu), Lite (300), Verified (500, iffiltrati minn bnedmin)
  • Devstral 2 u Devstral Small 2 ħabbru 72.2% u 68.0% fuq SWE-bench Verified
  • Il-punteġġ, l-ispiża u l-preferenza umana jkejlu affarijiet differenti; l-għodod tal-evalwazzjoni jbiddlu n-numri
  • It-test deċiżiv jimxi fuq it-tikketti solvuti tiegħek stess