Vrednotenje agentskega programa za kodo: SWE-bench in naprej
Na tej strani
Lekcija ponovno napisana 2. novembra 2026. Prejšnja različica je navajala ravni rezultatov SWE-bench in tabelo konkurentov brez virov; oboje je bilo odstranjeno. Podatki za Devstral izvirajo iz uradne napovedi podjetja Mistral (9. december 2025); formati SWE-bench izhajajo s spletnega mesta merila. Devstral je bil iz API-ja odstranjen 31. julija 2026: njegovi rezultati tu služijo kot primer razumevanja izidov. Viri: Devstral 2 in Mistral Vibe CLI (Mistral) · SWE-bench.
Merjenje agenta, ne funkcije
Kako objektivno ovrednotiti model, zasnovan za reševanje razvojnih težav? Klasična merila za generiranje kode, kot sta HumanEval ali MBPP, preverjajo, ali model zmore napisati izolirano funkcijo na podlagi poziva. Ne povejo pa ti, ali se zna premikati po repozitoriju s sto tisoči vrsticami kode in popraviti dejansko napako. Model je lahko odličen pri prvi nalogi, a razočarajoč pri drugi.
SWE-bench zapolnjuje to vrzel in postal je referenčni standard za agentske programe za kodo.
SWE-bench: Pravi listki, pravi testi
SWE-bench vrednoti modele na podlagi pravih listkov GitHub iz priljubljenih repozitorijev Python. Protokol posnema delovni tok razvijalca: model prejme opis napake ali zahtevo po novi funkcionalnosti, ne da bi mu bilo povedano, kje naj išče; razišče repozitorij, locira težavo in predlaga popravilo; ta popravek nato samodejno oceni lastni testni niz projekta – isti testi, ki v proizvodnem okolju varujejo kodo.
Merilo je na voljo v več formatih:
| Format | Vsebina |
|---|---|
| SWE-bench (Full) | 2.294 nalog, zbranih iz 12 priljubljenih repozitorijev Python |
| SWE-bench Lite | 300 nalog, izbranih za zmanjšanje stroškov vrednotenja ob ohranjanju težavnosti |
| SWE-bench Verified | 500 nalog, ki so jih filtrirali ljudje v sodelovanju z OpenAI |
Spletno mesto merila objavlja tudi jezikovno raznolike (Multilingual) in večmodalne (Multimodal) različice, ki so uporabne, če tvoja koda ni v Pythonu ali če tvoji listki vključujejo posnetke zaslona.
Razumevanje rezultata: primer Devstral
Rezultat SWE-bench X % pomeni, da je agent rešil X % listkov iz testnega niza – torej je ustvaril popravek, ki uspešno opravi teste projekta. To ne pomeni, da model X % časa napiše dobro kodo.
Ob zagonu 9. decembra 2025 je Mistral napovedal 72,2 % na SWE-bench Verified za Devstral 2 (123 milijard parametrov) in 68,0 % za Devstral Small 2 (24 milijard). Razlika je majhna glede na razliko v velikosti: prav to je naredilo Devstral Small 2 zanimivega in razlog, zakaj dokumentacija Vibe danes še vedno priporoča njegovo lokalno uporabo.
Ista napoved ponazarja bistveno opozorilo. Mistral je trdil, da so stroški pri realnih nalogah do sedemkrat nižji kot pri Claude Sonnet, hkrati pa je notedel, da so človeški ocenjevalci še vedno močno raje izbrali Claude Sonnet 4.5 namesto Devstral 2. Rezultat merila, številka stroška in človeška preferenca merijo tri različne stvari; nobena ne nadomešča drugih dveh.
Česa SWE-bench ne pove
SWE-bench preizkuša specifičen slog dela: odpravljanje napak v odprtokodnih projektih Python z obstoječim testnim nizom. Tvoje vsakdanje delo v TypeScriptu, Javi ali na aplikaciji brez testov morda s to postavitvijo nima nič skupnega.
Pogoji vrednotenja imajo veliko težo: število dovoljenih poskusov, orodja (scaffolding), zagotovljena agentu, in časovne omejitve lahko premaknejo rezultate za več točk. Dve številki, ki ju ločeno objavita dva ponudnika z dvema različnima nastavitvama orodij, zato nista vedno primerljivi. Raje izberi razvrstitve, ki modele vrednotijo v skupnem okviru, in pred številko vedno preberi metodologijo.
Velikost je prav tako pomembna, in to ne le zaradi računa: model z 24 milijardami parametrov, ki se prilega enemu GPU-ju, je uporaben tam, kjer veliko večji model zahteva gručo in ekipo za vzdrževanje.
Tvoje lastno merilo
Najboljše vrednotenje je tisto, ki ga zgradiš na svojem repozitoriju. Vzemi tri do pet že rešenih listkov skupaj s popravilom, ki ga je napisala tvoja ekipa, in pripadajočimi testi. Predloži jih kandidatom – na primer Mistral Small 4 in Large 4 prek API-ja ali Vibe Code z vgrajenim modelom – nato pa primerjaj:
- Stopnja uspešnosti: Ali testi uspejo s predlaganim popravilom?
- Kakovost razlike (diff): Ali je minimalna, berljiva in skladna s tvojimi konvencijami?
- Strošek in čas: Porabljeni žetoni, trajanje seje, število človeških posegov.
Nobena javna razvrstitev ne bo nadomestila tega testa, ponovno pa ga lahko zaženeš v eni uri ob vsakem novem modelu.
Ključne ugotovitve
- SWE-bench vrednoti agente na pravih listkih GitHub, ocenjenih s testi projekta
- Trije glavni formati: Full (2.294 nalog), Lite (300), Verified (500, filtrirano s strani ljudi)
- Devstral 2 in Devstral Small 2 sta napovedala 72,2 % in 68,0 % na SWE-bench Verified
- Rezultat, strošek in človeška preferenca merijo različne stvari; orodje za vrednotenje spreminja številke
- Odločilni test se izvaja na tvojih lastnih že rešenih listkih