Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Vrednotenje agentskega programa za kodo: SWE-bench in naprej

Lekcija 7 od 14 Posodobljeno 2. november 2026 Razvijalec
Na tej strani
  1. Merjenje agenta, ne funkcije
  2. SWE-bench: Pravi listki, pravi testi
  3. Razumevanje rezultata: primer Devstral
  4. Česa SWE-bench ne pove
  5. Tvoje lastno merilo
  6. Ključne ugotovitve

Lekcija ponovno napisana 2. novembra 2026. Prejšnja različica je navajala ravni rezultatov SWE-bench in tabelo konkurentov brez virov; oboje je bilo odstranjeno. Podatki za Devstral izvirajo iz uradne napovedi podjetja Mistral (9. december 2025); formati SWE-bench izhajajo s spletnega mesta merila. Devstral je bil iz API-ja odstranjen 31. julija 2026: njegovi rezultati tu služijo kot primer razumevanja izidov. Viri: Devstral 2 in Mistral Vibe CLI (Mistral) · SWE-bench.

Merjenje agenta, ne funkcije

Kako objektivno ovrednotiti model, zasnovan za reševanje razvojnih težav? Klasična merila za generiranje kode, kot sta HumanEval ali MBPP, preverjajo, ali model zmore napisati izolirano funkcijo na podlagi poziva. Ne povejo pa ti, ali se zna premikati po repozitoriju s sto tisoči vrsticami kode in popraviti dejansko napako. Model je lahko odličen pri prvi nalogi, a razočarajoč pri drugi.

SWE-bench zapolnjuje to vrzel in postal je referenčni standard za agentske programe za kodo.

SWE-bench: Pravi listki, pravi testi

SWE-bench vrednoti modele na podlagi pravih listkov GitHub iz priljubljenih repozitorijev Python. Protokol posnema delovni tok razvijalca: model prejme opis napake ali zahtevo po novi funkcionalnosti, ne da bi mu bilo povedano, kje naj išče; razišče repozitorij, locira težavo in predlaga popravilo; ta popravek nato samodejno oceni lastni testni niz projekta – isti testi, ki v proizvodnem okolju varujejo kodo.

Merilo je na voljo v več formatih:

FormatVsebina
SWE-bench (Full)2.294 nalog, zbranih iz 12 priljubljenih repozitorijev Python
SWE-bench Lite300 nalog, izbranih za zmanjšanje stroškov vrednotenja ob ohranjanju težavnosti
SWE-bench Verified500 nalog, ki so jih filtrirali ljudje v sodelovanju z OpenAI

Spletno mesto merila objavlja tudi jezikovno raznolike (Multilingual) in večmodalne (Multimodal) različice, ki so uporabne, če tvoja koda ni v Pythonu ali če tvoji listki vključujejo posnetke zaslona.

Razumevanje rezultata: primer Devstral

Rezultat SWE-bench X % pomeni, da je agent rešil X % listkov iz testnega niza – torej je ustvaril popravek, ki uspešno opravi teste projekta. To ne pomeni, da model X % časa napiše dobro kodo.

Ob zagonu 9. decembra 2025 je Mistral napovedal 72,2 % na SWE-bench Verified za Devstral 2 (123 milijard parametrov) in 68,0 % za Devstral Small 2 (24 milijard). Razlika je majhna glede na razliko v velikosti: prav to je naredilo Devstral Small 2 zanimivega in razlog, zakaj dokumentacija Vibe danes še vedno priporoča njegovo lokalno uporabo.

Ista napoved ponazarja bistveno opozorilo. Mistral je trdil, da so stroški pri realnih nalogah do sedemkrat nižji kot pri Claude Sonnet, hkrati pa je notedel, da so človeški ocenjevalci še vedno močno raje izbrali Claude Sonnet 4.5 namesto Devstral 2. Rezultat merila, številka stroška in človeška preferenca merijo tri različne stvari; nobena ne nadomešča drugih dveh.

Česa SWE-bench ne pove

SWE-bench preizkuša specifičen slog dela: odpravljanje napak v odprtokodnih projektih Python z obstoječim testnim nizom. Tvoje vsakdanje delo v TypeScriptu, Javi ali na aplikaciji brez testov morda s to postavitvijo nima nič skupnega.

Pogoji vrednotenja imajo veliko težo: število dovoljenih poskusov, orodja (scaffolding), zagotovljena agentu, in časovne omejitve lahko premaknejo rezultate za več točk. Dve številki, ki ju ločeno objavita dva ponudnika z dvema različnima nastavitvama orodij, zato nista vedno primerljivi. Raje izberi razvrstitve, ki modele vrednotijo v skupnem okviru, in pred številko vedno preberi metodologijo.

Velikost je prav tako pomembna, in to ne le zaradi računa: model z 24 milijardami parametrov, ki se prilega enemu GPU-ju, je uporaben tam, kjer veliko večji model zahteva gručo in ekipo za vzdrževanje.

Tvoje lastno merilo

Najboljše vrednotenje je tisto, ki ga zgradiš na svojem repozitoriju. Vzemi tri do pet že rešenih listkov skupaj s popravilom, ki ga je napisala tvoja ekipa, in pripadajočimi testi. Predloži jih kandidatom – na primer Mistral Small 4 in Large 4 prek API-ja ali Vibe Code z vgrajenim modelom – nato pa primerjaj:

  • Stopnja uspešnosti: Ali testi uspejo s predlaganim popravilom?
  • Kakovost razlike (diff): Ali je minimalna, berljiva in skladna s tvojimi konvencijami?
  • Strošek in čas: Porabljeni žetoni, trajanje seje, število človeških posegov.

Nobena javna razvrstitev ne bo nadomestila tega testa, ponovno pa ga lahko zaženeš v eni uri ob vsakem novem modelu.

Ključne ugotovitve

  • SWE-bench vrednoti agente na pravih listkih GitHub, ocenjenih s testi projekta
  • Trije glavni formati: Full (2.294 nalog), Lite (300), Verified (500, filtrirano s strani ljudi)
  • Devstral 2 in Devstral Small 2 sta napovedala 72,2 % in 68,0 % na SWE-bench Verified
  • Rezultat, strošek in človeška preferenca merijo različne stvari; orodje za vrednotenje spreminja številke
  • Odločilni test se izvaja na tvojih lastnih že rešenih listkih