Evaluacija agenta za kod: SWE-bench i šire
Na ovoj stranici
Lekcija je ponovno napisana 2. studenoga 2026. Prethodna verzija sadržavala je razine rezultata za SWE-bench i tablicu konkurenata bez izvora; oboje je uklonjeno. Podaci o Devstralu potječu iz službene najave tvrtke Mistral (9. prosinca 2025.); formati SWE-bencha dolaze s web-mjesta referentne vrijednosti. Devstral je uklonjen s API-ja 31. srpnja 2026.: njegovi rezultati ovdje služe kao primjer kako čitati rezultate. Izvori: Devstral 2 i Mistral Vibe CLI (Mistral) · SWE-bench.
Mjeri agenta, a ne funkciju
Kako objektivno evaluirati model dizajniran za rješavanje razvojnih problema? Klasične referentne vrijednosti za generiranje koda poput HumanEvala ili MBPP-a provjeravaju može li model napisati izoliranu funkciju na temelju upita. One ti ne govore može li se snalaziti u repozitoriju sa stotinama tisuća redaka i popraviti stvarnu grešku. Model može biti izvrstan u prvom zadatku, a razočaravajući u drugom.
SWE-bench popunjava taj jaz i postao je referentni standard za agente za kod.
SWE-bench: Stvarni tiketi, stvarni testovi
SWE-bench evaluira modele na stvarnim GitHub tiketima iz popularnih Python repozitorija. Protokol replicira tijek rada programera: model prima opis greške ili zahtjev za funkcionalnost bez informacije gdje treba gledati; istražuje repozitorij, locira problem i predlaže ispravak; taj ispravak zatim automatski procjenjuju vlastiti testovi projekta – isti oni koji štite kod u proizvodnji.
Referentna vrijednost dostupna je u nekoliko formata:
| Format | Sadržaj |
|---|---|
| SWE-bench (Full) | 2.294 zadatka prikupljena iz 12 popularnih Python repozitorija |
| SWE-bench Lite | 300 zadataka odabranih radi smanjenja troškova evaluacije uz očuvanje težine |
| SWE-bench Verified | 500 zadataka koje su filtrirali ljudi, u suradnji s OpenAI-jem |
Web-mjesto referentne vrijednosti također objavljuje varijante Multilingual i Multimodal, korisne ako tvoj kod nije u Pythonu ili ako tvoji tiketi uključuju snimke zaslona.
Čitanje rezultata: Primjer Devstrala
Rezultat na SWE-benchu od X% znači da je agent riješio X% tiketa iz testnog skupa – odnosno da je proizveo ispravak koji prolazi testove projekta. To ne znači da model X% vremena piše dobar kod.
Pri lansiranju 9. prosinca 2025., Mistral je najavio 72,2% na SWE-bench Verified za Devstral 2 (123 milijarde parametara) i 68,0% za Devstral Small 2 (24 milijarde). Razlika je mala u odnosu na razliku u veličini: to je ono što je Devstral Small 2 učinilo zanimljivim i zašto dokumentacija alata Vibe i danas preporučuje njegovu upotrebu za lokalni rad.
Ista najava ilustrira bitno ograničenje. Mistral je tvrdio da su troškovi do sedam puta niži nego kod Claude Soneta na stvarnim zadacima, uz napomenu da su ljudski evaluatori i dalje snažno preferirali Claude Sonnet 4.5 u odnosu na Devstral 2. Rezultat referentne vrijednosti, brojka troška i ljudska preferencija mjere tri različite stvari; nijedna ne zamjenjuje druge dvije.
Što SWE-bench ne govori
SWE-bench testira specifičan stil rada: ispravljanje grešaka u projektima otvorenog koda napisanima u Pythonu s postojećim skupom testova. Tvoj svakodnevni rad u TypeScriptu, Javi ili na aplikaciji bez testova možda nema nikakve veze s ovom postavkom.
Uvjeti evaluacije imaju veliku težinu: broj dopuštenih pokušaja, alatni okvir (scaffolding) dostupan agentu i vremenska ograničenja mogu pomaknuti rezultate za nekoliko bodova. Dvije brojke koje zasebno objave dva dobavljača s dva različita postavka alata stoga nisu uvijek usporedive. Daj prednost rang-listama koje evaluiraju modele u zajedničkom okviru i uvijek pročitaj metodologiju prije nego što pogledaš brojku.
Veličina je također bitna, i to ne samo zbog računa: model od 24 milijarde parametara koji staje na jedan GPU upotrebljiv je tamo gdje mnogo veći model zahtijeva klaster i tim za održavanje.
Tvoja vlastita referentna vrijednost
Najbolja evaluacija je ona koju izgradiš na vlastitom repozitoriju. Uzmi tri do pet već riješenih tiketa, zajedno s ispravkom koji je napisao tvoj tim i pripadajućim testovima. Neka kandidatski modeli obrade te zadatke – na primjer, Mistral Small 4 i Large 4 putem API-ja ili Vibe Code sa svojim ugrađenim modelom – zatim usporedi:
- Stopa uspješnosti: Prolaze li testovi s predloženim ispravkom?
- Kvaliteta razlike (diff): Je li minimalna, čitljiva i usklađena s tvojim konvencijama?
- Trošak i vrijeme: Potrošeni tokeni, trajanje sesije, broj ljudskih intervencija.
Nijavna javna rang-lista neće zamijeniti ovaj test, a možeš ga ponoviti za sat vremena sa svakim novim modelom.
Ključne točke
- SWE-bench evaluira agente na stvarnim GitHub tiketima, koje procjenjuju testovi projekta
- Tri glavna formata: Full (2.294 zadatka), Lite (300), Verified (500, filtrirali ljudi)
- Devstral 2 i Devstral Small 2 najavili su 72,2% i 68,0% na SWE-bench Verified
- Rezultat, trošak i ljudska preferencija mjere različite stvari; alatni okvir za evaluaciju mijenja brojke
- Odlučujući test pokreće se na tvojim vlastitim riješenim tiketima