Evaluarea unui Agent de Cod: SWE-bench și dincolo de el
Pe această pagină
Lecție rescrisă la 2 noiembrie 2026. Versiunea anterioară lista niveluri de scoruri SWE-bench și un tabel al concurenților fără surse; ambele au fost eliminate. Cifrele Devstral provin din anunțul oficial Mistral (9 decembrie 2025); formatele SWE-bench provin de pe site-ul benchmark-ului. Devstral a fost eliminat din API la 31 iulie 2026: scorurile sale servesc aici drept exemplu de interpretare a rezultatelor. Surse: Devstral 2 și Mistral Vibe CLI (Mistral) · SWE-bench.
Evaluați un Agent, nu o Funcție
Cum evaluați în mod obiectiv un model conceput pentru a rezolva probleme de dezvoltare? Benchmark-urile clasice de generare de cod, precum HumanEval sau MBPP, verifică dacă un model poate scrie o funcție izolată pe baza unui prompt. Ele nu vă spun dacă modelul poate naviga într-un repository cu sute de mii de linii și poate repara un bug real. Un model poate excela la prima sarcină și poate rămâne dezamăgitor la a doua.
SWE-bench completează această lacună și a devenit standardul de referință pentru agenții de cod.
SWE-bench: Tichete Reale, Teste Reale
SWE-bench evaluează modelele pe baza tichetelor reale de GitHub din repository-uri Python populare. Protocolul reproduce fluxul de lucru al unui dezvoltator: modelul primește o descriere a unui bug sau o cerere de funcționalitate fără a i se indica unde să caute; acesta explorează repository-ul, localizează problema și propune o soluție; acea soluție este apoi evaluată automat de testele proprii ale proiectului – aceleași care protejează codul în producție.
Benchmark-ul este disponibil în mai multe formate:
| Format | Conținut |
|---|---|
| SWE-bench (Full) | 2.294 de sarcini colectate din 12 repository-uri Python populare |
| SWE-bench Lite | 300 de sarcini selectate pentru a reduce costul evaluării, păstrând dificultatea |
| SWE-bench Verified | 500 de sarcini filtrate de oameni, în colaborare cu OpenAI |
Site-ul benchmark-ului publică, de asemenea, variante Multilingvistice și Multimodale, utile dacă codul dumneavoastră nu este în Python sau dacă tichetele includ capturi de ecran.
Interpretarea unui Scor: Exemplul Devstral
Un scor SWE-bench de X% înseamnă că agentul a rezolvat X% din tichetele setului de test – adică a produs o soluție care trece testele proiectului. Nu înseamnă că modelul scrie cod bun de X% din ori.
La lansarea sa din 9 decembrie 2025, Mistral a anunțat 72,2% pe SWE-bench Verified pentru Devstral 2 (123 de miliarde de parametri) și 68,0% pentru Devstral Small 2 (24 de miliarde). Decalajul este mic raportat la diferența de dimensiune: acesta este motivul pentru care Devstral Small 2 a devenit interesant și de ce documentația Vibe îl recomandă și astăzi pentru utilizarea locală.
Același anunț ilustrează o rezervă esențială. Mistral a revendicat un cost de până la șapte ori mai mic decât Claude Sonnet pe sarcini reale, notând totodată că evaluatorii umani au preferat în mod clar Claude Sonnet 4.5 în detrimentul lui Devstral 2. Un scor de benchmark, o cifră de cost și preferința umană măsoară trei lucruri diferite; niciunul nu le înlocuiește pe celelalte două.
Ce nu vă spune SWE-bench
SWE-bench testează un stil specific de lucru: repararea bug-urilor în proiecte Python open-source care dispun deja de o suită de teste. Munca dumneavoastră zilnică în TypeScript, Java sau pe o aplicație fără teste poate să nu aibă nicio legătură cu această configurare.
Condițiile de evaluare au o greutate considerabilă: numărul de încercări permise, uneltele (scaffolding) puse la dispoziția agentului și limitele de timp pot modifica scorurile cu câteva puncte. Două cifre publicate separat de doi furnizori cu două configurări diferite de unelte nu sunt, prin urmare, întotdeauna comparabile. Preferați clasamentele care evaluează modelele într-un cadru comun și citiți întotdeauna metodologia înainte de a privi numărul.
Dimensiunea contează, de asemenea, și nu doar pentru factură: un model de 24 de miliarde de parametri care încap pe un singur GPU este utilizabil acolo unde un model mult mai mare necesită un cluster și o echipă pentru întreținere.
Propriul Dumneavoastră Benchmark
Cea mai bună evaluare este cea pe care o construiți pe propriul repository. Luați trei până la cinci tichete deja rezolvate, împreună cu soluția scrisă de echipa dumneavoastră și testele asociate. Solicitați modelelor candidate să le proceseze – de exemplu, Mistral Small 4 și Large 4 prin API, sau Vibe Code cu modelul său integrat – apoi comparați:
- Rata de succes: Testele trec cu soluția propusă?
- Calitatea diff-ului: Este minimă, lizibilă și conformă cu convențiile dumneavoastră?
- Cost și timp: Tokeni consumați, durata sesiunii, numărul de intervenții umane.
Niciun clasament public nu va înlocui acest test, iar dumneavoastră îl puteți rerula într-o oră cu fiecare model nou.
Puncte cheie
- SWE-bench evaluează agenții pe tichete reale de GitHub, judecate de testele proiectului
- Trei formate principale: Full (2.294 de sarcini), Lite (300), Verified (500, filtrate de oameni)
- Devstral 2 și Devstral Small 2 au anunțat 72,2% și, respectiv, 68,0% pe SWE-bench Verified
- Scorul, costul și preferința umană măsoară lucruri diferite; uneltele de evaluare modifică cifrele
- Testul decisiv rulează pe propriile tichete rezolvate