Salt la conținutul principal
Română— Alege o limbă
Meniu

Evaluarea unui Agent de Cod: SWE-bench și dincolo de el

Lecția 7 din 14 Actualizată 2 noiembrie 2026 Dezvoltator
Pe această pagină
  1. Evaluați un Agent, nu o Funcție
  2. SWE-bench: Tichete Reale, Teste Reale
  3. Interpretarea unui Scor: Exemplul Devstral
  4. Ce nu vă spune SWE-bench
  5. Propriul Dumneavoastră Benchmark
  6. Puncte cheie

Lecție rescrisă la 2 noiembrie 2026. Versiunea anterioară lista niveluri de scoruri SWE-bench și un tabel al concurenților fără surse; ambele au fost eliminate. Cifrele Devstral provin din anunțul oficial Mistral (9 decembrie 2025); formatele SWE-bench provin de pe site-ul benchmark-ului. Devstral a fost eliminat din API la 31 iulie 2026: scorurile sale servesc aici drept exemplu de interpretare a rezultatelor. Surse: Devstral 2 și Mistral Vibe CLI (Mistral) · SWE-bench.

Evaluați un Agent, nu o Funcție

Cum evaluați în mod obiectiv un model conceput pentru a rezolva probleme de dezvoltare? Benchmark-urile clasice de generare de cod, precum HumanEval sau MBPP, verifică dacă un model poate scrie o funcție izolată pe baza unui prompt. Ele nu vă spun dacă modelul poate naviga într-un repository cu sute de mii de linii și poate repara un bug real. Un model poate excela la prima sarcină și poate rămâne dezamăgitor la a doua.

SWE-bench completează această lacună și a devenit standardul de referință pentru agenții de cod.

SWE-bench: Tichete Reale, Teste Reale

SWE-bench evaluează modelele pe baza tichetelor reale de GitHub din repository-uri Python populare. Protocolul reproduce fluxul de lucru al unui dezvoltator: modelul primește o descriere a unui bug sau o cerere de funcționalitate fără a i se indica unde să caute; acesta explorează repository-ul, localizează problema și propune o soluție; acea soluție este apoi evaluată automat de testele proprii ale proiectului – aceleași care protejează codul în producție.

Benchmark-ul este disponibil în mai multe formate:

FormatConținut
SWE-bench (Full)2.294 de sarcini colectate din 12 repository-uri Python populare
SWE-bench Lite300 de sarcini selectate pentru a reduce costul evaluării, păstrând dificultatea
SWE-bench Verified500 de sarcini filtrate de oameni, în colaborare cu OpenAI

Site-ul benchmark-ului publică, de asemenea, variante Multilingvistice și Multimodale, utile dacă codul dumneavoastră nu este în Python sau dacă tichetele includ capturi de ecran.

Interpretarea unui Scor: Exemplul Devstral

Un scor SWE-bench de X% înseamnă că agentul a rezolvat X% din tichetele setului de test – adică a produs o soluție care trece testele proiectului. Nu înseamnă că modelul scrie cod bun de X% din ori.

La lansarea sa din 9 decembrie 2025, Mistral a anunțat 72,2% pe SWE-bench Verified pentru Devstral 2 (123 de miliarde de parametri) și 68,0% pentru Devstral Small 2 (24 de miliarde). Decalajul este mic raportat la diferența de dimensiune: acesta este motivul pentru care Devstral Small 2 a devenit interesant și de ce documentația Vibe îl recomandă și astăzi pentru utilizarea locală.

Același anunț ilustrează o rezervă esențială. Mistral a revendicat un cost de până la șapte ori mai mic decât Claude Sonnet pe sarcini reale, notând totodată că evaluatorii umani au preferat în mod clar Claude Sonnet 4.5 în detrimentul lui Devstral 2. Un scor de benchmark, o cifră de cost și preferința umană măsoară trei lucruri diferite; niciunul nu le înlocuiește pe celelalte două.

Ce nu vă spune SWE-bench

SWE-bench testează un stil specific de lucru: repararea bug-urilor în proiecte Python open-source care dispun deja de o suită de teste. Munca dumneavoastră zilnică în TypeScript, Java sau pe o aplicație fără teste poate să nu aibă nicio legătură cu această configurare.

Condițiile de evaluare au o greutate considerabilă: numărul de încercări permise, uneltele (scaffolding) puse la dispoziția agentului și limitele de timp pot modifica scorurile cu câteva puncte. Două cifre publicate separat de doi furnizori cu două configurări diferite de unelte nu sunt, prin urmare, întotdeauna comparabile. Preferați clasamentele care evaluează modelele într-un cadru comun și citiți întotdeauna metodologia înainte de a privi numărul.

Dimensiunea contează, de asemenea, și nu doar pentru factură: un model de 24 de miliarde de parametri care încap pe un singur GPU este utilizabil acolo unde un model mult mai mare necesită un cluster și o echipă pentru întreținere.

Propriul Dumneavoastră Benchmark

Cea mai bună evaluare este cea pe care o construiți pe propriul repository. Luați trei până la cinci tichete deja rezolvate, împreună cu soluția scrisă de echipa dumneavoastră și testele asociate. Solicitați modelelor candidate să le proceseze – de exemplu, Mistral Small 4 și Large 4 prin API, sau Vibe Code cu modelul său integrat – apoi comparați:

  • Rata de succes: Testele trec cu soluția propusă?
  • Calitatea diff-ului: Este minimă, lizibilă și conformă cu convențiile dumneavoastră?
  • Cost și timp: Tokeni consumați, durata sesiunii, numărul de intervenții umane.

Niciun clasament public nu va înlocui acest test, iar dumneavoastră îl puteți rerula într-o oră cu fiecare model nou.

Puncte cheie

  • SWE-bench evaluează agenții pe tichete reale de GitHub, judecate de testele proiectului
  • Trei formate principale: Full (2.294 de sarcini), Lite (300), Verified (500, filtrate de oameni)
  • Devstral 2 și Devstral Small 2 au anunțat 72,2% și, respectiv, 68,0% pe SWE-bench Verified
  • Scorul, costul și preferința umană măsoară lucruri diferite; uneltele de evaluare modifică cifrele
  • Testul decisiv rulează pe propriile tichete rezolvate