Vai al contenuto principale
Italiano— Scegli una lingua
Menu

Valutare un Agente di Codice: SWE-bench e Oltre

Lezione 7 di 14 Aggiornata il 2 novembre 2026 Sviluppatore
In questa pagina
  1. Misura un Agente, Non una Funzione
  2. SWE-bench: Ticket Reali, Test Reali
  3. Leggere un Punteggio: L’Esempio Devstral
  4. Cosa SWE-bench Non Ti Dice
  5. Il Tuo Benchmark Personale
  6. Punti chiave

Lezione riscritta il 2 novembre 2026. La versione precedente elencava livelli di punteggio SWE-bench e una tabella dei concorrenti senza fonti; entrambi sono stati rimossi. I dati su Devstral provengono dall’annuncio ufficiale di Mistral (9 dicembre 2025); i formati SWE-bench dal sito del benchmark. Devstral è stato rimosso dalle API il 31 luglio 2026: i suoi punteggi servono qui come esempio su come leggere i risultati. Fonti: Devstral 2 e Mistral Vibe CLI (Mistral) · SWE-bench.

Misura un Agente, Non una Funzione

Come valuti oggettivamente un modello progettato per risolvere problemi di sviluppo? I benchmark classici di generazione di codice come HumanEval o MBPP verificano se un modello sa scrivere una funzione isolata partendo da un prompt. Non ti dicono se è in grado di navigare in un repository con centinaia di migliaia di righe e correggere un bug reale. Un modello può eccellere nel primo compito e rimanere deludente nel secondo.

SWE-bench colma questa lacuna ed è diventato lo standard di riferimento per gli agenti di codice.

SWE-bench: Ticket Reali, Test Reali

SWE-bench valuta i modelli su ticket GitHub reali provenienti da repository Python popolari. Il protocollo replica il flusso di lavoro di uno sviluppatore: il modello riceve una descrizione di un bug o una richiesta di funzionalità senza sapere dove guardare; esplora il repository, individua il problema e propone una correzione; tale correzione viene poi giudicata automaticamente dai test del progetto stesso, gli stessi che proteggono il codice in produzione.

Il benchmark è disponibile in diversi formati:

FormatoContenuto
SWE-bench (Full)2.294 task raccolti da 12 repository Python popolari
SWE-bench Lite300 task selezionati per ridurre i costi di valutazione mantenendo la difficoltà
SWE-bench Verified500 task filtrati da umani, in collaborazione con OpenAI

Il sito del benchmark pubblica anche varianti Multilingua e Multimodali, utili se il tuo codice non è in Python o se i tuoi ticket includono screenshot.

Leggere un Punteggio: L’Esempio Devstral

Un punteggio SWE-bench del X% significa che l’agente ha risolto il X% dei ticket del set di test, ovvero ha prodotto una correzione che supera i test del progetto. Non significa che il modello scriva buon codice il X% delle volte.

Al suo lancio, il 9 dicembre 2025, Mistral ha annunciato un punteggio del 72,2% su SWE-bench Verified per Devstral 2 (123 miliardi di parametri) e del 68,0% per Devstral Small 2 (24 miliardi). Il divario è ridotto rispetto alla differenza di dimensioni: ecco cosa ha reso interessante Devstral Small 2 e perché la documentazione di Vibe lo raccomanda ancora oggi per l’uso locale.

Lo stesso annuncio illustra un’avvertenza essenziale. Mistral ha rivendicato un costo fino a sette volte inferiore rispetto a Claude Sonnet su task reali, notando al contempo che i valutatori umani preferivano nettamente Claude Sonnet 4.5 rispetto a Devstral 2. Un punteggio benchmark, una cifra di costo e una preferenza umana misurano tre cose diverse; nessuno sostituisce gli altri due.

Cosa SWE-bench Non Ti Dice

SWE-bench testa uno stile specifico di lavoro: correggere bug in progetti Python open source con una suite di test esistente. Il tuo lavoro quotidiano in TypeScript, Java o su un’applicazione senza test potrebbe non avere nulla a che fare con questo scenario.

Le condizioni di valutazione hanno un peso notevole: il numero di tentativi consentiti, gli strumenti (scaffolding) forniti all’agente e i limiti di tempo possono spostare i punteggi di diversi punti. Due cifre pubblicate separatamente da due fornitori con due configurazioni di strumenti diverse non sono quindi sempre confrontabili. Preferisci le classifiche che valutano i modelli in un framework comune e leggi sempre la metodologia prima del numero.

Anche la dimensione conta, e non solo per la fattura: un modello da 24 miliardi di parametri che sta su una singola GPU è utilizzabile laddove un modello molto più grande richiede un cluster e un team per la manutenzione.

Il Tuo Benchmark Personale

La valutazione migliore è quella che costruisci sul tuo repository. Prendi da tre a cinque ticket già risolti, insieme alla correzione scritta dal tuo team e ai test associati. Fai elaborare questi casi ai modelli candidati, ad esempio Mistral Small 4 e Large 4 tramite API, o Vibe Code con il suo modello integrato, e poi confronta:

  • Tasso di successo: I test passano con la correzione proposta?
  • Qualità del diff: È minimale, leggibile e conforme alle tue convenzioni?
  • Costo e tempo: Token consumati, durata della sessione, numero di interventi umani.

Nessuna classifica pubblica sostituirà questo test, e puoi rieseguirlo in un’ora con ogni nuovo modello.

Punti chiave

  • SWE-bench valuta gli agenti su ticket GitHub reali, giudicati dai test del progetto
  • Tre formati principali: Full (2.294 task), Lite (300), Verified (500, filtrati da umani)
  • Devstral 2 e Devstral Small 2 hanno annunciato rispettivamente il 72,2% e il 68,0% su SWE-bench Verified
  • Punteggio, costo e preferenza umana misurano aspetti diversi; gli strumenti di valutazione cambiano i numeri
  • Il test decisivo si esegue sui tuoi ticket risolti