Een Code-agent evalueren: SWE-bench en verder
Op deze pagina
Les herschreven op 2 november 2026. De vorige versie bevatte SWE-bench-scoreniveaus en een concurrentietabel zonder bronnen; beide zijn verwijderd. Devstral-cijfers komen uit de officiële aankondiging van Mistral (9 december 2025); SWE-bench-formaten komen van de benchmarksite. Devstral is op 31 juli 2026 uit de API verwijderd: de scores dienen hier als voorbeeld voor het interpreteren van resultaten. Bronnen: Devstral 2 en Mistral Vibe CLI (Mistral) · SWE-bench.
Evalueer een agent, geen functie
Hoe evalueert u objectief een model dat is ontworpen om ontwikkelproblemen op te lossen? Klassieke benchmarks voor codegeneratie zoals HumanEval of MBPP verifiëren alleen of een model een geïsoleerde functie kan schrijven op basis van een prompt. Ze vertellen u niet of het model door een repository met honderdduizenden regels code kan navigeren en een echte bug kan fixen. Een model kan uitstekend presteren bij de eerste taak en teleurstellend blijven bij de tweede.
SWE-bench vult dit gat en is uitgegroeid tot de referentiestandaard voor code-agents.
SWE-bench: echte tickets, echte tests
SWE-bench evalueert modellen op basis van echte GitHub-tickets uit populaire Python-repositories. Het protocol bootst de workflow van een ontwikkelaar na: het model ontvangt een bugbeschrijving of functieverzoek zonder aanwijzingen over de locatie; het verkennt de repository, lokaliseert het probleem en stelt een oplossing voor; die oplossing wordt vervolgens automatisch beoordeeld door de eigen tests van het project—dezelfde tests die de code in productie beschermen.
De benchmark is beschikbaar in verschillende formaten:
| Formaat | Inhoud |
|---|---|
| SWE-bench (Full) | 2.294 taken verzameld uit 12 populaire Python-repositories |
| SWE-bench Lite | 300 taken geselecteerd om evaluatiekosten te verlagen met behoud van moeilijkheidsgraad |
| SWE-bench Verified | 500 taken gefilterd door mensen, in samenwerking met OpenAI |
De benchmarksite publiceert ook meertalige en multimodale varianten, nuttig als uw code niet in Python is geschreven of als uw tickets schermafbeeldingen bevatten.
Een score lezen: het voorbeeld van Devstral
Een SWE-bench-score van X% betekent dat de agent X% van de tickets in de testset heeft opgelost—dat wil zeggen, het heeft een fix geproduceerd die slaagt voor de tests van het project. Het betekent niet dat het model X% van de tijd goede code schrijft.
Bij de lancering op 9 december 2025 kondigde Mistral 72,2% aan op SWE-bench Verified voor Devstral 2 (123 miljard parameters) en 68,0% voor Devstral Small 2 (24 miljard). Het verschil is klein in verhouding tot het grootteverschil: dit maakte Devstral Small 2 interessant, en daarom beveelt de documentatie van Vibe het vandaag nog steeds aan voor lokaal gebruik.
Dezelfde aankondiging illustreert een essentiële kanttekening. Mistral claimde tot zeven keer lagere kosten dan Claude Sonnet bij echte taken, terwijl werd opgemerkt dat menselijke beoordelaars Claude Sonnet 4.5 nog steeds sterk prefereerden boven Devstral 2. Een benchmarkscore, een kostencijfer en menselijke voorkeur meten drie verschillende dingen; geen enkele vervangt de andere twee.
Wat SWE-bench u niet vertelt
SWE-bench test een specifieke werkstijl: bugs fixen in open-source Python-projecten met een bestaande testsuite. Uw dagelijkse werk in TypeScript, Java, of aan een applicatie zonder tests, heeft hier mogelijk niets mee te maken.
Evaluatievoorwaarden hebben zwaar gewicht: het aantal toegestane pogingen, de tooling (scaffolding) die aan de agent wordt geboden, en tijdslimieten kunnen scores met meerdere punten verschuiven. Twee cijfers die afzonderlijk door twee leveranciers met twee verschillende tooling-setups zijn gepubliceerd, zijn daarom niet altijd vergelijkbaar. Geef de voorkeur aan ranglijsten die modellen in een gemeenschappelijk kader evalueren, en lees altijd de methodologie voordat u naar het cijfer kijkt.
Grootte doet er ook toe, en niet alleen voor de factuur: een model met 24 miljard parameters dat op één GPU past, is bruikbaar waar een veel groter model een cluster en een team vereist voor onderhoud.
Uw eigen benchmark
De beste evaluatie is degene die u bouwt op uw eigen repository. Neem drie tot vijf reeds opgeloste tickets, samen met de fix die uw team heeft geschreven en de bijbehorende tests. Laat kandidaat-modellen deze verwerken—bijvoorbeeld Mistral Small 4 en Large 4 via de API, of Vibe Code met zijn ingebouwde model—en vergelijk vervolgens:
- Succespercentage: Slagen de tests met de voorgestelde fix?
- Diff-kwaliteit: Is deze minimaal, leesbaar en conform uw conventies?
- Kosten en tijd: Verbruikte tokens, sessieduur, aantal menselijke interventies.
Geen enkele openbare ranglijst zal deze test vervangen, en u kunt deze bij elk nieuw model binnen een uur opnieuw uitvoeren.
Belangrijkste punten
- SWE-bench evalueert agents op echte GitHub-tickets, beoordeeld door projecttests
- Drie hoofdformaten: Full (2.294 taken), Lite (300), Verified (500, door mensen gefilterd)
- Devstral 2 en Devstral Small 2 kondigden 72,2% en 68,0% aan op SWE-bench Verified
- Score, kosten en menselijke voorkeur meten verschillende dingen; evaluatie-tooling verandert de cijfers
- De doorslaggevende test draait op uw eigen opgeloste tickets