Einen Code-Agenten bewerten: SWE-bench und darüber hinaus
Auf dieser Seite
Lektion am 2. November 2026 überarbeitet. Die vorherige Version führte SWE-bench-Punktestufen und eine Wettbewerbsübersicht ohne Quellenangaben auf; beide wurden entfernt. Die Daten zu Devstral stammen aus der offiziellen Ankündigung von Mistral (9. Dezember 2025); die SWE-bench-Formate stammen von der Benchmark-Seite. Devstral wurde am 31. Juli 2026 von der API entfernt: seine Werte dienen hier als Beispiel, um Ergebnisse zu lesen. Quellen: Devstral 2 und Mistral Vibe CLI (Mistral) · SWE-bench.
Einen Agenten, keine Funktion messen
Wie bewertet man ein Modell objektiv, das darauf ausgelegt ist, Entwicklungsaufgaben zu lösen? Klassische Benchmarks für Code-Generierung wie HumanEval oder MBPP prüfen lediglich, ob ein Modell eine isolierte Funktion aus einem Prompt schreiben kann. Sie zeigen nicht, ob es in einem Repository mit Hunderttausenden von Zeilen navigieren und einen echten Fehler beheben kann. Ein Modell kann bei der ersten Aufgabe hervorragend abschneiden und bei der zweiten enttäuschen.
SWE-bench schließt diese Lücke und hat sich zum Referenzstandard für Code-Agenten entwickelt.
SWE-bench: Echte Tickets, echte Tests
SWE-bench bewertet Modelle an echten GitHub-Tickets aus beliebten Python-Repositories. Das Protokoll repliziert den Arbeitsablauf eines Entwicklers: Das Modell erhält eine Fehlerbeschreibung oder eine Anforderung für eine neue Funktion, ohne dass ihm gesagt wird, wo es suchen soll. Es erkundet das Repository, lokalisiert das Problem und schlägt eine Lösung vor. Diese Lösung wird anschließend automatisch durch die Tests des Projekts bewertet – dieselben Tests, die den Code in der Produktion schützen.
Die Benchmark ist in mehreren Formaten verfügbar:
| Format | Inhalt |
|---|---|
| SWE-bench (Full) | 2.294 Aufgaben, gesammelt aus 12 beliebten Python-Repositories |
| SWE-bench Lite | 300 Aufgaben, ausgewählt, um die Bewertungskosten zu senken, ohne die Schwierigkeit zu verringern |
| SWE-bench Verified | 500 Aufgaben, die in Zusammenarbeit mit OpenAI von Menschen gefiltert wurden |
Die Benchmark-Website veröffentlicht zudem multilinguale und multimodale Varianten, die nützlich sind, wenn Ihr Code nicht in Python geschrieben ist oder wenn Ihre Tickets Screenshots enthalten.
Einen Wert lesen: Das Beispiel Devstral
Ein SWE-bench-Wert von X % bedeutet, dass der Agent X % der Testaufgaben gelöst hat – das heißt, er hat eine Lösung vorgelegt, die die Tests des Projekts besteht. Es bedeutet nicht, dass das Modell X % der Zeit guten Code schreibt.
Bei seiner Ankündigung am 9. Dezember 2025 gab Mistral 72,2 % für Devstral 2 (12 Milliarden Parameter) und 68,0 % für Devstral Small 2 (2,4 Milliarden Parameter) auf SWE-bench Verified an. Die Lücke ist im Verhältnis zur Größenunterschied gering: Das machte Devstral Small 2 interessant und erklärt, warum die Dokumentation von Vibe es heute noch für den lokalen Einsatz empfiehlt.
Die gleiche Ankündigung illustriert eine wesentliche Einschränkung. Mistral behauptete, die Kosten für echte Aufgaben seien bis zu siebenmal niedriger als bei Claude Sonnet, wobei jedoch menschliche Prüfer Claude Sonnet 4,5 deutlich Devstral 2 vorzogen. Ein Benchmark-Wert, eine Kostenangabe und eine menschliche Präferenz messen drei unterschiedliche Dinge; keiner ersetzt die anderen beiden.
Was SWE-bench nicht sagt
SWE-bench testet einen spezifischen Arbeitsstil: Fehler in Open-Source-Projekten auf Python mit einem bestehenden Testsatz beheben. Ihre tägliche Arbeit in TypeScript, Java oder an einer Anwendung ohne Tests hat möglicherweise nichts mit dieser Konfiguration zu tun.
Die Bewertungsbedingungen haben ein hohes Gewicht: Die Anzahl der erlaubten Versuche, das bereitgestellte Werkzeug (Scaffolding) für den Agenten und Zeitlimits können die Werte um mehrere Punkte verschieben. Zwei von zwei Anbietern separat veröffentlichte Zahlen mit unterschiedlichen Werkzeugkonfigurationen sind daher nicht immer vergleichbar. Bevorzugen Sie Ranglisten, die Modelle in einem gemeinsamen Rahmen bewerten, und lesen Sie die Methodik immer vor der Zahl.
Die Größe spielt ebenfalls eine Rolle, und nicht nur für die Rechnung: Ein Modell mit 2,4 Milliarden Parametern, das auf einer einzelnen GPU Platz findet, ist dort einsetzbar, wo ein deutlich größeres Modell einen Cluster und ein Team zur Wartung erfordert.
Ihre eigene Benchmark
Die beste Bewertung ist die, die Sie in Ihrem eigenen Repository erstellen. Nehmen Sie drei bis fünf bereits gelöste Tickets, zusammen mit der Lösung, die Ihr Team geschrieben hat, und den zugehörigen Tests. Lassen Sie Kandidatenmodelle diese bearbeiten – zum Beispiel Mistral Small 4 und Large 4 über die API oder Vibe Code mit seinem integrierten Modell – und vergleichen Sie:
- Erfolgsrate: Bestehen die Tests mit der vorgeschlagenen Lösung?
- Qualität der Änderungen: Ist sie minimal, lesbar und konform mit Ihren Konventionen?
- Kosten und Zeit: Verwendete Tokens, Sitzungsdauer, Anzahl der menschlichen Eingriffe.
Keine öffentliche Rangliste wird diesen Test ersetzen, und Sie können ihn innerhalb einer Stunde mit jedem neuen Modell wiederholen.
Kernaussagen
- SWE-bench bewertet Agenten an echten GitHub-Tickets, die durch Projekttests geprüft werden
- Drei Hauptformate: Full (2.294 Aufgaben), Lite (300), Verified (500, von Menschen gefiltert)
- Devstral 2 und Devstral Small 2 erreichten 72,2 % bzw. 68,0 % auf SWE-bench Verified
- Wert, Kosten und menschliche Präferenz messen unterschiedliche Dinge; das Bewertungswerkzeug verändert die Zahlen
- Der entscheidende Test läuft auf Ihren eigenen gelösten Tickets ab