Оценяване на код агент: SWE-bench и отвъд него
На тази страница
Урокът е пренаписан на 2 ноември 2026 г. Предишната версия включваше нива на резултати от SWE-bench и таблица с конкуренти без източници; и двете са премахнати. Данните за Devstral идват от официалното обявление на Mistral (9 декември 2025 г.); форматите на SWE-bench са взети от сайта на бенчмарка. Devstral беше премахнат от API на 31 юли 2026 г.: неговите резултати служат тук като пример как да се четат данните. Източници: Devstral 2 и Mistral Vibe CLI (Mistral) · SWE-bench.
Оценявайте агента, а не функцията
Как обективно да оцените модел, проектиран да решава проблеми в разработката? Класическите бенчмаркове за генериране на код като HumanEval или MBPP проверяват дали моделът може да напише изолирана функция въз основа на подкана. Те не Ви казват дали може да навигира в хранилище със стотици хиляди редове код и да поправи реален бъг. Един модел може да блести в първата задача и да разочарова във втората.
SWE-bench запълва тази празнота и се превърна в референтния стандарт за код агенти.
SWE-bench: Реални тикети, реални тестове
SWE-bench оценява моделите въз основа на реални тикети в GitHub от популярни Python хранилища. Протоколът възпроизвежда работния процес на разработчика: моделът получава описание на бъг или заявка за нова функционалност, без да му се казва къде да търси; той изследва хранилището, локализира проблема и предлага поправка; след това тази поправка се оценява автоматично чрез собствените тестове на проекта – същите, които защитават кода в продукционна среда.
Бенчмаркът се предлага в няколко формата:
| Формат | Съдържание |
|---|---|
| SWE-bench (Full) | 2294 задачи, събрани от 12 популярни Python хранилища |
| SWE-bench Lite | 300 задачи, подбрани за намаляване на разходите за оценяване при запазване на трудността |
| SWE-bench Verified | 500 задачи, филтрирани от хора в сътрудничество с OpenAI |
Сайтът на бенчмарка публикува и многоезични и мултимодни варианти, които са полезни, ако Вашият код не е на Python или ако тикетите Ви включват екранни снимки.
Четене на резултат: Примерът с Devstral
Резултат от SWE-bench от X% означава, че агентът е решил X% от тикетите в тестовия набор – тоест, той е произвел поправка, която преминава тестовете на проекта. Това не означава, че моделът пише добър код в X% от случаите.
При стартирането си на 9 декември 2025 г., Mistral обяви 72,2% за Devstral 2 (123 милиарда параметъра) и 68,0% за Devstral Small 2 (24 милиарда) в SWE-bench Verified. Разликата е малка спрямо разликата в размера: това е причината Devstral Small 2 да бъде интересен и защо документацията на Vibe все още го препоръчва днес за локална употреба.
Същото обявление илюстрира важно предупреждение. Mistral твърдеше, че разходите за реални задачи са до седем пъти по-ниски в сравнение с Claude Sonnet, като същевременно отбеляза, че човешките оценители все още предпочитат силно Claude Sonnet 4.5 пред Devstral 2. Резултатът от бенчмарк, фигурата за разходите и човешките предпочитания измерват три различни неща; никое от тях не замества другите две.
Какво не Ви казва SWE-bench
SWE-bench тества конкретен стил на работа: поправяне на бъгове в open source Python проекти със съществуващ набор от тестове. Вашата ежедневна работа с TypeScript, Java или върху приложение без тестове може да няма нищо общо с тази настройка.
Условията за оценяване имат голяма тежест: броят на позволените опити, инструментариумът (scaffolding), предоставен на агента, и времевите ограничения могат да променят резултатите с няколко пункта. Следователно две фигури, публикувани отделно от двама доставчици с две различни настройки на инструментариума, не винаги са сравними. Предпочитайте класации, които оценяват моделите в обща рамка, и винаги четете методологията преди числото.
Размерът също има значение, и не само за сметката: модел с 24 милиарда параметъра, който се побира на един GPU, е използваем там, където много по-голям модел изисква клъстер и екип за поддръжка.
Вашият собствен бенчмарк
Най-добрата оценка е тази, която изграждате върху собственото си хранилище. Вземете три до пет вече решени тикета, заедно с поправката, написана от Вашия екип, и свързаните тестове. накарайте кандидат-моделите да ги обработят – например Mistral Small 4 и Large 4 чрез API, или Vibe Code с вградения си модел – и след това сравнете:
- Процент на успех: Преминават ли тестовете с предложената поправка?
- Качество на diff: Минимално ли е, четимо ли е и съответства ли на Вашите конвенции?
- Разходи и време: Консумирани токени, продължителност на сесията, брой човешки намеси.
Никоя публична класация няма да замени този тест и можете да го стартирате отново за един час с всеки нов модел.
Ключови изводи
- SWE-bench оценява агентите въз основа на реални тикети в GitHub, оценени чрез тестове на проекта
- Три основни формата: Full (2294 задачи), Lite (300), Verified (500, филтрирани от хора)
- Devstral 2 и Devstral Small 2 обявиха 72,2% и 68,0% в SWE-bench Verified
- Резултатът, разходите и човешките предпочитания измерват различни неща; инструментариумът за оценяване променя числата
- Решаващият тест се изпълнява върху Вашите собствени решени тикети