Премини към основното съдържание
Български— Изберете език
Меню

Оценяване на код агент: SWE-bench и отвъд него

Урок 7 от 14 Обновен 2 ноември 2026 г. Програмист
На тази страница
  1. Оценявайте агента, а не функцията
  2. SWE-bench: Реални тикети, реални тестове
  3. Четене на резултат: Примерът с Devstral
  4. Какво не Ви казва SWE-bench
  5. Вашият собствен бенчмарк
  6. Ключови изводи

Урокът е пренаписан на 2 ноември 2026 г. Предишната версия включваше нива на резултати от SWE-bench и таблица с конкуренти без източници; и двете са премахнати. Данните за Devstral идват от официалното обявление на Mistral (9 декември 2025 г.); форматите на SWE-bench са взети от сайта на бенчмарка. Devstral беше премахнат от API на 31 юли 2026 г.: неговите резултати служат тук като пример как да се четат данните. Източници: Devstral 2 и Mistral Vibe CLI (Mistral) · SWE-bench.

Оценявайте агента, а не функцията

Как обективно да оцените модел, проектиран да решава проблеми в разработката? Класическите бенчмаркове за генериране на код като HumanEval или MBPP проверяват дали моделът може да напише изолирана функция въз основа на подкана. Те не Ви казват дали може да навигира в хранилище със стотици хиляди редове код и да поправи реален бъг. Един модел може да блести в първата задача и да разочарова във втората.

SWE-bench запълва тази празнота и се превърна в референтния стандарт за код агенти.

SWE-bench: Реални тикети, реални тестове

SWE-bench оценява моделите въз основа на реални тикети в GitHub от популярни Python хранилища. Протоколът възпроизвежда работния процес на разработчика: моделът получава описание на бъг или заявка за нова функционалност, без да му се казва къде да търси; той изследва хранилището, локализира проблема и предлага поправка; след това тази поправка се оценява автоматично чрез собствените тестове на проекта – същите, които защитават кода в продукционна среда.

Бенчмаркът се предлага в няколко формата:

ФорматСъдържание
SWE-bench (Full)2294 задачи, събрани от 12 популярни Python хранилища
SWE-bench Lite300 задачи, подбрани за намаляване на разходите за оценяване при запазване на трудността
SWE-bench Verified500 задачи, филтрирани от хора в сътрудничество с OpenAI

Сайтът на бенчмарка публикува и многоезични и мултимодни варианти, които са полезни, ако Вашият код не е на Python или ако тикетите Ви включват екранни снимки.

Четене на резултат: Примерът с Devstral

Резултат от SWE-bench от X% означава, че агентът е решил X% от тикетите в тестовия набор – тоест, той е произвел поправка, която преминава тестовете на проекта. Това не означава, че моделът пише добър код в X% от случаите.

При стартирането си на 9 декември 2025 г., Mistral обяви 72,2% за Devstral 2 (123 милиарда параметъра) и 68,0% за Devstral Small 2 (24 милиарда) в SWE-bench Verified. Разликата е малка спрямо разликата в размера: това е причината Devstral Small 2 да бъде интересен и защо документацията на Vibe все още го препоръчва днес за локална употреба.

Същото обявление илюстрира важно предупреждение. Mistral твърдеше, че разходите за реални задачи са до седем пъти по-ниски в сравнение с Claude Sonnet, като същевременно отбеляза, че човешките оценители все още предпочитат силно Claude Sonnet 4.5 пред Devstral 2. Резултатът от бенчмарк, фигурата за разходите и човешките предпочитания измерват три различни неща; никое от тях не замества другите две.

Какво не Ви казва SWE-bench

SWE-bench тества конкретен стил на работа: поправяне на бъгове в open source Python проекти със съществуващ набор от тестове. Вашата ежедневна работа с TypeScript, Java или върху приложение без тестове може да няма нищо общо с тази настройка.

Условията за оценяване имат голяма тежест: броят на позволените опити, инструментариумът (scaffolding), предоставен на агента, и времевите ограничения могат да променят резултатите с няколко пункта. Следователно две фигури, публикувани отделно от двама доставчици с две различни настройки на инструментариума, не винаги са сравними. Предпочитайте класации, които оценяват моделите в обща рамка, и винаги четете методологията преди числото.

Размерът също има значение, и не само за сметката: модел с 24 милиарда параметъра, който се побира на един GPU, е използваем там, където много по-голям модел изисква клъстер и екип за поддръжка.

Вашият собствен бенчмарк

Най-добрата оценка е тази, която изграждате върху собственото си хранилище. Вземете три до пет вече решени тикета, заедно с поправката, написана от Вашия екип, и свързаните тестове. накарайте кандидат-моделите да ги обработят – например Mistral Small 4 и Large 4 чрез API, или Vibe Code с вградения си модел – и след това сравнете:

  • Процент на успех: Преминават ли тестовете с предложената поправка?
  • Качество на diff: Минимално ли е, четимо ли е и съответства ли на Вашите конвенции?
  • Разходи и време: Консумирани токени, продължителност на сесията, брой човешки намеси.

Никоя публична класация няма да замени този тест и можете да го стартирате отново за един час с всеки нов модел.

Ключови изводи

  • SWE-bench оценява агентите въз основа на реални тикети в GitHub, оценени чрез тестове на проекта
  • Три основни формата: Full (2294 задачи), Lite (300), Verified (500, филтрирани от хора)
  • Devstral 2 и Devstral Small 2 обявиха 72,2% и 68,0% в SWE-bench Verified
  • Резултатът, разходите и човешките предпочитания измерват различни неща; инструментариумът за оценяване променя числата
  • Решаващият тест се изпълнява върху Вашите собствени решени тикети