Ocena agenta kodującego: SWE-bench i nie tylko
Na tej stronie
Lekcja przepisana 2 listopada 2026 r. Poprzednia wersja zawierała progi wyników SWE-bench i tabelę konkurencji bez źródeł; oba elementy usunięto. Dane dotyczące Devstral pochodzą z oficjalnego ogłoszenia Mistral (9 grudnia 2025 r.); formaty SWE-bench pochodzą ze strony benchmarku. Devstral został usunięty z API 31 lipca 2026 r.: jego wyniki służą tutaj jako przykład interpretacji rezultatów. Źródła: Devstral 2 and Mistral Vibe CLI (Mistral) · SWE-bench.
Oceń agenta, a nie funkcję
Jak obiektywnie ocenić model zaprojektowany do rozwiązywania problemów deweloperskich? Klasyczne benchmarki generowania kodu, takie jak HumanEval czy MBPP, weryfikują jedynie, czy model potrafi napisać izolowaną funkcję na podstawie polecenia. Nie mówią ci one, czy model poradzi sobie z nawigacją po repozytorium liczącym setki tysięcy linii kodu i naprawieniem rzeczywistego błędu. Model może świetnie radzić sobie z pierwszym zadaniem, pozostawiając rozczarowanie przy drugim.
SWE-bench wypełnia tę lukę i stał się referencyjnym standardem dla agentów kodujących.
SWE-bench: prawdziwe zgłoszenia, prawdziwe testy
SWE-bench ocenia modele na podstawie rzeczywistych zgłoszeń (tickets) z GitHuba pochodzących z popularnych repozytoriów Pythona. Protokół odwzorowuje przepływ pracy programisty: model otrzymuje opis błędu lub prośbę o nową funkcjonalność bez wskazania, gdzie szukać problemu; eksploruje repozytorium, lokalizuje usterkę i proponuje rozwiązanie; rozwiązanie to jest następnie automatycznie weryfikowane przez własne testy projektu – te same, które chronią kod w środowisku produkcyjnym.
Benchmark występuje w kilku formatach:
| Format | Zawartość |
|---|---|
| SWE-bench (Full) | 2294 zadania zebrane z 12 popularnych repozytoriów Pythona |
| SWE-bench Lite | 300 zadań wybranych w celu redukcji kosztów ewaluacji przy zachowaniu poziomu trudności |
| SWE-bench Verified | 500 zadań przefiltrowanych przez ludzi, we współpracy z OpenAI |
Strona benchmarku publikuje również warianty Multilingual (wielojęzyczne) i Multimodal (wielomodalne), przydatne, jeśli twój kod nie jest napisany w Pythonie lub jeśli zgłoszenia zawierają zrzuty ekranu.
Jak czytać wynik: przykład Devstral
Wynik X% w SWE-bench oznacza, że agent rozwiązał X% zadań z zestawu testowego – czyli wygenerował poprawkę, która przechodzi testy projektu. Nie oznacza to, że model pisze dobry kod w X% przypadków.
Podczas premiery 9 grudnia 2025 r. Mistral ogłosił wynik 72,2% w SWE-bench Verified dla modelu Devstral 2 (123 miliardy parametrów) oraz 68,0% dla Devstral Small 2 (24 miliardy). Różnica jest niewielka w stosunku do różnicy rozmiarów: to właśnie czyniło Devstral Small 2 interesującym i dlatego dokumentacja Vibe nadal rekomenduje go do użytku lokalnego.
To samo ogłoszenie ilustruje istotne zastrzeżenie. Mistral twierdził, że koszt rzeczywistych zadań jest nawet siedmiokrotnie niższy niż w przypadku Claude Sonnet, jednocześnie zaznaczając, że ludzcy evaluatorzy nadal zdecydowanie preferowali Claude Sonnet 4.5 nad Devstral 2. Wynik benchmarku, koszt i preferencje ludzkie mierzą trzy różne rzeczy; żaden z tych wskaźników nie zastępuje pozostałych dwóch.
Czego SWE-bench ci nie powie
SWE-bench testuje specyficzny styl pracy: naprawianie błędów w projektach open source napisanych w Pythonie, posiadających istniejący zestaw testów. Twoja codzienna praca w TypeScript, Javie lub nad aplikacją pozbawioną testów może nie mieć z tym setupem nic wspólnego.
Warunki ewaluacji mają ogromne znaczenie: liczba dozwolonych prób, narzędzia (scaffolding) udostępnione agentowi oraz limity czasowe mogą przesunąć wyniki o kilka punktów procentowych. Dwa wyniki opublikowane osobno przez dwóch dostawców korzystających z różnych zestawów narzędzi nie są zatem zawsze porównywalne. Preferuj rankingi, które oceniają modele w ramach wspólnego środowiska, i zawsze czytaj metodykę przed spojrzeniem na liczby.
Rozmiar ma również znaczenie i nie chodzi tylko o rachunek: model liczący 24 miliardy parametrów, który mieści się na pojedynczym GPU, jest użyteczny tam, gdzie znacznie większy model wymaga klastra i zespołu do jego utrzymania.
Twój własny benchmark
Najlepszą ewaluacją jest ta, którą zbudujesz na własnym repozytorium. Wybierz od trzech do pięciu już rozwiązanych zgłoszeń wraz z poprawkami napisanymi przez twój zespół i powiązanymi testami. Poproś kandydujące modele o ich przetworzenie – na przykład Mistral Small 4 i Large 4 przez API lub Vibe Code z wbudowanym modelem – a następnie porównaj:
- Wskaźnik sukcesu: Czy testy przechodzą z proponowaną poprawką?
- Jakość diffa: Czy jest minimalny, czytelny i zgodny z waszymi konwencjami?
- Koszt i czas: Zużyte tokeny, czas trwania sesji, liczba interwencji człowieka.
Żaden publiczny ranking nie zastąpi tego testu, a ty możesz go powtórzyć w godzinę dla każdego nowego modelu.
Kluczowe wnioski
- SWE-bench ocenia agentów na podstawie rzeczywistych zgłoszeń z GitHuba, weryfikowanych przez testy projektu
- Trzy główne formaty: Full (2294 zadania), Lite (300), Verified (500, przefiltrowane przez ludzi)
- Devstral 2 i Devstral Small 2 osiągnęły odpowiednio 72,2% i 68,0% w SWE-bench Verified
- Wynik, koszt i preferencje ludzkie mierzą różne rzeczy; narzędzia ewaluacyjne wpływają na liczby
- Rozstrzygający test przeprowadza się na własnych, już rozwiązanych zgłoszeniach