Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Koodiagentin arviointi: SWE-bench ja sen tuolla puolen

Oppitunti 7 / 14 Päivitetty 2. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Arvioi agentti, älä funktiota
  2. SWE-bench: Todellisia tikettejä, todellisia testejä
  3. Tulosten lukeminen: Devstral-esimerkki
  4. Mitä SWE-bench ei kerro
  5. Oma benchmarkisi
  6. Keskeiset asiat

Oppitunti kirjoitettu uudelleen 2. marraskuuta 2026. Edellisestä versiosta poistettiin SWE-benchin pisteytystasot ja kilpailijataulukko, koska niille ei ollut lähteitä. Devstralia koskevat luvut perustuvat Mistralin viralliseen tiedotteeseen (9. joulukuuta 2025); SWE-benchin formaatit tulevat benchmark-sivustolta. Devstral poistettiin APIsta 31. heinäkuuta 2026: sen tuloksia käytetään tässä esimerkkinä siitä, miten tuloksia luetaan. Lähteet: Devstral 2 and Mistral Vibe CLI (Mistral) · SWE-bench.

Arvioi agentti, älä funktiota

Miten arvioit objektiivisesti mallia, joka on suunniteltu ratkomaan kehitystehtäviä? Klassiset koodingeneroinnin benchmarkit, kuten HumanEval tai MBPP, varmistavat vain, pystyykö malli kirjoittamaan eristetyn funktion kehotteen perusteella. Ne eivät kerro, pystyykö se navigoimaan sadattuhannet rivit sisältävässä koodivarastossa ja korjaamaan todellisen bugin. Malli voi loistaa ensimmäisessä tehtävässä, mutta pettää toisessa.

SWE-bench paikkaa tämän aukon ja on vakiinnuttanut asemansa koodiagenttien vertailukohtana.

SWE-bench: Todellisia tikettejä, todellisia testejä

SWE-bench arvioi malleja todellisilla GitHub-tiketeillä, jotka on poimittu suosituista Python-varastoista. Protokolla jäljittelee kehittäjän työvaiheita: malli saa bugikuvauksen tai ominaisuuspyynnön kertomatta, mistä etsiä; se tutkii varastoa, paikantaa ongelman ja ehdottaa korjausta; tämän korjauksen arvioi sitten automaattisesti projektin oma testisarja – samat testit, jotka suojelevat koodia tuotannossa.

Benchmarkista on useita formaatteja:

FormaattiSisältö
SWE-bench (Full)2 294 tehtävää, kerätty 12:sta suositusta Python-varastosta
SWE-bench Lite300 tehtävää, valittu arviointikulujen pienentämiseksi vaikeustason säilyessä
SWE-bench Verified500 tehtävää, ihmiset suodattaneet yhteistyössä OpenAI:n kanssa

Benchmark-sivusto julkaisee myös monikielisiä ja multimodaalisia variaatioita, jotka ovat hyödyllisiä, jos koodisi ei ole Pythonia tai jos tiketteihisi sisältyy kuvakaappauksia.

Tulosten lukeminen: Devstral-esimerkki

SWE-benchin tulos X % tarkoittaa, että agentti ratkaisi X % testisarjan tiketeistä – eli se tuotti korjauksen, joka läpäisee projektin testit. Se ei tarkoita, että malli kirjoittaa hyvää koodia X % ajasta.

Julkaisussaan 9. joulukuuta 2025 Mistral ilmoitti Devstral 2:n (123 miljardia parametria) saaneen 72,2 % ja Devstral Small 2:n (24 miljardia) 68,0 % SWE-bench Verified -testissä. Ero on pieni kokoluokkien eroon nähden: tämä teki Devstral Small 2:sta kiinnostavan, ja siksi Viben dokumentaatio suosittelee sitä edelleen paikalliskäyttöön.

Sama tiedote havainnollistaa tärkeää varoitusta. Mistral väitti kustannusten olevan todellisissa tehtävissä jopa seitsemän kertaa pienemmät kuin Claude Sonnetilla, mutta totesi samalla, että ihmisarvioijat suosivat silti vahvasti Claude Sonnet 4.5:tä Devstral 2:n sijaan. Benchmark-pisteet, kustannusluku ja ihmisten mieltymykset mittaavat kolmea eri asiaa; mikään niistä ei korvaa kahta muuta.

Mitä SWE-bench ei kerro

SWE-bench testaa tietynlaista työskentelytapaa: avoimen lähdekoodin Python-projektien bugien korjaamista olemassa olevalla testisarjalla. Päivittäinen työskentelysi TypeScriptillä, Javalla tai sovelluksessa, jossa ei ole testejä, voi olla täysin erilaista.

Arviointiolosuhteilla on suuri merkitys: sallittujen yritysten määrä, agentille tarjottu työkalusto (scaffolding) ja aikarajat voivat siirtää tuloksia useilla prosenttiyksiköillä. Kahden eri toimittajan eri työkalustoilla julkaisemat luvut eivät siis ole aina vertailukelpoisia. Suosi sijoituksia, joissa malleja arvioidaan yhteisessä viitekehyksessä, ja lue aina metodologia ennen numeroa.

Koolla on myös väliä, eikä vain laskun suuruuden kannalta: 24 miljardin parametrin malli, joka mahtuu yhdelle GPU:lle, on käyttökelpoinen tilanteissa, joissa paljon suurempi malli vaatisi klusterin ja ylläpitotiimin.

Oma benchmarkisi

Paras arviointi on se, jonka rakennat omalle varastollesi. Ota kolmesta viiteen jo ratkaistua tikettiä yhdessä tiimisi kirjoittaman korjauksen ja siihen liittyvien testien kanssa. Pyydä ehdokasmalleja käsittelemään ne – esimerkiksi Mistral Small 4:tä ja Large 4:tä API:n kautta tai Vibe Codea sen sisäänrakennetulla mallilla – ja vertaa seuraavia:

  • Onnistumisprosentti: Läpäisevätkö testit ehdotetulla korjauksella?
  • Diff-laatu: Onko muutos minimaalinen, luettava ja konventioiden mukainen?
  • Kustannus ja aika: Kulutetut tokenit, istunnon kesto, ihmisen puuttumisten määrä.

Mikään julkinen sijoitus ei korvaa tätä testiä, ja voit ajaa sen uudelleen tunnissa jokaisen uuden mallin myötä.

Keskeiset asiat

  • SWE-bench arvioi agentteja todellisilla GitHub-tiketeillä, jotka arvioidaan projektin testeillä
  • Kolme pääformaattia: Full (2 294 tehtävää), Lite (300), Verified (500, ihmisten suodattama)
  • Devstral 2 ja Devstral Small 2 ilmoittivat tuloksiksi 72,2 % ja 68,0 % SWE-bench Verified -testissä
  • Pisteet, kustannukset ja ihmisten mieltymykset mittaavat eri asioita; arviointityökalusto vaikuttaa lukemiin
  • Ratkaiseva testi ajetaan omilla ratkaistuilla tiketeilläsi