Meastóireacht a dhéanamh ar Ghníomhaire Cóid: SWE-bench agus níos faide i gcéin
Ar an leathanach seo
An ceacht athscríofa an 2 Samhain, 2026. Bhí sraitheanna scóir SWE-bench agus tábla iomaitheoirí gan foinse sa leagan roimhe seo; baineadh an dá cheann acu. Tagann figiúirí Devstral ó fhógra oifigiúil Mistral (9 Nollaig, 2025); tagann formáidí SWE-bench ó shuíomh an tagarmhairc. Baineadh Devstral den API an 31 Iúil, 2026: feidhmíonn a scóir anseo mar shampla ar conas torthaí a léamh. Foinseacha: Devstral 2 agus Mistral Vibe CLI (Mistral) · SWE-bench.
Gníomhaire a thomhas, seachas feidhm
Conas is féidir leat meastóireacht oibiachtúil a dhéanamh ar mhúnla atá deartha chun fadhbanna forbartha a réiteach? Déanann tagarmhairc ghiniúna cóid chlasaiceacha cosúil le HumanEval nó MBPP seiceáil an féidir le múnla feidhm aonair a scríobh bunaithe ar leid. Ní insíonn siad duit an féidir leis nascleanúint a dhéanamh i stór a bhfuil na céadta mílte líne ann agus fíorbhog a shocrú. Is féidir le múnla bheith ar fheabhas ar an gcéad tasc agus fanacht míshásúil ar an dara ceann.
Líonann SWE-bench an bhearna seo agus tá sé ina chaighdeán tagartha do ghníomhairí cóid.
SWE-bench: Ticéid Réadacha, Tástálacha Réadacha
Déanann SWE-bench meastóireacht ar mhúnlaí bunaithe ar fhíorthicéid GitHub ó stórais Python coitianta. Atáirgeann an prótacal sruth oibre forbróra: faigheann an múnla cur síos ar bhog nó iarratas ar ghné gan a bheith iniscthe cá háit le breathnú; déanann sé iniúchadh ar an stór, aimsíonn sé an fhadhb, agus molann sé réiteach; déantar breithiúnas uathoibríoch ar an réiteach sin ansin trí thástálacha an tionscadail féin—na cinn chéanna a chosnaíonn an cód sa táirgeadh.
Tagann an tagarmharc i roinnt formáidí:
| Formáid | Ábhar |
|---|---|
| SWE-bench (Lán) | 2,294 tasc bailithe ó 12 stór Python coitianta |
| SWE-bench Lite | 300 tasc roghnaithe chun costas na meastóireachta a laghdú agus an deacracht a chaomhnú |
| SWE-bench Verified | 500 tasc scagtha ag daoine, i gcomhar le OpenAI |
Foilsíonn suíomh an tagarmhairc leaganacha Ilteangacha agus Ilmhóideacha freisin, atá úsáideach mura bhfuil do chód i Python nó má tá grianghraif i do thicéid.
Scór a léamh: Sampla Devstral
Ciallaíonn scór SWE-bench de X% gur réitigh an gníomhaire X% de thicéid an tsraith tástála—sin le rá, gur tháirg sé réiteach a ritheann tástálacha an tionscadail. Ní chiallaíonn sé go scríobhann an múnla cód maith X% den am.
Ag a sheoladh an 9 Nollaig, 2025, d’fhógair Mistral 72.2% ar SWE-bench Verified do Devstral 2 (123 billiún paraiméadar) agus 68.0% do Devstral Small 2 (24 billiún). Is beag an bhearna i gcomparáid leis an difríocht méide: sin an rud a rinne Devstral Small 2 suimiúil, agus an fáth a molann doiciméadú Vibe é fós inniu le haghaidh úsáide áitiúla.
Léiríonn an fógra céanna rabhadh riachtanach. Mhaígh Mistral costas suas le seacht n-uaire níos ísle ná Claude Sonnet ar thascanna réadacha, agus thug sé faoi deara fós go raibh meas níos láidre ag luachálaithe daonna ar Claude Sonnet 4.5 ná ar Devstral 2. Tomhaiseann scór tagarmhairc, figiúr costais, agus rogha dhaonna trí rud éagsúil; ní chuireann ceann acu an dá cheann eile in ionad.
Cad nach n-insíonn SWE-bench duit
Déanann SWE-bench tástáil ar stíl shonrach oibre: fabhtanna a shocrú i dtionscadail Python foinse oscailte a bhfuil sraith tástála ann cheana féin. B’fhéidir nach bhfuil aon bhaint ag do chuid oibre laethúla i TypeScript, Java, nó ar fheidhmchlár gan tástálacha leis an socrú seo.
Tá meáchan trom ag baint le coinníollacha meastóireachta: is féidir leis an líon iarrachtaí ceadaithe, leis an uirlisiú (scaffolding) a chuirtear ar fáil don ghníomhaire, agus le teorainneacha ama na scóir a athrú go suntasach. Dá bhrí sin, ní féidir dhá fhigiúr a fhoilsíonn dhá sholáthraí ar leithligh le dhá shocrú uirlisí éagsúla a chur i gcomparáid i gcónaí. Is fearr rangú a dhéanann meastóireacht ar mhúnlaí i gcreat coiteann, agus léigh an modheolaíocht i gcónaí sula mbreathnaíonn tú ar an uimhir.
Tá tábhacht leis an méid freisin, agus ní hamháin don bhille: tá múnla 24-bhilliún-paraiméadar inúsáidte áit a n-éilíonn múnla i bhfad níos mó braisle agus foireann chun é a chothabháil.
Do thagarmharc féin
Is é an mheastóireacht is fearr ná an ceann a thógann tú ar do stór féin. Tóg trí go cúig thicéad atá réitithe cheana, in éineacht leis an réiteach a scríobh d’fhoireann agus na tástálacha gaolmhara. Cuir ar chumas na múnlaí iarrthacha iad a phróiseáil—mar shampla, Mistral Small 4 agus Large 4 tríd an API, nó Vibe Code leis an múnla atá tógtha isteach ann—agus déan comparáid:
- Ráta rathúlachta: An ritheann na tástálacha leis an réiteach atá molta?
- Cáilíocht an dif: An bhfuil sé íosta, inléite, agus comhlíontach le do choinbhinsiúin?
- Costas agus am: Tokain a úsáideadh, fad na seisiúin, líon na n-idirghabhálacha daonna.
Ní chuirfidh aon rangú poiblí an tástáil seo in ionad, agus is féidir leat é a athrith in uair an chloig le gach múnla nua.
Príomhphointí
- Déanann SWE-bench meastóireacht ar ghníomhairí ar fhíorthicéid GitHub, arna mbreithiúnú ag tástálacha an tionscadail
- Trí phríomhfhoirmáid: Lán (2,294 tasc), Lite (300), Verified (500, scagtha ag daoine)
- D’fhógair Devstral 2 agus Devstral Small 2 72.2% agus 68.0% faoi seach ar SWE-bench Verified
- Tomhaiseann scór, costas, agus rogha dhaonna rudaí éagsúla; athraíonn uirlisiú na meastóireachta na huimhreacha
- Ritheann an tástáil chinntitheach ar do thicéid réitithe féin