Benchmarks u Evalwazzjonijiet — Qari bejn il-Linji
F'din il-paġna
Għaliex il-benchmarks huma importanti (u għaliex mhumiex biżżejjed)
Kull rilaxx ta’ mudell ġej b’tabella ta’ punteġġi fuq benchmarks standard, u ċ-ċifri jduru bla bidla fl-artikli tal-istampa u f’preżentazzjonijiet interni. Huma utli: jagħtuk ewwel idea tal-kapaċitajiet u jgħinuk tipposizzjona mudell fix-xena. Iżda jsiru qarrieqa hekk kif taqrahom mingħajr ma tkun taf x’jkejlu verament. Din il-lezzjoni turik kif tinterprethom b’perspettiva ta’ prattikant u mhux bl-eċċitament ta’ komunikat tal-istampa.
X’jkejlu l-benchmarks standard
L-MMLU (Massive Multitask Language Understanding) jevalwa l-għarfien ġenerali ta’ mudell f’57 qasam — storja, fiżika, liġi, mediċina, xjenza tal-kompjuter — permezz ta’ mistoqsijiet b’għażla multipla. Ikejjel l-estensjoni tal-għarfien fattwali, u xejn aktar: la l-ħila tar-raġunament, la l-ħila li ssegwi struzzjonijiet kumplessi, la l-kwalità tal-kitba. Il-mudelli ta’ quċċata issa jaqbżu 85 sa 90%, li jfisser ukoll li l-benchmark jiddiskrimina inqas tajjeb fil-quċċata tal-klassifika. Mudell eċċellenti fl-MMLU xorta jista’ jonqos milli jikteb sommarju eżekuttiv leġibbli.
HumanEval jittestja l-ġenerazzjoni ta’ kodiċi Python funzjonali minn deskrizzjoni f’lingwa naturali, u MBPP (Mostly Basic Python Problems) jagħmel l-istess b’problemi aktar sempliċi. Dawn il-benchmarks ikejlu l-ħila li tikteb funzjoni iżolata korretta. Ma jgħidu xejn dwar il-ħila li taħdem f’bażi ta’ kodiċi eżistenti, tiddibuga mġiba mhux mistennija, jew tinnokopja proġett — il-qalba tax-xogħol. Jeżistu varjanti, bħal HumanEval+ b’testijiet aktar iebsa, u MultiPL-E biex ikopri aktar lingwi.
LMArena, li qabel kienet Chatbot Arena, taħdem mod ieħor: utenti reali jagħmlu mistoqsijiet lil żewġ mudelli anonimi u jivvutaw għall-aħjar tweġiba, bil-klassifika mibnija fuq sistema Elo meħuda mill-logħba tax-xadda. Dan l-istrument jkejjel il-kwalità perċepita f’konversazzjonijiet ħielsa, u jagħmlu l-aktar benchmark qrib l-użu reali. Id-dgħufija tiegħu hija simmetrika: ma tgħid xejn dwar il-prestazzjoni f’kompitu tekniku preċiż, u mekkanikament favurixxi tweġibiet pjaċevoli biex jinqraw.
Evalwazzjonijiet oħra jikkompletaw l-immaġni skont il-kapaċità fil-mira. GSM8K u MATH jiffokaw fuq is-soluzzjoni ta’ problemi matematiċi, ARC fuq raġunament xjentifiku fil-livell tas-sekondarja, HellaSwag fuq kumpliment ta’ xenarji ta’ common sense, TruthfulQA fuq reżistenza għall-alluċinazzjonijiet u d-diżinformazzjoni, u CTO Bench fuq kompiti ta’ kodiċi end-to-end ħafna aktar realistiċi minn HumanEval.
Erba’ regoli biex taqra karta tal-punteġġi
L-ewwel regola hija li tqabbel kumparabbli. It-tqabbil ta’ mudell ta’ 3 biljun parametru ma’ mudell ta’ 70 biljun fuq l-istess kolonni għandu ftit sens jekk tinjora d-distakk fid-daqs u fl-ispiża. Il-mistoqsija rilevanti qatt ma hija “min għandu l-aħjar punteġġ” imma “għal baġit partikolari, liema mudell jagħti l-aħjar riżultati”.
It-tieni regola tistedinnik biex tassumi t-tlugħ minn titjib marġinali. Distakk ta’ punt jew tnejn fl-MMLU bejn żewġ mudelli ġeneralment mhux sinifikanti: il-benchmarks għandhom varjanza naturali, u din id-differenza ma tintraduċix f’xejn li l-utenti jindunaw bih. Xorta tagħmel headlines kabaar għall-istampa tal-aħbarijiet.
It-tielet regola hija li tfittex konsistenza. Mudell li jleħħeq fuq benchmark wieħed u jibqa’ medju kullimkien irid iqajjem il-vleġġa ħamra; mudelli solidi juru prestazzjoni regolari fl-evalwazzjonijiet kollha.
Ir-raba’ regola hija li tiċċekkja d-data. Punteġġi ppubblikati mal-ħruġ ta’ mudell jistgħu ma jibqgħux rappreżentattivi ftit xhur wara, għax ikunu waslu kompetituri ġodda u l-metodoloġiji ta’ evalwazzjoni evolwew. Tabella mingħajr data f’preżentazzjoni kummerċjali għandha ġġiegħlek tistaqsi minn fejn ġejja.
Tliet limitazzjonijiet strutturali
Il-kontaminazzjoni hija l-aktar waħda li ma tidhirx. Il-mudelli jiġu mħarrġa fuq kurpus kbar ta’ testi li jistgħu jkunu fihom il-mistoqsijiet u t-tweġibiet tal-benchmarks innifishom. Punteġġ għoli jista’ mbagħad jirrifletti memorizzazzjoni aktar milli ħila ta’ raġunament, mingħajr ħsara minn ħadd.
Ir-rappreżentattività tqajjem problema differenti: il-benchmarks standard ma jirriflettux il-każ ta’ użu tiegħek. Mudell li jeċċella fl-MMLU jista’ juri medjokrità fil-kitba ta’ emails tan-negozju bil-Franċiża, sempliċement għax ħadd qatt ma vvaluta dan il-kompitu. Il-benchmarks ikejlu kapaċitajiet ġeneriċi, qatt prestazzjoni fil-kuntest tiegħek.
L-ottimizzazzjoni, fl-aħħar, hija konsegwenza prevedibbli tal-iġġir madwar il-klassifiki. Il-laboratorji jafu l-benchmarks u jistgħu jorjentaw it-taħriġ biex jagħmlu tajjeb fihom, xi drabi għad-detriment ta’ kompiti oħra. Dan huwa l-fenomenu tat-”tagħlim għat-test”, sewwa ddokumentat barra mill-intelliġenza artifiċjali.
Erġa’ ikkrossja s-sorsi, imbagħad ittestja int stess
Minflok tiddependi biss fuq iċ-ċifri ippubblikati minn fornitur — Mistral bħal kull ieħor — ikkrossjahom ma’ klassifiki indipendenti. Artificial Analysis tqabbel il-kwalità, il-prezz, il-veloċità u l-latency fuq bażi omoġenja. LMArena tirrifletti l-preferenzi umani f’kundizzjonijiet reali. L-Scale AI Leaderboard tiffoka fuq il-kodiċi, is-segwitu tal-istruzzjonijiet u l-matematika. Il-klassifiki ta’ OpenRouter jaħdmu fuq l-użu effettiv, jiġifieri fuq dak li l-iżviluppaturi verament jagħżlu li ħallsu għalih. Fl-aħħar nett, CTO Bench toffri kompiti ta’ kodiċi realistiċi end-to-end.
Madankollu, l-unika evalwazzjoni li verament tiddeċiedi hija dik li twettaq int bid-dejta tiegħek, il-każijiet ta’ użu tiegħek u l-kriterji tal-kwalità tiegħek. Il-metodu jinżel għal sitt passi:
- Ibni sett ta’ testijiet ta’ 20 sa 50 eżempju rappreżentattivi tal-użu reali tiegħek
- Iddefinixxi l-kriterji tal-kwalità tiegħek b’mod espliċita (preċiżjoni, ton, komprensività, format)
- Ittestja 2 jew 3 mudelli kandidati fuq l-istess sett
- Evalwa bl-għajnejjn magħluqa jekk possibbli, mingħajr ma tkun taf liema mudell produċa liema tweġiba
- Kejjel ukoll il-latency u l-ispiża kull talba
- Deċiedi fuq il-bażi tal-proporzjon kwalità/ispiża/kstraintijiet
L-evalwazzjoni bl-għajnejjn magħluqa tirħos enfasi partikolari: xejn ma jinċlina ġudizzju aktar milli li tkun taf li tweġiba ġejja mill-mudell li kunt ittama li jirbaħ.
Punti Ewlenin
- Il-benchmarks jagħtu ewwel indikazzjoni, iżda mhumiex biżżejjed biex tagħżel mudell
- MMLU ikejjel l-għarfien, HumanEval il-kodiċi, LMArena il-preferenzi umani
- Oqgħod attent għad-differenzi marġinali u għall-kontaminazzjoni tal-benchmarks
- Ara klassifiki indipendenti (Artificial Analysis, LMArena, Scale AI)
- L-aħjar evalwazzjoni hija dejjem dik li tagħmel bid-dejta tiegħek stess