Etalonai ir vertinimai – skaitymas tarp eilučių
Šiame puslapyje
Kodėl etalonai svarbūs (ir kodėl jų nepakanka)
Kiekvienas naujas modelis pristatomas su lentele, kurioje pateikiami standartizuotų etalonų balai. Šie skaičiai nesikeisdami keliauja iš spaudos straipsnių į vidines prezentacijas. Jie naudingi: suteikia pirmąjį supratimą apie galimybes ir padeda įmodelį įsprausti į bendrą vaizdą. Tačiau jie tampa klaidinantys, jei juos skaitai nežinodamas, ką jie iš tikrųjų matuoja. Šioje pamokoje sužinosi, kaip juos interpretuoti praktiko dirbančio žmogaus požiūriu, o ne su spaudos pranešimų entuziazmu.
Ką matuoja standartiniai etalonai
MMLU („Massive Multitask Language Understanding“) vertina bendrąsias modelio žinias 57-iose srityse – istorijoje, fizikoje, teisėje, medicinoje, informatikoje – naudodamas klausimus su pasirinktiniais atsakymais. Jis matuoja tik faktinių žinių apimtį ir nieko daugiau: nei gebėjimo samprotauti, nei gebėjimo vykdyti sudėtingas instrukcijas, nei rašymo kokybės. Geriausi modeliai dabar viršija 85–90 %, o tai reiškia, kad šis etalonas viršuje esančius lyderius atskiria vis prasčiau. Modelis, puikiai pasirodantis MMLU teste, vis tiek gali nepajėgti parašyti skaitomo vadovo santraukos.
„HumanEval“ testuoja funkcinio Python kodo generavimą pagal aprašymą natūralia kalba, o „MBPP“ („Mostly Basic Python Problems“) daro tą patį su paprastesnėmis užduotimis. Šie etalonai matuoja gebėjimą parašyti teisingą izoliuotą funkciją. Jie nieko nepasako apie gebėjimą dirbti esamoje kodų bazėje, derinti netikėtą elgseną ar projektuoti sistemos architektūrą – tai yra pagrindinė darbo dalis. Egzistuoja variantų, pavyzdžiui, „HumanEval+“ su griežtesniais testais ir „MultiPL-E“, apimantis kelias programavimo kalbas.
„LMArena“, anksčiau žinoma kaip „Chatbot Arena“, veikia kitaip: tikri vartotojai užduoda klausimus dviem anoniminiams modeliams ir balsuoja už geriausią atsakymą; reitingas sudaromas pagal šachmatams pritaikytą Elo sistemą. Ši sistema matuoja suvokiamą kokybę laisvuose pokalbiuose, todėl tai yra etalonas, arčiausiai atspindintis realų naudojimą. Jos silpnybė yra simetriška: ji nieko nepasako apie veikimą atliekant tikslią techninę užduotį ir mechaniškai palanki atsakymams, kuriuos malonu skaityti.
Kiti vertinimai papildo vaizdą priklausomai nuo norimos gebėjimo srities. „GSM8K“ ir „MATH“ sutelkia dėmesį į matematinių uždavinių sprendimą, „ARC“ – į vidurinės mokyklos lygio mokslinį samprotavimą, „HellaSwag“ – į sveiko proto scenarijų užbaigimą, „TruthfulQA“ – į atsparumą haliucinacijoms ir dezinformacijai, o „CTO Bench“ – į end-to-end kodavimo užduotis, kurios yra daug realesnės nei „HumanEval“.
Keturios taisyklės skaitant rezultatų suvestinę
Pirmoji taisyklė – lyginti panašius dalykus. 3 mlrd. parametrų modelio lyginimas su 70 mlrd. parametrų modeliu tose pačiose stulpeliuose neturi didelės prasmės, jei ignoruoji dydžio ir kainos skirtumą. Svarbiausias klausimas niekada nėra „kas turi geriausią balą“, o „koks modelis už tam tikrą biudžetą duoda geriausius rezultatus“.
Antroji taisyklė ragina būti atsargiam dėl nedidelių patobulinimų. Vieno ar dviejų balų skirtumas MMLU teste tarp dviejų modelių paprastai yra nereikšmingas: etalonai turi natūralią variaciją, ir šis skirtumas tavo vartotojams niekaip nepasireikš. Vis dėlto tai puikiai tinka spaudos pranešimų antraštėms.
Trečioji taisyklė – ieškoti nuoseklumo. Modelis, kuris žėri viename etalone, o visuose kituose lieka vidutiniškas, turėtų sukelti nerimą; solidūs modeliai rodo stabilų veikimą visuose vertinimuose.
Ketvirtoji taisyklė – tikrinti datą. Modelio paleidimo metu paskelbti balai po kelių mėnesių gali būti nebereprezentatyvūs, nes atsirado naujų konkurentų, o vertinimo metodikos evoliucionavo. Komercinėje prezentacijoje esanti nedatuota lentelė turėtų paskatinti tavęs paklausti, iš kur ji gauta.
Trys struktūriniai apribojimai
Užterštumas yra pati klastingiausia problema. Modeliai mokomi iš didžiulių tekstų korpusų, kuriuose gali būti pačių etalonų klausimų ir atsakymų. Tuomet aukštas balas gali atspindėti ne samprotavimo gebėjimą, o tiesiog įsiminimą, ir tai daroma be jokio tyčinio ketinimo.
Reprezentatyvumas kelia kitokią problemą: standartiniai etalonai neatspindi tavo naudojimo atvejo. Modelis, puikiai pasirodantis MMLU teste, gali būti prastas rašant verslo laiškus prancūzų kalba tiesiog todėl, kad niekas niekada nevertino šios užduoties. Etalonai matuoja bendruosius gebėjimus, bet niekada – veikimą tavo konkrečiame kontekste.
Optimizavimas, galiausiai, yra numatoma pasekmė, kylanti iš aistros reitingams. Laboratorijos žino etalonus ir gali nukreipti mokymą taip, kad modeliai juose pasirodytų gerai, kartais kitų užduočių sąskaita. Tai yra „mokymas testui“ fenomenas, gerai dokumentuotas ir už dirbtinio intelekto ribų.
Kryžminiai šaltiniai, tada testuok pats
Užuot pasikliovęs tik tiekėjo (tiek „Mistral“, tiek bet kurio kito) paskelbtais skaičiais, palygink juos su nepriklausomais reitingais. „Artificial Analysis“ palygina kokybę, kainą, greitį ir delsą vienodomis sąlygomis. „LMArena“ atspindi žmonių pageidavimus realiomis sąlygomis. „Scale AI Leaderboard“ sutelkia dėmesį į kodavimą, instrukcijų vykdymą ir matematiką. „OpenRouter“ reitingai remiasi faktiniu naudojimu, taigi tuo, už ką kūrėjai iš tikrųjų renkasi mokėti. „CTO Bench“, savo ruožtu, siūlo realistiškas end-to-end kodavimo užduotis.
Vis dėlto vienintelis vertinimas, kuris iš tikrųjų lemia tavo sprendimą, yra tas, kurį atlieki su savo duomenimis, savo naudojimo atvejais ir savo kokybės kriterijais. Metodą sudaro šeši žingsniai:
- Sudaryk 20–50 pavyzdžių testų rinkinį, atspindintį tavo realų naudojimą
- Aiškiai apibrėžk savo kokybės kriterijus (tikslumas, tonas, išsamumas, formatas)
- Ištestuok 2 arba 3 kandidatus šiame tame pačiame rinkinyje
- Jei įmanoma, vertink „aklai“, nežinodamas, kuris modelis sugeneravo kurį atsakymą
- Taip pat išmatuok delsą ir kainą vienam užklausimui
- Priimk sprendimą remdamasis kokybės, kainos ir apribojimų santykiu
„Aklas“ vertinimas nusipelno ypatingo dėmesio: niekas taip neiškraipo vertinimo kaip žinojimas, kad atsakymas gautas iš modelio, kurio pergalės tikėjaisi.
Svarbiausi punktai
- Etalonai suteikia pirmąjį orientyrą, bet jų nepakanka modelio pasirinkimui
- MMLU matuoja žinias, HumanEval – kodą, LMArena – žmonių pageidavimus
- Saugokis nedidelių skirtumų ir etalonų užterštumo
- Konsultuokis su nepriklausomais reitingais („Artificial Analysis“, „LMArena“, „Scale AI“)
- Geriausias vertinimas visada yra tas, kurį atlieki su savo duomenimis