Bāzlinijas un novērtējumi — lasīt starp rindiņām
Šajā lapā
Kāpēc bāzlinijas ir svarīgas (un kāpēc ar tām nepietiek)
Katrs jauna modeļa laidiens nāk ar tabulu, kurā norādīti rezultāti standartizētajos testos, un šie skaitļi nemainīgi ceļo no preses rakstiem uz iekšējām prezentācijām. Tie ir noderīgi: tie sniedz pirmo priekšstatu par iespējām un palīdz novietot modeli kopējā ainavā. Taču tie kļūst maldinoši, tiklīdz tos lasi, nezinot, ko tie patiesībā mēra. Šī nodarbība tev parādīs, kā tos interpretēt no praktiķa skatpunkta, nevis ar preses relīžu entuziasmu.
Ko mēra standarta bāzlinijas
MMLU (Massive Multitask Language Understanding) novērtē modeļa vispārīgās zināšanas 57 jomās — vēsturē, fizikā, tiesībās, medicīnā, datorzinātnēs — izmantojot jautājumus ar vairākām atbildes iespējām. Tas mēra tikai faktisko zināšanu apjomu un neko citu: ne spriešanas spējas, ne spēju sekot sarežģītām instrukcijām, ne rakstīšanas kvalitāti. Labākie modeļi tagad pārsniedz 85 līdz 90 %, kas nozīmē, ka šis tests vairs tik efektīvi neatšķir līderu saraksta augšgalu esošos modeļus. Modelis, kas izcili veic MMLU, joprojām var nespēt uzrakstīt lasāmu izpildkopsavilkumu vadībai.
HumanEval pārbauda funkcionāla Python koda ģenerēšanu, pamatojoties uz aprakstu dabiskajā valodā, savukārt MBPP (Mostly Basic Python Problems) dara to pašu ar vienkāršākiem uzdevumiem. Šie testi mēra spēju uzrakstīt pareizu izolētu funkciju. Tie nesaka neko par spēju strādāt esošā koda bāzē, atkļūdēt negaidītu uzvedību vai projektēt sistēmas arhitektūru — kas ir darba būtība. Pastāv varianti, piemēram, HumanEval+ ar stingrākiem testiem un MultiPL-E, lai aptvertu vairākas programmēšanas valodas.
LMArena, iepriekš zināma kā Chatbot Arena, darbojas citādāk: reāli lietotāji uzdod jautājumus diviem anonīmiem modeļiem un balso par labāko atbildi, bet rangs tiek veidots, izmantojot Elo sistēmu, kas aizgūta no šaha. Šī pieeja mēra uztverto kvalitāti brīvās sarunās, padarot to par bāzliniju, kas ir vistuvākā reālai lietošanai. Tās vājums ir simetrisks: tā nesaka neko par veiktspēju precīzā tehniskā uzdevumā un mehāniski dod priekšroku atbildēm, kuras ir patīkami lasīt.
Citi novērtējumi papildina kopainu atkarībā no mērķētās spējas. GSM8K un MATH fokusējas uz matemātisku problēmu risināšanu, ARC uz vidusskolas līmeņa zinātnisko spriešanu, HellaSwag uz vesela saprāta scenāriju pabeigšanu, TruthfulQA uz pretestību halucinācijām un dezinformācijai, bet CTO Bench uz end-to-end kodēšanas uzdevumiem, kas ir daudz realistiskāki nekā HumanEval.
Četri noteikumi rezultātu kartes lasīšanai
Pirmais noteikums ir salīdzināt salīdzināmus. Salīdzināt 3 miljardu parametru modeli ar 70 miljardu parametru modeli vienās un tajās pašās kolonnās ir bezjēdzīgi, ja ignorē atšķirību lielumā un izmaksās. Būtiskais jautājums nekad nav „kuram ir labākais rezultāts”, bet gan „kurš modelis piedāvā labākos rezultātus konkrētam budžetam”.
Otrais noteikums aicina būt uzmanīgam ar margināliem uzlabojumiem. Viena vai divu punktu starpība MMLU testā starp diviem modeļiem parasti ir nenozīmīga: bāzlinijām piemīt dabiska variācija, un šī atšķirība neatspoguļosies nekam, ko tavi lietotāji varētu pamanīt. Tomēr tā ir lieliska virsrakstu materiāls preses relīzēm.
Trešais noteikums ir meklēt konsekvenci. Modelis, kas spīd vienā testā, bet visur citur paliek viduvējs, ir brīdinājuma zīme; stabili modeļi uzrāda vienmērīgu veiktspēju visos novērtējumos.
Ceturtais noteikums ir pārbaudīt datumu. Rezultāti, kas publicēti modeļa laišanas brīdī, pēc dažiem mēnešiem vairs var nebūt reprezentatīvi, jo ir parādījušies jauni konkurenti un novērtēšanas metodoloģijas ir attīstījušās. Nedatēta tabula komerciālā prezentācijā tev liek pajautāt, no kurienes tā nākusi.
Trīs strukturāli ierobežojumi
Kontaminācija ir visviltīgākā. Modeļi tiek apmācīti uz milzīgiem tekstu korpusiem, kas var saturēt pašus bāzliniju jautājumus un atbildes. Augsts rezultāts tad var atspoguļot iegaumēšanu, nevis spriešanas spējas, un tas nenozīmē nekādu ļaunprātību.
Reprezentativitāte rada citu problēmu: standartizētie testi neatbilst tavam lietojuma gadījumam. Modelis, kas izcili veic MMLU, var izrādīties viduvējs, rakstot biznesa e-pastus franču valodā, vienkārši tāpēc, ka neviens nekad nav novērtējis šo uzdevumu. Bāzlinijas mēra vispārīgas spējas, nekad veiktspēju tavā kontekstā.
Optimizācija, visbeidzot, ir paredzamas sekas rankings radītajai ažiotāžai. Laboratorijas zina bāzlinijas un var virzīt apmācību, lai sasniegtu tajās labus rezultātus, dažkārt par citu uzdevumu rēķina. Tā ir „mācīšana testam” fenomena, kas ir labi dokumentēta arī ārpus mākslīgā intelekta jomas.
Salīdzini avotus, pēc tam testē pats
Tā vietā, lai paļautos tikai uz skaitļiem, ko publicējis nodrošinātājs — Mistral tāpat kā jebkurš cits —, salīdzini tos ar neatkarīgiem rangiem. Artificial Analysis salīdzina kvalitāti, cenu, ātrumu un latentumu uz viendabīga pamata. LMArena atspoguļo cilvēku preferences reālos apstākļos. Scale AI Leaderboard fokusējas uz kodēšanu, instrukciju izpildi un matemātiku. OpenRouter rangi balstās uz faktisko lietojumu, proti, uz to, par ko izstrādātāji faktiski izvēlas maksāt. CTO Bench, visbeidzot, piedāvā realistiskus end-to-end kodēšanas uzdevumus.
Tomēr vienīgais novērtējums, kas patiesi nosaka tavu lēmumu, ir tas, ko tu veic ar saviem datiem, saviem lietojuma gadījumiem un saviem kvalitātes kritērijiem. Metode reducējas uz sešiem soļiem:
- Izveido testa kopu no 20 līdz 50 piemēriem, kas ir reprezentatīvi tavai reālajai lietošanai
- Skaidri definē savus kvalitātes kritērijus (precizitāte, tonis, pilnīgums, formāts)
- Testē 2 vai 3 kandidātu modeļus uz šīs pašas kopas
- Veic novērtējumu akli, ja iespējams, nezinot, kurš modelis ir ģenerējis kuru atbildi
- Mēri arī latentumu un izmaksas par pieprasījumu
- Pieņem lēmumu, balstoties uz kvalitātes, izmaksu un ierobežojumu attiecību
Aklajam novērtējumam jāpievērš īpaša uzmanība: nekas neizkropļo spriedumu vairāk kā zināšanas, ka atbilde nāk no modeļa, par kuru cerēji, ka tas uzvarēs.
Galvenās atziņas
- Bāzlinijas sniedz pirmo norādi, bet nepietiek modeļa izvēlei
- MMLU mēra zināšanas, HumanEval kodu, LMArena cilvēku preferences
- Uzmanies no marginālām atšķirībām un bāzliniju kontaminācijas
- Konsultē neatkarīgus rangus (Artificial Analysis, LMArena, Scale AI)
- Labākais novērtējums vienmēr ir tas, ko veic ar saviem datiem