Võrdlusanalüüsid ja hindamised – ridade vahel lugemine
Sellel lehel
Miks on võrdlusanalüüsid olulised (ja miks neist ei piisa)
Iga mudeli väljalaskmisega kaasneb tabel standardiseeritud võrdlusanalüüside tulemustega ning need arvud levivad muutumatuna nii ajakirjanduses kui ka sisemistes esitlustes. Need on kasulikud: annavad esmase ülevaate võimetest ja aitavad mudelit maastikul positsioneerida. Samas muutuvad need eksitavaks niipea, kui loed neid teadmata, mida need tegelikult mõõdavad. See tund õpetab, kuidas tõlgendada tulemusi praktilise kasutaja vaatenurgast, mitte pressiteate entusiasmiga.
Mida standardvõrdlusanalüüsid mõõdavad
MMLU (Massive Multitask Language Understanding) hindab mudeli üldteadmisi 57 valdkonnas – ajalugu, füüsika, õigus, meditsiin, arvutiteadus – mitmevalikuliste küsimuste abil. See mõõdab üksnes faktiliste teadmiste ulatust: mitte arutlusvõimet, mitte keerukate juhiste järgimist ja mitte kirjutamise kvaliteeti. Tippmudelid ületavad nüüd 85–90 %, mis tähendab ka seda, et edetabeli tipus eristab võrdlusanalüüs mudелеid üha vähem. Mudel, mis on MMLU-s suurepärane, võib siiski ebaõnnestuda loetava juhatuse kokkuvõtte kirjutamisel.
HumanEval testib funktsionaalse Pythoni koodi genereerimist loomuliku keele kirjelduse põhjal ja MBPP (Mostly Basic Python Problems) teeb sama lihtsamate ülesannetega. Need võrdlusanalüüsid mõõdavad võimet kirjutada korrektne isoleeritud funktsioon. Need ei ütle midagi võime kohta töötada olemasolevas koodibaasis, siluda ootamatut käitumist või projekteerida süsteemi arhitektuuri – mis on töö tuum. On olemas variante, nagu HumanEval+ rangemate testidega ja MultiPL-E mitme keele hõlmamiseks.
LMArena, varem Chatbot Arena, toimib teistmoodi: päris kasutajad esitavad küsimusi kahele anonüümsele mudelile ja hääletavad parima vastuse poolt, kusjuures edetabel põhineb males laenatud Elo süsteemil. See seadistus mõõdab tajutavat kvaliteeti vabades vestlustes, muutes selle reaalsele kasutusele kõige lähemal olevaks võrdlusanalüüsiks. Selle nõrkus on sümmeetriline: see ei ütle midagi täpse tehnilise ülesande soorituse kohta ja eelistab mehaaniliselt vastuseid, mida on meeldiv lugeda.
Muud hindamised täiendavad pilti sõltuvalt sihtvõimest. GSM8K ja MATH keskenduvad matemaatiliste ülesannete lahendamisele, ARC keskkooli taseme teaduslikule arutlusele, HellaSwag tervemõistuslike stsenaariumide lõpuleviimisele, TruthfulQA vastupanule hallutsinatsioonidele ja väärinfole ning CTO Bench lõpust lõpuni kodeerimisülesannetele, mis on palju realistlikumad kui HumanEval.
Neli reeglit tulemustabeli lugemiseks
Esimene reegel on võrrelda võrreldavaid. 3 miljardi parameetriga mudeli võrdlemine 70 miljardi parameetriga mudeliga samades veergudes ei oma suurt mõtet, kui ignoreerid suuruse ja hinna lõhet. Asjakohane küsimus pole kunagi „kellel on parim tulemus“, vaid „milline mudel annab antud eelarve piires parima tulemuse“.
Teine reegel kutsub üles olema ettevaatlik marginaalsete parenduste suhtes. Ühe- või kahepunktiline vahe MMLU-s kahe mudeli vahel on üldiselt ebaoluline: võrdlusanalüüsidel on loomulik varieeruvus ja see erinevus ei kajastu kasutajate jaoks millegi tajutavana. Ometi sobib see suurepäraselt pressiteate pealkirjaks.
Kolmas reegel on otsida järjepidevust. Mudel, mis sära ühel võrdlusanalüüsil ja püsib mujal keskpärane, peaks tekitama muret; kindlad mudelid näitavad kõigis hindamistes regulaarset tulemust.
Neljas reegel on kontrollida kuupäeva. Mudeli lansseerimisel avaldatud tulemused ei pruugi mõni kuu hiljem enam olla esinduslikud, sest turule on saabunud uusi konkurente ja hindamismetoodikad on arenenud. Kuupäevata tabel ärilises esitluses peaks panema sind küsima, kust see pärit on.
Kolm struktuurset piirangut
Kontamineerumine on kõige salakavalam. Mudeleid treenitakse tohutute tekstikorpuste peal, mis võivad sisaldada võrdlusanalüüside küsimusi ja vastuseid endid. Kõrge tulemus võib siis peegeldada pigem meeldejätmist kui arutlusvõimet, ilma igasuguse pahatahtlikkuseta.
Esinduslikkus tekitab teistsuguse probleemi: standardvõrdlusanalüüsid ei peegelda sinu kasutusjuhtu. Mudel, mis hiilgab MMLU-s, võib osutuda prantsuskeelsete ärikirjade kirjutamisel keskpäraseks, lihtsalt seetõttu, et keegi pole seda ülesannet kunagi hinnanud. Võrdlusanalüüsid mõõdavad üldisi võimeid, mitte kunagi tulemust sinu kontekstis.
Optimeerimine on lõpuks edetabelite ümber tekkinud hype’i ennustatav tagajärg. Laborid tunnevad võrdlusanalüüse ja saavad treeningut suunata nii, et neil oleks seal hea tulemus, mõnikord teiste ülesannete arvelt. See on „testiks õpetamise“ nähtus, mis on tehisintellekti väljaspool hästi dokumenteeritud.
Võrdle allikaid ja testi ise
Selle asemel, et tugineda üksnes teenusepakkuja – olgu selleks Mistral või keegi teine – avaldatud arvudele, võrdle neid sõltumatute edetabelitega. Artificial Analysis võrdleb kvaliteeti, hinda, kiirust ja latentsust homogeensel alusel. LMArena peegeldab inimlikku eelistust reaalsetes tingimustes. Scale AI edetabel keskendub kodeerimisele, juhiste järgimisele ja matemaatikale. OpenRouteri edetabelid põhinevad tegelikul kasutusel, ehk sellel, mille eest arendajad tegelikult maksta soovivad. CTO Bench pakub lõpuks realistlikke lõpust lõpuni kodeerimisülesandeid.
Ometi on ainus hindamine, mis sinu otsust tegelikult mõjutab, see, mida teed oma andmete, oma kasutusjuhtude ja oma kvaliteedikriteeriumidega. Meetod taandub kuuele sammule:
- Koosta 20–50 näidist koosnev testkomplekt, mis on esinduslik sinu tegeliku kasutuse jaoks
- Määratle oma kvaliteedikriteeriumid selgelt (täpsus, toon, täielikkus, vorming)
- Testi 2 või 3 kandidaatmudelit sellel samal komplektil
- Hinda pimesi, kui võimalik, teadmata, milline mudel millise vastuse lõi
- Mõõda ka latentsust ja kulu päringu kohta
- Tee otsus kvaliteedi, kulu ja piirangute suhte põhjal
Pimehindamine väärib erilist rõhutamist: miski ei moonuta otsust rohkem kui teadmine, et vastus pärineb mudelilt, mille võitu sa lootsid.
Peamised punktid
- Võrdlusanalüüsid annavad esmase vihje, kuid mudeli valimiseks neist ei piisa
- MMLU mõõdab teadmisi, HumanEval koodi, LMArena inimlikku eelistust
- Hoia silm peal marginaalsetel erinevustel ja võrdlusanalüüside kontamineerumisel
- Konsulteeri sõltumatuid edetabeleid (Artificial Analysis, LMArena, Scale AI)
- Parim hindamine on alati see, mida teed oma andmetega