Teljesítménymérések és értékelések – A sorok közötti olvasás
Ezen az oldalon
Miért fontosak a teljesítménymérések (és miért nem elegendőek)
Minden modellkiadáshoz társul egy táblázat a szabványosított teljesítményméréseken elért pontszámokkal; ezek a számok változatlanul keringenek a sajtócikkekben és a belső prezentációkban. Hasznosak: első képet adnak a képességekről, és segítenek elhelyezni a modellt a piacon. Ám félrevezetővé válnak, amint anélkül olvasod őket, hogy tudnád, valójában mit mérnek. Ez a lecke megtanít, hogyan értelmezd ezeket gyakorló szakember szemével, nem pedig sajtóközlemény-lelkesedéssel.
Mit mérnek a szabványosított teljesítménymérések?
Az MMLU (Massive Multitask Language Understanding) a modell általános tudását értékeli 57 területen – történelem, fizika, jog, orvostudomány, informatika –, feleletválasztós kérdések segítségével. Kizárólag a ténybeli tudás mértékét méri, semmi mást: nem a következtetési képességet, nem a komplex utasítások követésének képességét, és nem az írás minőségét sem. A legjobb modellek ma már 85–90% felett teljesítenek, ami azt is jelenti, hogy a ranglista élén a mérőszám egyre kevésbé képes különbséget tenni. Egy MMLU-ban kiváló modell mégis kudarcot vallhat egy olvasható vezetői összefoglaló megírásakor.
A HumanEval funkcionális Python-kód generálását teszteli természetes nyelvi leírás alapján, az MBPP (Mostly Basic Python Problems) pedig ugyanezt teszi egyszerűbb feladatokkal. Ezek a mérések annak a képességnek a mérésére szolgálnak, hogy a modell helyes, elszigetelt függvényt írjon-e. Semmit nem mondanak arról, hogyan boldogul egy meglévő kódbázisban, hogyan debuggol váratlan viselkedést, vagy hogyan tervez meg egy projektet – pedig ezek alkotják a munka magját. Léteznek variánsok is, mint a szigorúbb teszteket alkalmazó HumanEval+, vagy a több programozási nyelvet lefedő MultiPL-E.
A LMArena (korábban Chatbot Arena) másképp működik: valódi felhasználók kérdéseket tesznek fel két névtelen modellnek, majd megszavazzák a legjobb választ; a rangsor a sakkból ismert Elo-rendszeren alapul. Ez a felállás a szabad beszélgetésekben érzékelt minőséget méri, így ez áll a legközelebb a valós használathoz. Gyengesége szimmetrikus: semmit nem mond a pontos technikai feladatokon nyújtott teljesítményről, és mechanikusan előnyben részesíti a kellemesen olvasható válaszokat.
Egyéb értékelések a célzott képességtől függően egészítik ki a képet. A GSM8K és a MATH a matematikai problémamegoldásra fókuszál, az ARC a középiskolai szintű tudományos következtetésre, a HellaSwag a józan ész alapú forgatókönyv-befejezésre, a TruthfulQA a hallucinációkkal és a félretájékoztatással szembeni ellenállóképességre, a CTO Bench pedig a HumanEvalnél sokkal realisztikusabb, végponttól végpontig tartó kódolási feladatokra.
Négy szabály a pontozólap olvasásához
Az első szabály: csak összehasonlítható dolgokat hasonlíts össze. Nincs sok értelme egy 3 milliárd paraméteres modellt egy 70 milliárd paraméteressel összehasonlítani ugyanazon oszlopok alapján, ha figyelmen kívül hagyod a méretbeli és költségbeli szakadékot. A releváns kérdés sosem az, hogy „kinek a legjobb a pontszáma“, hanem az, hogy „adott költségkeret mellett melyik modell nyújtja a legjobb eredményt“.
A második szabály int a marginális javulásokkal szembeni óvatosságra. Egy-két pontos különbség az MMLU-ban két modell között általában jelentéktelen: a teljesítményméréseknek van természetes szórásuk, és ez a különbség a felhasználóid számára semmilyen észlelhető változást nem jelent. Ugyanakkor kiváló címsorokat szolgáltat a sajtóközleményekhez.
A harmadik szabály: keresd a konzisztenciát. Ha egy modell az egyik mérésen ragyog, de minden máshol átlagos marad, az intő jel legyen; a stabil modellek minden értékelésen rendszeres teljesítményt nyújtanak.
A negyedik szabály: ellenőrizd a dátumot. A modell indulásakor közzétett pontszámok néhány hónappal később már nem feltétlenül reprezentatívak, mert új versenytársak jelentek meg, és az értékelési módszertanok fejlődtek. Ha egy kereskedelmi prezentációban dátum nélküli táblázatot látsz, az okot adjon arra, hogy rákérdezz: honnan származik?
Három strukturális korlát
A szennyeződés (contamination) a leginszidiózusabb. A modelleket hatalmas szövegkorpuszokon tanítják, amelyek tartalmazhatják magukat a tesztkérdéseket és a válaszokat is. A magas pontszám ekkor nem a következtetési képességet, hanem a memorizálást tükrözheti – mindez mindenféle rossz szándék nélkül.
A reprezentativitás másfajta problémát vet fel: a szabványosított teljesítménymérések nem tükrözik a te használati esetedet. Egy MMLU-ban kiváló modell közepesnek bizonyulhat francia nyelvű üzleti e-mailek írásában, egyszerűen azért, mert ezt a feladatot senki sem értékelte még. A mérések általános képességeket mérnek, sosem a te kontextusodban nyújtott teljesítményt.
Végül az optimalizálás a ranglisták körüli hisztéria előre látható következménye. A laboratóriumok ismerik a méréseket, és úgy irányíthatják a tanítást, hogy azokban jól teljesítsenek, néha más feladatok rovására. Ez a „tanítás a tesztre“ jelensége, amelyet az mesterséges intelligencián kívül is jól dokumentáltak.
Kereszthivatkozd a forrásokat, majd tesztelj saját magad!
Ahelyett, hogy kizárólag egy szolgáltató – legyen az a Mistral vagy bárki más – által közzétett számokra hagyatkoznál, kereszthivatkozd azokat független ranglistákkal. Az Artificial Analysis homogén alapon hasonlítja össze a minőséget, az árat, a sebességet és a késleltetést. A LMArena a valós körülmények közötti emberi preferenciákat tükrözi. A Scale AI Leaderboard a kódolásra, az utasításkövetésre és a matematikára fókuszál. Az OpenRouter ranglistái a tényleges használaton alapulnak, tehát azon, amiért a fejlesztők valójában fizetni hajlandók. A CTO Bench végül realisztikus, végponttól végpontig tartó kódolási feladatokat kínál.
Azonban az egyetlen értékelés, amely valóban meghatározza a döntésedet, az, amelyet a saját adataiddal, a saját használati eseteiddel és a saját minőségi kritériumaiddal végzel el. A módszer hat lépésre redukálható:
- Készíts egy 20–50 elemből álló tesztadathalmazt, amely reprezentatív a valós használatodra nézve
- Fogalmazd meg explicit módon a minőségi kritériumaidat (pontosság, hangnem, teljesség, formátum)
- Tesztelj 2 vagy 3 jelölt modellt ugyanazon az adathalmazon
- Értékelj vakon, ha lehetséges, anélkül, hogy tudnád, melyik modell állította elő melyik választ
- Mérd a késleltetést és a kérésenkénti költséget is
- Dönts a minőség/költség/korlátok aránya alapján
A vak értékelés külön hangsúlyt érdemel: semmi sem torzítja jobban az ítéletet, mint annak tudata, hogy egy válasz attól a modelltől származik, amelyről azt remélted, hogy nyer.
Főbb megállapítások
- A teljesítménymérések első tájékozódási pontot adnak, de önmagukban nem elegendőek a modell kiválasztásához
- Az MMLU a tudást, a HumanEval a kódolást, a LMArena az emberi preferenciákat méri
- Óvakodj a marginális különbségektől és a teljesítménymérések szennyeződésétől
- Konzultálj független ranglistákat (Artificial Analysis, LMArena, Scale AI)
- A legjobb értékelés mindig az, amelyet a saját adataiddal végzel el