Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Benchmarki i evaluacije — čitanje između redaka

Lekcija 12 od 14 Ažurirano 28. srpnja 2026. Početnik
Na ovoj stranici
  1. Zašto su benchmarki važni (i zašto nisu dovoljni)
  2. Što mjere standardni benchmarki
  3. Četiri pravila za čitanje bodovne liste
  4. Tri strukturna ograničenja
  5. Unakrsno provjeri izvore, zatim testiraj sam
  6. Ključne točke

Zašto su benchmarki važni (i zašto nisu dovoljni)

Uz svako izdanje modela dolazi tablica rezultata na standardiziranim benchmarkima, a te se brojke nepromijenjene vrte u novinskim člancima i internim prezentacijama. Korisne su: daju ti prvu predodžbu o mogućnostima i pomažu ti pozicionirati model u pejzažu. No postaju zavaravajuće čim ih čitaš ne znajući što zapravo mjere. Ova lekcija pokazuje ti kako ih tumačiti s perspektive praktičara, a ne s entuzijazmom press priopćenja.

Što mjere standardni benchmarki

MMLU (Massive Multitask Language Understanding) evaluira opće znanje modela kroz 57 domena—povijest, fiziku, pravo, medicinu, računarstvo—putem pitanja s višestrukim izborom. Mjeri opseg faktografskog znanja i ništa više: ne sposobnost rezoniranja, ne sposobnost praćenja složenih uputa i ne kvalitetu pisanja. Vrhunski modeli sada prelaze 85 do 90%, što također znači da benchmark manje učinkovito razlikuje modele na vrhu ljestvice. Model izvrstan na MMLU-u ipak može podbaciti u pisanju čitljive sažetke za rukovodstvo.

HumanEval testira generiranje funkcionalnog Python koda iz opisa u prirodnom jeziku, a MBPP (Mostly Basic Python Problems) radi isto s jednostavnijim problemima. Ovi benchmarki mjere sposobnost pisanja ispravne izolirane funkcije. Ne govore ništa o sposobnosti rada u postojećoj codebazi, otklanjanju neočekivanog ponašanja ili arhitekturi projekta—što je srž posla. Postoje varijante, poput HumanEval+ sa strožim testovima, i MultiPL-E za pokrivanje više jezika.

LMArena, ranije Chatbot Arena, radi drugačije: stvarni korisnici postavljaju pitanja dvama anonimnim modelima i glasuju za najbolji odgovor, pri čemu se rangiranje gradi na Elo sustavu preuzetom iz šaha. Ova postavka mjeri percipiranu kvalitetu u slobodnim razgovorima, čineći je benchmarkom najbližim stvarnoj uporabi. Njezina je slabost simetrična: ne govori ništa o izvedbi na preciznom tehničkom zadatku i mehanički favorizira odgovore koji su ugodni za čitanje.

Ostale evaluacije nadopunjuju sliku ovisno o ciljanoj sposobnosti. GSM8K i MATH fokusiraju se na rješavanje matematičkih problema, ARC na znanstveno rezoniranje na razini srednje škole, HellaSwag na dovršavanje scenarija zdravog razuma, TruthfulQA na otpornost na halucinacije i dezinformacije, a CTO Bench na end-to-end zadatke kodiranja daleko realističnije od HumanEvala.

Četiri pravila za čitanje bodovne liste

Prvo je pravilo uspoređivati usporedive. Usporedba modela od 3 milijarde parametara s modelom od 70 milijardi parametara u istim stupcima ima malo smisla ako ignoriraš jaz u veličini i trošku. Relevantno pitanje nikada nije „tko ima najbolji rezultat“, već „za dani proračun, koji model isporučuje najbolje rezultate“.

Drugo pravilo poziva na oprez prema marginalnim poboljšanjima. Razlika od jedne ili dvije točke na MMLU-u između dva modela općenito je beznačajna: benchmarki imaju prirodnu varijancu i ta se razlika neće prenijeti na nešto što tvoji korisnici mogu percipirati. Ipak, čini izvrsne naslove za press priopćenja.

Treće je pravilo tražiti dosljednost. Model koji blista na jednom benchmarku, a svugdje drugdje ostaje prosječan, trebao bi izazvati zabrinutost; čvrsti modeli pokazuju redovitu izvedbu kroz sve evaluacije.

Četvrto je pravilo provjeriti datum. Rezultati objavljeni pri lansiranju modela možda više nisu reprezentativni nekoliko mjeseci kasnije, jer su stigli novi konkurenti, a metodologije evaluacije su se razvile. Nedatirana tablica u komercijalnoj prezentaciji trebala bi te navesti da upitaš odakle dolazi.

Tri strukturna ograničenja

Kontaminacija je najpodmuklija. Modeli se treniraju na golemim tekstualnim korpusima koji mogu sadržavati sama pitanja i odgovore iz benchmarka. Visok rezultat tada može odražavati pamćenje, a ne sposobnost rezoniranja, bez ikakve zle namjere.

Reprezentativnost predstavlja drugačiji problem: standardizirani benchmarki ne odražavaju tvoj slučaj uporabe. Model koji odlično prolazi na MMLU-u može se pokazati osrednjim za pisanje poslovnih e-mailova na francuskom, jednostavno zato što nitko nikada nije evaluirao taj zadatak. Benchmarki mjere generičke sposobnosti, nikada izvedbu u tvom kontekstu.

Optimizacija je, naposljetku, predvidiva posljedica hypea oko rangiranja. Laboratoriji poznaju benchmarkove i mogu usmjeriti treniranje kako bi dobro nastupili na njima, ponekad na štetu drugih zadataka. To je fenomen „učenja za test“, dobro dokumentiran izvan umjetne inteligencije.

Unakrsno provjeri izvore, zatim testiraj sam

Umjesto da se oslanjaš isključivo na brojke koje objavljuje pružatelj usluga—Mistral kao i bilo tko drugi—unakrsno ih provjeri s neovisnim rangiranjima. Artificial Analysis uspoređuje kvalitetu, cijenu, brzinu i latenciju na homogenoj osnovi. LMArena odražava ljudske preferencije u stvarnim uvjetima. Ljestvica Scale AI fokusira se na kodiranje, praćenje uputa i matematiku. Rangiranja OpenRouter oslanjaju se na stvarnu uporabu, dakle na ono za što programeri zapravo biraju platiti. CTO Bench, naposljetku, nudi realistične end-to-end zadatke kodiranja.

Međutim, jedina evaluacija koja doista pokreće tvoju odluku jest ona koju provodiš sa svojim podacima, svojim slučajevima uporabe i svojim kriterijima kvalitete. Metoda se svodi na šest koraka:

  1. Izgradi testni skup od 20 do 50 primjera reprezentativnih za tvoju stvarnu uporabu
  2. Eksplicitno definiraj svoje kriterije kvalitete (točnost, ton, potpunost, format)
  3. Testiraj 2 ili 3 kandidatska modela na tom istom skupu
  4. Evaluiraj naslijepo ako je moguće, ne znajući koji je model proizveo koji odgovor
  5. Također izmjeri latenciju i trošak po zahtjevu
  6. Odluči na temelju omjera kvaliteta/trošak/ograničenja

Evaluacija naslijepo zaslužuje poseban naglasak: ništa više ne iskrivljuje prosudbu od saznanja da odgovor dolazi od modela za koji si se nadao da će pobijediti.

Ključne točke

  • Benchmarki daju prvu naznaku, ali nisu dovoljni za odabir modela
  • MMLU mjeri znanje, HumanEval kod, LMArena ljudsku preferenciju
  • Čuvaj se marginalnih razlika i kontaminacije benchmarka
  • Konzultiraj neovisna rangiranja (Artificial Analysis, LMArena, Scale AI)
  • Najbolja evaluacija uvijek je ona koju radiš sa svojim vlastitim podacima