Benchmarki i ewaluacje — czytanie między wierszami
Na tej stronie
Dlaczego benchmarki mają znaczenie (i dlaczego to za mało)
Każde wydanie modelu сопровождается tabelą wyników ze standaryzowanych benchmarków, a liczby te krążą bez zmian w artykułach prasowych i prezentacjach wewnętrznych. Są przydatne: dają Ci pierwsze pojęcie o możliwościach i pomagają umiejscowić model w krajobrazie technologicznym. Stają się jednak mylące, gdy czytasz je bez wiedzy o tym, co tak naprawdę mierzą. Ta lekcja pokaże Ci, jak je interpretować z perspektywy praktyka, a nie z entuzjazmem rzecznika prasowego.
Co mierzą standardowe benchmarki
MMLU (Massive Multitask Language Understanding) ocenia ogólną wiedzę modelu w 57 dziedzinach — historii, fizyce, prawie, medycynie, informatyce — za pomocą pytań wielokrotnego wyboru. Mierzy ono zakres wiedzy faktograficznej i nic więcej: nie zdolność rozumowania, nie umiejętność podążania za złożonymi instrukcjami ani jakość pisania. Najlepsze modele przekraczają obecnie 85–90%, co oznacza również, że benchmark ten coraz słabiej różnicuje modele na szczycie rankingu. Model doskonały w MMLU może nadal nie poradzić sobie z napisaniem czytelnego streszczenia dla kadry zarządzającej.
HumanEval testuje generowanie funkcjonalnego kodu w Pythonie na podstawie opisu w języku naturalnym, a MBPP (Mostly Basic Python Problems) robi to samo z prostszymi problemami. Benchmarki te mierzą zdolność do napisania poprawnej, izolowanej funkcji. Nie mówią nic o zdolności do pracy w istniejącej bazie kodu, debugowania nieoczekiwanych zachowań czy architektonizowania projektu — czyli o sednie pracy programisty. Istnieją warianty, takie jak HumanEval+ z bardziej rygorystycznymi testami oraz MultiPL-E obejmujący wiele języków.
LMArena, dawniej Chatbot Arena, działa inaczej: prawdziwi użytkownicy zadają pytania dwóm anonimowym modelom i głosują na lepszą odpowiedź, a ranking budowany jest w systemie Elo zapożyczonym z szachów. Taka konfiguracja mierzy postrzeganą jakość w swobodnych rozmowach, co czyni ją benchmarkiem najbliższym rzeczywistemu zastosowaniu. Jej słabość jest symetryczna: nie mówi nic o wydajności w precyzyjnym zadaniu technicznym i mechanicznie faworyzuje odpowiedzi przyjemne w odbiorze.
Inne ewaluacje uzupełniają obraz w zależności od targetowanej zdolności. GSM8K i MATH koncentrują się na rozwiązywaniu problemów matematycznych, ARC na rozumowaniu naukowym na poziomie szkoły średniej, HellaSwag na kończeniu scenariuszy opartych na zdrowym rozsądku, TruthfulQA na odporności na halucynacje i dezinformację, a CTO Bench na zadaniach programistycznych end-to-end, znacznie bardziej realistycznych niż HumanEval.
Cztery zasady czytania karty wyników
Pierwsza zasada brzmi: porównuj porównywalne. Porównywanie modelu z 3 miliardami parametrów do modelu z 70 miliardami parametrów w tych samych kolumnach ma mało sensu, jeśli ignorujesz różnicę w rozmiarze i koszcie. Istotnym pytaniem nigdy nie jest „kto ma najlepszy wynik“, lecz „jaki model przy danym budżecie dostarcza najlepsze rezultaty“.
Druga zasada nakazuje ostrożność wobec marginalnych popraw. Różnica jednego lub dwóch punktów w MMLU między dwoma modelami jest zazwyczaj nieistotna: benchmarki mają naturalną wariancję, a ta różnica nie przełoży się na nic zauważalnego dla Twoich użytkowników. Mimo to stanowi doskonały nagłówek w komunikacie prasowym.
Trzecia zasada każe szukać spójności. Model, który błyszczy w jednym benchmarku, a wszędzie indziej pozostaje przeciętny, powinien zapalić czerwoną lampkę; solidne modele wykazują regularną wydajność we wszystkich ewaluacjach.
Czwarta zasada to sprawdzenie daty. Wyniki opublikowane w momencie premiery modelu mogą nie być już reprezentatywne kilka miesięcy później, ponieważ pojawili się nowi konkurenci, a metodyki ewaluacji ewoluowały. Tabela bez daty w prezentacji handlowej powinna skłonić Cię do pytania o jej źródło.
Trzy strukturalne ograniczenia
Kontaminacja jest najbardziej podstępna. Modele są trenowane na ogromnych korpusach tekstowych, które mogą zawierać same pytania i odpowiedzi z benchmarków. Wysoki wynik może wtedy odzwierciedlać zapamiętanie, a nie zdolność rozumowania, bez żadnego złego zamiaru.
Reprezentatywność stanowi inny problem: standaryzowane benchmarki nie odzwierciedlają Twojego przypadku użycia. Model excelujący w MMLU może okazać się mierny w pisaniu biznesowych e-maili po francusku, po prostu dlatego, że nikt nigdy nie ewaluował tego zadania. Benchmarki mierzą zdolności ogólne, nigdy wydajność w Twoim kontekście.
Optymalizacja jest wreszcie przewidywalną konsekwencją hype’u wokół rankingów. Laboratoria znają benchmarki i mogą sterować treningiem, aby osiągać w nich dobre wyniki, czasem kosztem innych zadań. To zjawisko „nauczania do testu“, dobrze udokumentowane poza sztuczną inteligencją.
Krzyżuj źródła, a następnie przetestuj sam
Zamiast polegać wyłącznie na liczbach publikowanych przez dostawcę — Mistral jak każdy inny — skonfrontuj je z niezależnymi rankingami. Artificial Analysis porównuje jakość, cenę, szybkość i opóźnienia na jednolitej podstawie. LMArena odzwierciedla ludzkie preferencje w rzeczywistych warunkach. The Scale AI Leaderboard koncentruje się na kodowaniu, podążaniu za instrukcjami i matematyce. Rankingi OpenRouter opierają się na efektywnym użyciu, czyli na tym, za co developerzy faktycznie wybierają płacić. CTO Bench oferuje wreszcie realistyczne zadania programistyczne end-to-end.
Jednak jedyną ewaluacją, która naprawdę decyduje o Twoim wyborze, jest ta, którą przeprowadzasz na swoich danych, w swoich przypadkach użycia i według swoich kryteriów jakości. Metoda sprowadza się do sześciu kroków:
- Stwórz zbiór testowy złożony z 20–50 przykładów reprezentatywnych dla Twojego rzeczywistego użycia
- Zdefiniuj wyraźnie swoje kryteria jakości (dokładność, ton, kompletność, format)
- Przetestuj 2 lub 3 modele kandydujące na tym samym zbiorze
- Oceń w ślepej próbie, jeśli to możliwe, nie wiedząc, który model wygenerował którą odpowiedź
- Zmierz również opóźnienie i koszt na żądanie
- Podejmij decyzję w oparciu o stosunek jakości do kosztu i ograniczeń
Ewaluacja w ślepej próbie zasługuje na szczególne podkreślenie: nic nie wypacza osądu tak bardzo, jak wiedza, że odpowiedź pochodzi od modelu, na którego zwycięstwo liczyłeś.
Kluczowe wnioski
- Benchmarki dają pierwszą wskazówkę, ale nie wystarczają do wyboru modelu
- MMLU mierzy wiedzę, HumanEval kod, LMArena ludzkie preferencje
- Uważaj na marginalne różnice i kontaminację benchmarków
- Konsultuj niezależne rankingi (Artificial Analysis, LMArena, Scale AI)
- Najlepsza ewaluacja to zawsze ta, którą robisz na własnych danych