Бенчмаркове и оценки — четене между редовете
На тази страница
Защо бенчмарковете са важни (и защо не са достатъчни)
Всяко ново издание на модел идва с таблица от резултати по стандартизирани бенчмаркове и тези цифри циркулират непроменени в пресата и вътрешните презентации. Те са полезни: дават Ви първоначална представа за възможностите и помагат да позиционирате модела в ландшафта. Но те стават подвеждащи веднага щом ги тълкувате, без да знаете какво точно измерват. Този урок Ви показва как да ги интерпретирате с прагматичния поглед на практик, а не с ентусиазма на прессъобщенията.
Какво измерват стандартните бенчмаркове
MMLU (Massive Multitask Language Understanding) оценява общите знания на модела в 57 области — история, физика, право, медицина, компютърни науки — чрез въпроси с множествен избор. Той измерва степента на фактологични знания и нищо друго: не способността за разсъждение, не умението да следвате сложни инструкции и не качеството на писане. Водещите модели вече надхвърлят 85 до 90%, което също означава, че бенчмаркът дискриминира по-малко ефективно в горната част на класацията. Един модел, отличен в MMLU, все пак може да се провали при написването на четимо изпълнителско резюме.
HumanEval тества генерирането на функционален Python код от описание на естествен език, а MBPP (Mostly Basic Python Problems) прави същото с по-прости задачи. Тези бенчмаркове измерват способността да се напише правилна изолирана функция. Те не казват нищо за способността да се работи в съществуваща кодова база, да се отстраняват неочаквани грешки или да се архитектурира проект — същината на работата. Съществуват варианти, като HumanEval+ със строги тестове и MultiPL-E за обхващане на множество езици.
LMArena, предишен Chatbot Arena, работи различно: реални потребители задават въпроси на два анонимни модела и гласуват за най-добрия отговор, като класирането се изгражда въз основа на система Elo, заета от шаха. Тази настройка измерва възприеманото качество в свободни разговори, което я прави бенчмаркът, най-близък до реалната употреба. Нейната слабост е симетрична: тя не казва нищо за производителността при конкретна техническа задача и механично облагодетелства отговорите, които са приятни за четене.
Други оценки допълват картината в зависимост от целевата способност. GSM8K и MATH се фокусират върху решаването на математически задачи, ARC върху научното разсъждение на ниво средно образование, HellaSwag върху завършването на сценарии със здрав разум, TruthfulQA върху устойчивостта към халюцинации и дезинформация, а CTO Bench върху задачи за кодиране от край до край, много по-реалистични от HumanEval.
Четири правила за четене на резултатна таблица
Първото правило е да сравнявате сравнимото. Сравняването на модел с 3 милиарда параметра с модел от 70 милиарда параметра в едни и същи колони няма много смисъл, ако игнорирате разликата в размера и цената. Релевантният въпрос никога не е „кой има най-добрия резултат“, а „за даден бюджет, кой модел доставя най-добри резултати“.
Второто правило Ви кани да бъдете предпазливи към маргиналните подобрения. Разлика от една или две точки в MMLU между два модела обикновено е незначителна: бенчмарковете имат естествен вариабилитет и тази разлика няма да се превърне в нещо осезаемо за Вашите потребители. Въпреки това, тя прави отлични заглавия за прессъобщения.
Третото правило е да търсите последователност. Модел, който блести в един бенчмарк и остава среден навсякъде другаде, трябва да вдигне червени флагове; солидните модели показват редовна производителност във всички оценки.
Четвъртото правило е да проверите датата. Резултатите, публикувани при стартирането на модел, може вече да не са представителни няколко месеца по-късно, защото са се появили нови конкуренти и методологиите за оценка са еволюирали. Таблица без дата в търговска презентация трябва да Ви подтикне да попитате откъде идва тя.
Три структурни ограничения
Замърсяването (contamination) е най-коварното. Моделите се обучават върху огромни текстови корпуси, които могат да съдържат самите въпроси и отговори от бенчмарковете. Висок резултат тогава може да отразява запомняне, а не способност за разсъждение, без никаква злоумисленост.
Представителността поставя различен проблем: стандартизираните бенчмаркове не отразяват Вашия случай на употреба. Модел, който превъзхожда в MMLU, може да се окаже посредствен при писането на бизнес имейли на френски, просто защото никой никога не е оценявал тази задача. Бенчмарковете измерват общи способности, никога производителност във Вашия контекст.
Оптимизацията, накрая, е предвидимо следствие от хайпа около класациите. Лабораториите познават бенчмарковете и могат да насочат обучението, за да се представят добре в тях, понякога за сметка на други задачи. Това е феноменът „преподаване за теста“, добре документиран извън изкуствения интелект.
Кръстосано проверявайте източниците, след това тествайте сами
Вместо да разчитате единствено на цифри, публикувани от доставчик — Mistral като всеки друг — кръстосано ги проверете с независими класации. Artificial Analysis сравнява качеството, цената, скоростта и латентността на хомогенна основа. LMArena отразява човешките предпочитания в реални условия. The Scale AI Leaderboard се фокусира върху кодирането, следването на инструкции и математиката. Класациите на OpenRouter разчитат на ефективната употреба, тоест на това, за което разработчиците действително избират да плащат. CTO Bench, накрая, предлага реалистични задачи за кодиране от край до край.
Обаче единствената оценка, която наистина движи Вашето решение, е тази, която провеждате с Вашите данни, Вашите случаи на употреба и Вашите критерии за качество. Методът се свежда до шест стъпки:
- Изградете тестов набор от 20 до 50 примера, представителни за Вашата реална употреба
- Дефинирайте изрично Вашите критерии за качество (точност, тон, пълнота, формат)
- Тествайте 2 или 3 кандидат-модела върху този същия набор
- Оценявайте „на сляпо“, ако е възможно, без да знаете кой модел е произвел кой отговор
- Измерете също латентността и разхода за заявка
- Решете въз основа на съотношението качество/разход/ограничения
Оценката „на сляпо“ заслужава специално наблягане: нищо не пристрастява преценката повече от знанието, че отговорът идва от модела, за който сте се надявали да победи.
Ключови изводи
- Бенчмарковете дават първоначална индикация, но не са достатъчни за избор на модел
- MMLU измерва знания, HumanEval код, LMArena човешко предпочитание
- Внимавайте за маргинални разлики и замърсяване на бенчмарковете
- Консултирайте независими класации (Artificial Analysis, LMArena, Scale AI)
- Най-добрата оценка винаги е тази, която правите с ** Вашите собствени данни**