Премини към основното съдържание
Български— Изберете език
Меню

Оценки офлайн: измервайте, преди да внедрите

Урок 14 от 16 Обновен 3 ноември 2026 г. Напреднало
На тази страница
  1. Преминаване от единични случаи към мащаб
  2. Менталният модел
  3. Първа оценка
  4. Два вида оценители
  5. Сравняване на версии
  6. Задаване на цели
  7. Ключови изводи

Урокът е пренаписан на 2 ноември 2026 г. въз основа на документацията на Mistral за Offline evaluations: „Кампаниите“ от предишната версия и техните методи campaigns.* вече не съществуват. Оценяването в мащаб сега използва SDK mistralai-evaluations, който изпълнява задача върху набор от данни, я оценява чрез оценители и публикува резултатите в Studio. Източници: Offline evaluations · Evaluators · Goals. Актуализация на 3 ноември: mistralai-evaluations 0.9.1 изисква mistralai < 3 и заменя SDK версия 3.x с версия 2.x при едновременна инсталация; урокът препоръчва използването на отделна среда (зависимости в PyPI).

Преминаване от единични случаи към мащаб

Съдия, валидиран върху двадесет разговора, не Ви казва нищо за Вашето приложение като цяло. За да решите дали нов промпт, модел или настройка е по-добър от текущия, трябва да го измерите спрямо представителен и последователен набор от случаи и да сравните резултатите. Това е ролята на оценките офлайн.

Те са запазени за организации от ниво Enterprise и изискват Python 3.12 или по-нова версия:

pip install mistralai-evaluations

Инсталирайте го в отделна среда. Версия 0.9.1, най-новата към 3 ноември 2026 г., изисква mistralai 2.x (mistralai>=2.7.1,<3). В среда, която вече съдържа SDK 3.x, pip го деинсталира и инсталира версия 2.x, без друго предупреждение освен изходните редове: проверено с mistralai 3.7.0, заменен от 2.10.1. Отделна виртуална среда за оценки предотвратява регресии във Вашето приложение.

Менталният модел

SDK следва прост поток:

Набор от данни  →  Задача  →  Оценители  →  Резултати
  • Набор от данни (Dataset): списък от записи (речници) или набор от данни в Studio
  • Задача (Task): функция, за предпочитане асинхронна, която получава TaskContext и произвежда изход – това е кодът, който оценявате
  • Оценители (Evaluators): функции, които получават ScorerContext и оценяват всеки изход
  • Резултати: статистика и оценки за всеки запис, показани в терминала и публикувани в Studio

Първа оценка

import asyncio
import os

from mistralai.evaluations import (
    Evaluation, Evaluator, Goal, Mistral, Project, ScorerContext, System, TaskContext,
)

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

dataset = [
    {"ticket": "I haven't been able to log in since this morning.", "categorie": "acces"},
    {"ticket": "My October invoice charges the same subscription twice.", "categorie": "facturation"},
    {"ticket": "The PDF export crashes as soon as the report exceeds 50 pages.", "categorie": "bug"},
]


async def tache(ctx: TaskContext) -> str:
    response = await client.chat.complete_async(
        model=str(ctx.system.params["model"]),
        messages=[
            {"role": "system", "content": str(ctx.system.params["system_prompt"])},
            {"role": "user", "content": ctx.input_record["ticket"]},
        ],
    )
    return str(response.choices[0].message.content)


def exactitude(ctx: ScorerContext) -> int:
    return 1 if ctx.input_record["categorie"] == str(ctx.output).strip().lower() else 0


async def main():
    run = await client.evaluation.run(
        project=Project(name="Tri des tickets"),
        evaluation=Evaluation(name="Exactitude du classement"),
        system=System(name="small-prompt-v1", params={
            "model": "mistral-small-latest",
            "system_prompt": "Classe le ticket : acces, facturation ou bug. Réponds par le seul mot.",
        }),
        dataset=dataset,
        task=tache,
        evaluators=[
            Evaluator(
                name="exactitude",
                description="1 si la catégorie prédite est la bonne, 0 sinon.",
                scorer=exactitude,
                goal=Goal.gte(0.8),
            ),
        ],
    )
    run.show(level="records")


asyncio.run(main())

Резултатите се появяват в терминала и се публикуват в Studio под Observability > Evaluate > Evaluations. SDK изчислява средната стойност, минимума, максимума и стандартното отклонение за всеки оценител.

Предпочитайте асинхронна задача за процеси с продължително изпълнение: синхронна задача се изпълнява в цикъла на събитията, който също изпраща сигнали за пулс (heartbeat) за изпълнението към Studio, и обаждане, блокирано за няколко минути, може да доведе до маркиране на изпълнението като отменено.

Два вида оценители

Оценителят свързва име, незадължително описание, функция за оценяване и, ако е необходимо, цел. Функцията може да бъде:

  • Базирана на правила: директно изчисление върху изхода – точно, бързо и безплатно;
  • LLM съдия: функция, която извиква модел, за да оцени това, което е трудно да се кодира – полезност, фактологическа точност, тон.
JUDGE_PROMPT = """Tu es un correcteur exigeant. Note de 0 à 5 l'utilité de la réponse
pour la request ci-dessous. Réponds par le seul chiffre.

Demande : {request}
Réponse : {response}
"""


def judge_utility(ctx: ScorerContext) -> int:
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[{"role": "user", "content": JUDGE_PROMPT.format(
            request=ctx.input_record["ticket"], response=ctx.output)}],
        temperature=0,
    )
    raw = str(response.choices[0].message.content).strip()
    return int(raw[0]) if raw[:1].isdigit() else 0

Можете свободно да смесвате двата вида в едно изпълнение: предайте ги заедно в списъка evaluators. Един оценител може също да върне низ или булева стойност; тогава SDK произвежда разпределение на честотите вместо средни стойности.

Сравняване на версии

Обектът System улавя конфигурацията на задачата: модел, температура, системен промпт или всяка друга настройка, в речник със свободна форма. Всяко изпълнение записва своя System, а Studio Ви позволява да сравнявате изпълненията едно до друго. За да изберете между два промпта или два модела, стартирайте отново същата оценка с два различни обекта System, без да променяте кода на задачата.

Задаване на цели

Целта превръща оценката във вердикт PASS или FAIL: Goal.gte(0.8) изисква средна стойност от поне 0.8, Goal.lte(...) задава таван, а Goal.between(...) дефинира диапазон. Всяка цел по подразбиране се отнася до средната стойност или до друга статистика чрез metric ("min", "max", "std"): Goal.gte(0.8, metric="min") изисква всеки запис да достигне 0.8. Това прави оценката предпазна мярка: нова версия, която понижи оценката под нейната цел, не отива в продукция.

Ключови изводи

  • Оценките офлайн (mistralai-evaluations, Python 3.12+, организации от ниво Enterprise) заменят старите Кампании
  • Набор от данни, задача, оценители, резултати: client.evaluation.run(...) свързва всичко и публикува в Studio
  • Оценителите са функции: точни правила или LLM съдии, свободно комбинирани
  • System записва оценената конфигурация и позволява сравнение на версиите
  • Целите (Goal.gte, Goal.lte, Goal.between) предоставят вердикти PASS или FAIL