Оценки офлайн: измервайте, преди да внедрите
На тази страница
Урокът е пренаписан на 2 ноември 2026 г. въз основа на документацията на Mistral за Offline evaluations: „Кампаниите“ от предишната версия и техните методи
campaigns.*вече не съществуват. Оценяването в мащаб сега използва SDKmistralai-evaluations, който изпълнява задача върху набор от данни, я оценява чрез оценители и публикува резултатите в Studio. Източници: Offline evaluations · Evaluators · Goals. Актуализация на 3 ноември:mistralai-evaluations0.9.1 изискваmistralai< 3 и заменя SDK версия 3.x с версия 2.x при едновременна инсталация; урокът препоръчва използването на отделна среда (зависимости в PyPI).
Преминаване от единични случаи към мащаб
Съдия, валидиран върху двадесет разговора, не Ви казва нищо за Вашето приложение като цяло. За да решите дали нов промпт, модел или настройка е по-добър от текущия, трябва да го измерите спрямо представителен и последователен набор от случаи и да сравните резултатите. Това е ролята на оценките офлайн.
Те са запазени за организации от ниво Enterprise и изискват Python 3.12 или по-нова версия:
pip install mistralai-evaluations
Инсталирайте го в отделна среда. Версия 0.9.1, най-новата към 3 ноември 2026 г., изисква mistralai 2.x (mistralai>=2.7.1,<3). В среда, която вече съдържа SDK 3.x, pip го деинсталира и инсталира версия 2.x, без друго предупреждение освен изходните редове: проверено с mistralai 3.7.0, заменен от 2.10.1. Отделна виртуална среда за оценки предотвратява регресии във Вашето приложение.
Менталният модел
SDK следва прост поток:
Набор от данни → Задача → Оценители → Резултати
- Набор от данни (Dataset): списък от записи (речници) или набор от данни в Studio
- Задача (Task): функция, за предпочитане асинхронна, която получава
TaskContextи произвежда изход – това е кодът, който оценявате - Оценители (Evaluators): функции, които получават
ScorerContextи оценяват всеки изход - Резултати: статистика и оценки за всеки запис, показани в терминала и публикувани в Studio
Първа оценка
import asyncio
import os
from mistralai.evaluations import (
Evaluation, Evaluator, Goal, Mistral, Project, ScorerContext, System, TaskContext,
)
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
dataset = [
{"ticket": "I haven't been able to log in since this morning.", "categorie": "acces"},
{"ticket": "My October invoice charges the same subscription twice.", "categorie": "facturation"},
{"ticket": "The PDF export crashes as soon as the report exceeds 50 pages.", "categorie": "bug"},
]
async def tache(ctx: TaskContext) -> str:
response = await client.chat.complete_async(
model=str(ctx.system.params["model"]),
messages=[
{"role": "system", "content": str(ctx.system.params["system_prompt"])},
{"role": "user", "content": ctx.input_record["ticket"]},
],
)
return str(response.choices[0].message.content)
def exactitude(ctx: ScorerContext) -> int:
return 1 if ctx.input_record["categorie"] == str(ctx.output).strip().lower() else 0
async def main():
run = await client.evaluation.run(
project=Project(name="Tri des tickets"),
evaluation=Evaluation(name="Exactitude du classement"),
system=System(name="small-prompt-v1", params={
"model": "mistral-small-latest",
"system_prompt": "Classe le ticket : acces, facturation ou bug. Réponds par le seul mot.",
}),
dataset=dataset,
task=tache,
evaluators=[
Evaluator(
name="exactitude",
description="1 si la catégorie prédite est la bonne, 0 sinon.",
scorer=exactitude,
goal=Goal.gte(0.8),
),
],
)
run.show(level="records")
asyncio.run(main())
Резултатите се появяват в терминала и се публикуват в Studio под Observability > Evaluate > Evaluations. SDK изчислява средната стойност, минимума, максимума и стандартното отклонение за всеки оценител.
Предпочитайте асинхронна задача за процеси с продължително изпълнение: синхронна задача се изпълнява в цикъла на събитията, който също изпраща сигнали за пулс (heartbeat) за изпълнението към Studio, и обаждане, блокирано за няколко минути, може да доведе до маркиране на изпълнението като отменено.
Два вида оценители
Оценителят свързва име, незадължително описание, функция за оценяване и, ако е необходимо, цел. Функцията може да бъде:
- Базирана на правила: директно изчисление върху изхода – точно, бързо и безплатно;
- LLM съдия: функция, която извиква модел, за да оцени това, което е трудно да се кодира – полезност, фактологическа точност, тон.
JUDGE_PROMPT = """Tu es un correcteur exigeant. Note de 0 à 5 l'utilité de la réponse
pour la request ci-dessous. Réponds par le seul chiffre.
Demande : {request}
Réponse : {response}
"""
def judge_utility(ctx: ScorerContext) -> int:
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": JUDGE_PROMPT.format(
request=ctx.input_record["ticket"], response=ctx.output)}],
temperature=0,
)
raw = str(response.choices[0].message.content).strip()
return int(raw[0]) if raw[:1].isdigit() else 0
Можете свободно да смесвате двата вида в едно изпълнение: предайте ги заедно в списъка evaluators. Един оценител може също да върне низ или булева стойност; тогава SDK произвежда разпределение на честотите вместо средни стойности.
Сравняване на версии
Обектът System улавя конфигурацията на задачата: модел, температура, системен промпт или всяка друга настройка, в речник със свободна форма. Всяко изпълнение записва своя System, а Studio Ви позволява да сравнявате изпълненията едно до друго. За да изберете между два промпта или два модела, стартирайте отново същата оценка с два различни обекта System, без да променяте кода на задачата.
Задаване на цели
Целта превръща оценката във вердикт PASS или FAIL: Goal.gte(0.8) изисква средна стойност от поне 0.8, Goal.lte(...) задава таван, а Goal.between(...) дефинира диапазон. Всяка цел по подразбиране се отнася до средната стойност или до друга статистика чрез metric ("min", "max", "std"): Goal.gte(0.8, metric="min") изисква всеки запис да достигне 0.8. Това прави оценката предпазна мярка: нова версия, която понижи оценката под нейната цел, не отива в продукция.
Ключови изводи
- Оценките офлайн (
mistralai-evaluations, Python 3.12+, организации от ниво Enterprise) заменят старите Кампании - Набор от данни, задача, оценители, резултати:
client.evaluation.run(...)свързва всичко и публикува в Studio - Оценителите са функции: точни правила или LLM съдии, свободно комбинирани
Systemзаписва оценената конфигурация и позволява сравнение на версиите- Целите (
Goal.gte,Goal.lte,Goal.between) предоставят вердикти PASS или FAIL