Премини към основното съдържание
Български— Изберете език
Меню

Набори от данни: Изграждане на оценъчни множества и итерации

Урок 15 от 16 Обновен 2 ноември 2026 г. Напреднало
На тази страница
  1. Последната връзка в цикъла на итерация
  2. Структура на записа
  3. Източници на данни
  4. Преглед и експортиране
  5. Оценка върху набор от данни в Studio
  6. Най-добри практики за управление
  7. Ключови изводи

Урокът е пренаписан на 2 ноември 2026 г. въз основа на страницата Datasets на Mistral и mistralai SDK 3.7.0: записът съдържа произволен payload и properties; наборите от данни се попълват чрез ръчно въвеждане, импортиране на файл или spans от Explorer и се предават непроменени за офлайн оценки. Методът import_from_explorer от предишната версия вече не съществува. Източници: Datasets · Explore traces.

Последната връзка в цикъла на итерация

Наборът от данни е колекция от тестови случаи, която задвижва офлайн оценката. Той осигурява памет на вашия процес за контрол на качеството: всеки инцидент, наблюдаван в продукционна среда, може да стане тестов случай, а всяка нова версия на приложението се измерва спрямо него. Без стабилен набор от данни сравнявате впечатления; с такъв – сравнявате числа.

Структура на записа

В Studio всеки запис съдържа payload – JSON обект, в който дефинирате ключовете, и properties, които представляват метаданни, непредавани на оценяваната задача. По време на оценката payload се превръща във входния запис точно такъв, какъвто е (ctx.input_record).

{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}

Този ред представлява също така формата за JSONL импорт за набори от данни в Studio: един обект на ред, съдържащ payload и properties.

Източници на данни

Можете да попълните набор от данни по няколко начина:

  • Ръчно въвеждане в Studio или чрез API, запис по запис
  • Импортиране на JSONL файл чрез горния формат
  • От Explorer: единичен span или до 500 избрани span-а се превръщат в записи (Урок 12)
  • От Studio Playground или от друг набор от данни
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets

# Create the dataset
dataset = datasets.create(
    name="Support tickets — reference set",
    description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")

# Add records
cases = [
    {"ticket": "I haven't been able to log in since this morning.", "category": "access"},
    {"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
    datasets.create_record(
        dataset_id=dataset.id,
        payload=payload,
        properties={"origin": "manual entry"},
    )

За големи обеми import_from_file импортира вече качен JSONL файл (чрез неговия file_id), а import_from_spans поглъща trace spans: тези импорти се изпълняват като фонови задачи и можете да следите напредъка им с fetch_task.

Преглед и експортиране

list_records итерира през записите страница по страница (page_size, page), а export_to_jsonl генерира експорт, чийто отговор предоставя URL за изтегляне (file_url):

page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)

Оценка върху набор от данни в Studio

Офлайн оценката чете набор от данни от Studio чрез неговия slug или ID:

from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project

run = await client.evaluation.run(
    project=Project(name="Ticket sorting"),
    evaluation=Evaluation(name="Reference set"),
    dataset=Dataset(slug="support-tickets-reference-set"),
    task=tache,
    evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)

Тук client е клиентът на оценъчния SDK, а tache и exactitude са дефинирани в Урок 14. Предайте точно едно от slug или id; изборът на набор от данни по неговия slug никога не създава нов такъв. Имайте предвид две правила: изпълнението чете записите, налични при стартиране, до 10 000 – наборът от данни не е моментна снимка, така че промяната му влияе само върху последващи изпълнения; и ако записи бъдат добавени или премахнати по време на четенето, изпълнението се проваля преди стартиране, вместо да се изпълни върху несъгласувано множество.

Най-добри практики за управление

Поддържайте стабилен референтен набор. Набор от данни, който се променя при всяко изпълнение, прави сравнението невъзможно. Създайте референтен набор, който променяте само умишлено, и поддържайте отделни работни набори от данни успоредно с него.

Захранвайте го от продукционна среда. Най-полезните случаи са тези, които действително са причинили проблеми: един span, забелязан в Explorer, където коригирате очаквания изход, струва повече от десет измислени случая.

Документирайте произхода. properties (произход, дата, свързан инцидент) не се виждат от задачата, но ще ви кажат след шест месеца защо даден случай съществува.

Балансирайте данните си. Набор от данни, съдържащ само лесни случаи, ласкае вашата система; такъв, съдържащ само капани, я обезкуражава. Стремете се към действителното разпределение на вашия трафик, плюс шепа признати гранични случаи.

Ключови изводи

  • Запис в набор от данни = payload (вход за задачата) и properties (метаданни)
  • Ръчно въвеждане, JSONL импорт, Explorer spans, Playground: множество източници за един набор от данни
  • SDK предоставя create, create_record, import_from_file, import_from_spans, list_records и export_to_jsonl
  • Оценките четат набор от данни чрез Dataset(slug=...) или Dataset(id=...), до 10 000 записа
  • Наборът от данни не е моментна снимка: поддържайте стабилен референтен набор, за да сравнявате версиите