Премини към основното съдържание
Български— Изберете език
Меню

Пайплайн от край до край: следи, оценители, набори от данни, оценки

Урок 16 от 16 Обновен 2 ноември 2026 г. Напреднало
На тази страница
  1. Работен поток за наблюдаемост от край до край
  2. Python реализация
  3. Обобщение на курса
  4. Препоръчителни следващи стъпки
  5. Ключови изводи
  6. Проверете знанията си

Урокът е пренаписан на 2 ноември 2026 г. въз основа на документацията на Mistral за Observability и mistralai SDK 3.7.0: пайплайнът вече свързва в последователност следи, оценители, набори от данни и офлайн оценки. Функцията „Campaigns“ и методите chat_completion_events.search, campaigns.* и import_from_explorer от предишната версия вече не съществуват. Източници: Explore traces · Offline evaluations.

Работен поток за наблюдаемост от край до край

Сега вече сте усвоили всеки компонент от стека за наблюдаемост на Mistral. Този финален урок сглобява частите в цялостен пайплайн, който можете да възпроизведете и адаптирате към вашия производствен контекст.

1

Проследяване и проучване

Активирайте телеметрията, след което филтрирайте следите от последните 7 дни в Explorer: грешки, бавни отговори, подозрителни резултати. Запишете израза за търсене.

2

Оценител (Judge)

Формализирайте съответния критерий за качество в оценител (класификация или регресия), валидиран върху 10 до 20 известни случая.

3

Изграждане на набор от данни

Преобразувайте проблемните spans (обхвати) в записи, като ръчно коригирате очаквания изход.

4

Оценка

Измерете текущата версия и след това всяка вариация спрямо този набор от данни, с цели тип PASS/FAIL.

5

Итерация

Разгърнете печелившата вариация, запазете набора от данни като гаранция срещу регресия и повторете процеса.

Python реализация

Скриптът по-долу автоматизира стъпки 1, 3 и 4; оценителят за стъпка 2 се създава веднъж, както в Урок 13. Съществуват два клиента: клиентът на mistralai SDK за следи и набори от данни, и клиентът mistralai-evaluations за оценяване.

import asyncio
import os
from datetime import datetime, timedelta, timezone

from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations

key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)

# 1. Идентифициране на неуспешни следи от седмицата
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
    from_=now - timedelta(days=7),
    to=now,
    search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
    print(trace.trace_id, trace.root_span_name)

# 3. Добавяне на ръчно прегледани и коригирани случаи към набора от данни
corrected_cases = [
    {"ticket": "Payment refused even though my card is valid.", "category": "billing"},
    {"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
    name="Support incidents — week 44",
    description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
    api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)


# 4. Оценяване на кандидат-версията (задача и точност: вижте Урок 14)
async def main():
    run = await evaluations.evaluation.run(
        project=Project(name="Ticket sorting"),
        evaluation=Evaluation(name="Week 44 non-regression"),
        system=System(name="medium-prompt-v2", params={
            "model": "mistral-medium-latest",
            "system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
        }),
        dataset=Dataset(id=dataset.id),
        task=task,
        evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
    )
    run.show(level="records")


asyncio.run(main())

При седмично изпълнение този скрипт разширява набора от данни за предотвратяване на регресия с реални инциденти, като всяка кандидат-версия трябва да постигне своите цели върху този набор от данни преди разгръщане.

Обобщение на курса

Този курс Ви преведе през четири основни области за производство на ИИ с Mistral:

Пакетно извеждане (Уроци 1-4)

Знаете как да обработвате милиони заявки на намалена цена, използвайки формат JSONL, пакетиране на файлове и inline пакетиране.

Предсказани изходи (Уроци 5-7)

Знаете как да намалите латентността на генерирането, като предоставите прогноза за изхода, особено за код и редактиране на текст.

Цитати и препратки (Уроци 8-10)

Знаете как да закрепите отговорите на Вашия LLM в проверени източници, да анализирате цитатите и да изградите надеждни RAG пайплайни.

Наблюдаемост (Уроци 11-16)

Знаете как да проследявате приложението си с OpenTelemetry, да проучвате производствени следи, да автоматизирате оценката на качеството с оценители, да изграждате набори от данни и да измервате всяка версия чрез офлайн оценки.

Препоръчителни следващи стъпки

Най-добрият начин да затвърдите тези умения е да ги приложите в реда, който носи най-голяма полза за Вашата производствена среда. Започнете с разгръщането на пакетен пайплайн за конкретен случай на употреба във Вашата организация – месечна класификация, обогатяване на каталог – защото това е най-бързият успех за демонстриране. След това интегрирайте Предсказани изходи навсякъде, където Вашите инструменти редактират съществуващ код или документи: печалбата в латентност е измерима в рамките на дни. Добавете цитати към Вашата RAG система веднага щом потребителите разчитат на нейните отговори, за да вземат решения. Накрая, наблюдаемостта започва с изпращането на следи, което е възможно с обикновен API ключ; Explorer и офлайн оценките изискват организация от ниво Enterprise. Именно нивото Enterprise ще трансформира първите три инициативи в цикъл за непрекъснато подобрение, а не в еднократни разгръщания.

Ключови изводи

  • Пайплайнът следва цикъла: проследяване и проучване, оценител, изграждане на набор от данни, оценка, итерация
  • Всеки производствен инцидент може да се превърне в тестов случай, а всяка кандидат-версия трябва да постигне своите цели
  • Автоматизирайте цикъла със SDK (traces.search, datasets.create_record, evaluation.run) и го изпълнявайте на редовни интервали
  • Четирите области на този курс (пакетно, предсказани изходи, цитати, наблюдаемост) се допълват взаимно за надеждно производство на ИИ

Проверете знанията си

Пакетна обработка, латентност, цитати, наблюдаемост: четирите стълба на производството.

1. Кога пакетното извеждане е правилният избор?

Отговор: За големи обеми без ограничения в реално време: асинхронни JSONL задачи (или inline до 10 000 заявки) на намалена цена – класификация, обогатяване, масово генериране.

2. Какво представляват Предсказаните изходи?

Отговор: Ускорение, когато отговорът е до голяма степен предвидим (редактиране на съществуващ текст, шаблони): Вие предоставяте прогнозата, а моделът „плаща“ само за разликите – латентността намалява значително.

3. Какво позволяват цитатите с Reference Object?

Отговор: Свързване на всяко твърдение в отговора с неговите източници в RAG: проверими отговори, намалени халюцинации – доверието се превръща в свойство на продукта.

4. Какво правите в Explorer?

Отговор: Търсите и инспектирате производствени следи – използвайки език за изрази върху service_name, status_code, duration_ns или атрибути на span – за да откриете проблемни заявки, след което ги превръщате в тестови случаи: суровият материал за всяко подобрение.

5. Как работят заедно оценителите, наборите от данни и оценките?

Отговор: Оценителите оценяват автоматично (LLM-as-judge), наборите от данни натрупват тестови случаи, взети от производството, а офлайн оценките измерват всяка версия спрямо тези набори от данни с цели тип PASS/FAIL – цикълът следа → оценител → изграждане → оценка.

Финалният пайплайн на курса свързва всичките четири заедно: производство икономично, бърз отговор, източници на отговорите, наблюдение – зряло производство в един работен поток.