Премини към основното съдържание
Български— Изберете език
Меню

Въведение в наблюдаемостта: Трейсове, съдии и оценки

Урок 11 от 16 Обновен 2 ноември 2026 г. Напреднало
На тази страница
  1. Защо наблюдаемостта е от съществено значение
  2. Трите стълба на наблюдаемостта
  3. Четирите компонента
  4. Предпоставки и статус
  5. Типичният работен поток
  6. Ключови изводи

Пренаписано на 2 ноември 2026 г. въз основа на документацията на Mistral за Observability и SDK mistralai версия 3.7.0: наблюдаемостта вече разчита на OpenTelemetry трейсове, разглеждани в Studio, LLM съдии и офлайн оценки (mistralai-evaluations). Функциите “Campaigns” и API chat_completion_events от предишните уроци вече не съществуват. Източници: Distributed tracing · Offline evaluations.

Защо наблюдаемостта е от съществено значение

Вашите стандартни табла за управление – латентност, честота на грешки, наличност – могат да останат зелени, докато асистентът дава нерелевантни отговори, измисля процедури или променя тона си след актуализация на подкана. LLM в производствена среда рядко се проваля с изключение; той се проваля, като предоставя грешен отговор с увереност. Наблюдаемостта на LLM прави тези провали видими, измерими и поправими.

Трите стълба на наблюдаемостта

1. Видимост – вижте какво се случва

Всяка заявка от вашето приложение се превръща в трейс: дърво от span-ове, представляващи всяка стъпка от изпълнението – извикване на модел, извикване на инструмент, стъпка от работен поток – заедно с неговия вход, изход, продължителност, брой токени и статус. Тези трейсове следват стандарта OpenTelemetry, а Explorer на Studio Ви позволява да ги търсите и инспектирате.

2. Сигнали за качество – автоматично измерване

Ръчният преглед на хиляди разговори е невъзможен. Съдиите са оценители, базирани на LLM, които конфигурирате веднъж – с инструкции, модел и формат на изхода – и след това прилагате към разговори или записи от набори от данни, за да получите етикет или оценка.

3. Цикли на итерация – непрекъснато подобряване

Наборите от данни събират тестови случаи, често извлечени от реални трейсове, а офлайн оценките измерват версия на вашето приложение – модел, подкана, параметри – спрямо тях преди внедряване. Сравнявате версиите, запазвате най-добрата и повтаряте процеса.

Четирите компонента

Компонент Роля Аналогия
Трейсове и Explorer Събиране, търсене и инспекция на активността APM за изкуствен интелект
Съдии Автоматична оценка на качеството Неуморен рецензент
Набори от данни Съхранение на тестови случаи Набор от регресионни тестове
Оценки Измерване на версия спрямо набор от данни CI за качество на изкуствения интелект

Предпоставки и статус

Преди да започнете, имайте предвид три неща:

  • Статус: Наблюдаемостта на Mistral е във Частен предварителен преглед (Private Preview), а интеграцията ѝ със SDK се променя бързо. Mistral препоръчва използването на най-новата версия на SDK.
  • Изпращането на трейсове изисква само валиден API ключ. Проследяването е деактивирано по подразбиране и трябва да се активира за всеки източник поотделно (разгледано в следващия урок).
  • Четенето на трейсове в Studio изисква Enterprise организация и подходяща роля (Org Admin, Workspace Admin или Observability Viewer). Офлайн оценките и добавянето на span-ове към набор от данни също са ограничени до Enterprise организации. Трейсовете се съхраняват в продължение на 30 дни.

Ако Вашата организация все още няма достъп, този раздел все пак заслужава вниманието Ви: концепциите – проследяване, оценяване, изграждане на тестови набори и оценяване преди внедряване – са приложими за всеки инструментариум на OpenTelemetry.

Типичният работен поток

Компонентите формират непрекъснат цикъл:

  1. Проследяване и изследване – Инструментирайте приложението си, след което използвайте Explorer, за да откриете проблемни трейсове (грешки, бавност, съмнителни отговори).
  2. Оценяване (Judge) – Създайте съдия, който формализира съответния критерий за качество.
  3. Изграждане на набор от данни – Превърнете реални span-ове в тестови случаи.
  4. Оценка – Измерете текущата версия, след това всяка вариация, спрямо този набор от данни.

Всеки цикъл Ви приближава до по-надеждна и по-добре калибрирана система.

Ключови изводи

  • Наблюдаемостта на LLM разкрива провали, които стандартният мониторинг пропуска: лоши отговори.
  • OpenTelemetry трейсовете (и техният Explorer), съдиите, наборите от данни и офлайн оценките формират цикъла на подобряване.
  • Наблюдаемостта на Mistral е в Частен предварителен преглед; изпращането на трейсове изисква само API ключ, докато четенето на трейсове и стартирането на офлайн оценки изискват Enterprise организация.
  • Трейсовете се съхраняват в продължение на 30 дни.