Въведение в наблюдаемостта: Трейсове, съдии и оценки
На тази страница
Пренаписано на 2 ноември 2026 г. въз основа на документацията на Mistral за Observability и SDK
mistralaiверсия 3.7.0: наблюдаемостта вече разчита на OpenTelemetry трейсове, разглеждани в Studio, LLM съдии и офлайн оценки (mistralai-evaluations). Функциите “Campaigns” и APIchat_completion_eventsот предишните уроци вече не съществуват. Източници: Distributed tracing · Offline evaluations.
Защо наблюдаемостта е от съществено значение
Вашите стандартни табла за управление – латентност, честота на грешки, наличност – могат да останат зелени, докато асистентът дава нерелевантни отговори, измисля процедури или променя тона си след актуализация на подкана. LLM в производствена среда рядко се проваля с изключение; той се проваля, като предоставя грешен отговор с увереност. Наблюдаемостта на LLM прави тези провали видими, измерими и поправими.
Трите стълба на наблюдаемостта
1. Видимост – вижте какво се случва
Всяка заявка от вашето приложение се превръща в трейс: дърво от span-ове, представляващи всяка стъпка от изпълнението – извикване на модел, извикване на инструмент, стъпка от работен поток – заедно с неговия вход, изход, продължителност, брой токени и статус. Тези трейсове следват стандарта OpenTelemetry, а Explorer на Studio Ви позволява да ги търсите и инспектирате.
2. Сигнали за качество – автоматично измерване
Ръчният преглед на хиляди разговори е невъзможен. Съдиите са оценители, базирани на LLM, които конфигурирате веднъж – с инструкции, модел и формат на изхода – и след това прилагате към разговори или записи от набори от данни, за да получите етикет или оценка.
3. Цикли на итерация – непрекъснато подобряване
Наборите от данни събират тестови случаи, често извлечени от реални трейсове, а офлайн оценките измерват версия на вашето приложение – модел, подкана, параметри – спрямо тях преди внедряване. Сравнявате версиите, запазвате най-добрата и повтаряте процеса.
Четирите компонента
| Компонент | Роля | Аналогия |
|---|---|---|
| Трейсове и Explorer | Събиране, търсене и инспекция на активността | APM за изкуствен интелект |
| Съдии | Автоматична оценка на качеството | Неуморен рецензент |
| Набори от данни | Съхранение на тестови случаи | Набор от регресионни тестове |
| Оценки | Измерване на версия спрямо набор от данни | CI за качество на изкуствения интелект |
Предпоставки и статус
Преди да започнете, имайте предвид три неща:
- Статус: Наблюдаемостта на Mistral е във Частен предварителен преглед (Private Preview), а интеграцията ѝ със SDK се променя бързо. Mistral препоръчва използването на най-новата версия на SDK.
- Изпращането на трейсове изисква само валиден API ключ. Проследяването е деактивирано по подразбиране и трябва да се активира за всеки източник поотделно (разгледано в следващия урок).
- Четенето на трейсове в Studio изисква Enterprise организация и подходяща роля (Org Admin, Workspace Admin или Observability Viewer). Офлайн оценките и добавянето на span-ове към набор от данни също са ограничени до Enterprise организации. Трейсовете се съхраняват в продължение на 30 дни.
Ако Вашата организация все още няма достъп, този раздел все пак заслужава вниманието Ви: концепциите – проследяване, оценяване, изграждане на тестови набори и оценяване преди внедряване – са приложими за всеки инструментариум на OpenTelemetry.
Типичният работен поток
Компонентите формират непрекъснат цикъл:
- Проследяване и изследване – Инструментирайте приложението си, след което използвайте Explorer, за да откриете проблемни трейсове (грешки, бавност, съмнителни отговори).
- Оценяване (Judge) – Създайте съдия, който формализира съответния критерий за качество.
- Изграждане на набор от данни – Превърнете реални span-ове в тестови случаи.
- Оценка – Измерете текущата версия, след това всяка вариация, спрямо този набор от данни.
Всеки цикъл Ви приближава до по-надеждна и по-добре калибрирана система.
Ключови изводи
- Наблюдаемостта на LLM разкрива провали, които стандартният мониторинг пропуска: лоши отговори.
- OpenTelemetry трейсовете (и техният Explorer), съдиите, наборите от данни и офлайн оценките формират цикъла на подобряване.
- Наблюдаемостта на Mistral е в Частен предварителен преглед; изпращането на трейсове изисква само API ключ, докато четенето на трейсове и стартирането на офлайн оценки изискват Enterprise организация.
- Трейсовете се съхраняват в продължение на 30 дни.