Ievads novērojamībā: izsekošana, vērtētāji un novērtējumi
Šajā lapā
Pārrakstīts 2026. gada 2. novembrī, balstoties uz Mistral Observability dokumentāciju un
mistralaiSDK 3.7.0 versiju: novērojamība tagad balstās uz OpenTelemetry izsekošanu, ko var apskatīt Studio, LLM vērtētājiem un bezsaistes novērtējumiem (mistralai-evaluations). Iepriekšējās nodarbībās minētās “Campaigns” unchat_completion_eventsAPI vairs nepastāv. Avoti: Distributed tracing · Offline evaluations.
Kāpēc novērojamība ir būtiska
Tavi standarta informācijas paneļi — latentums, kļūdu līmenis, pieejamība — var rādīt zaļu gaismu, kamēr asistents sniedz neatbilstošas atbildes, izgudro procedūras vai maina toni pēc prompta atjaunināšanas. Ražošanas vidē izvietots LLM reti piedzīvo kļūmi kā izņēmumu (exception); tas kļūst, sniedzot nepareizu atbildi ar pārliecību. LLM novērojamība padara šīs kļūmes redzamas, izmērāmas un novēršamas.
Trīs novērojamības pīlāri
1. Redzamība — redzi, kas notiek
Katrs pieprasījums no tavas lietotnes kļūst par izsekošanu (trace): tas ir segmentu (spans) koks, kas attēlo katru izpildes soli — modeļa izsaukumu, rīka izsaukumu, darbplūsmas posmu — kopā ar ievadi, izvadi, ilgumu, tokeno skaitu un statusu. Šīs izsekošanas atbilst OpenTelemetry standartam, un Studio Explorer ļauj tās meklēt un pārbaudīt.
2. Kvalitātes signāli — automātiska mērīšana
Manuāli pārskatīt tūkstošiem sarunu nav iespējams. Vērtētāji (Judges) ir uz LLM balstīti vērtēšanas rīki, kurus konfigurē vienu reizi — norādot instrukcijas, modeli un izvades formātu — un pēc tam piemēro sarunām vai datu kopu ierakstiem, lai iegūtu etiķeti vai vērtējumu.
3. Iterācijas cikli — nepārtraukta uzlabošana
Datu kopas (Datasets) apkopo testa gadījumus, bieži vien iegūtus no reālām izsekošanām, un bezsaistes novērtējumi (offline evaluations) mēra tavas lietotnes versiju — modeli, promptu, parametrus — pret šīm kopām pirms izvietošanas. Tu salīdzini versijas, saglabā labāko un atkārto procesu.
Četri komponenti
| Komponents | Loma | Analoģija |
|---|---|---|
| Izsekošanas un Explorer | Vāc, meklē un pārbauda darbību | APM priekš AI |
| Vērtētāji (Judges) | Automātiski vērtē kvalitāti | Nenogurstošs recenzents |
| Datu kopas (Datasets) | Glabā testa gadījumus | Regresijas testu kopums |
| Novērtējumi (Evaluations) | Mēra versiju pret datu kopu | CI priekš AI kvalitātes |
Priekšnosacījumi un statuss
Pirms sāc, paturi prātā trīs punktus:
- Statuss: Mistral novērojamība atrodas Private Preview fāzē, un tās SDK integrācija strauji mainās. Mistral iesaka izmantot jaunāko SDK versiju.
- Izsekošanu sūtīšanai nepieciešama tikai derīga API atslēga. Izsekošana pēc noklusējuma ir izslēgta un jāaktivizē katram avotam atsevišķi (tas tiks aplūkots nākamajā nodarbībā).
- Izsekošanu lasīšana Studio prasa Enterprise organizāciju un atbilstošu lomu (Org Admin, Workspace Admin vai Observability Viewer). Arī bezsaistes novērtējumi un segmentu pievienošana datu kopai ir pieejami tikai Enterprise organizācijām. Izsekošanas dati tiek glabāti 30 dienas.
Ja tavai organizācijai vēl nav piekļuves, šī sadaļa joprojām ir veltīta tavam laikam: koncepti — izsekošana, vērtēšana, testu kopu veidošana un novērtēšana pirms izvietošanas — ir attiecināmi uz jebkuru OpenTelemetry rīku kopu.
Tipisks darbplūsmas cikls
Komponenti veido nepārtrauktu ciklu:
- Izseko un pēti — instrumentē savu lietotni, pēc tam izmanto Explorer, lai identificētu problemātiskas izsekošanas (kļūdas, lēnumu, apšaubāmas atbildes).
- Vērtē — izveido vērtētāju, kas formalizē attiecīgo kvalitātes kritēriju.
- Veido datu kopu — pārvērt reālus segmentus testa gadījumos.
- Novērtē — izmēri pašreizējo versiju un pēc tam katru variantu pret šo datu kopu.
Katrs cikls tevī tuvo uzticamākai un precīzākai sistēmai.
Galvenās atziņas
- LLM novērojamība atklāj kļūmes, kuras standarta uzraudzība palaiž garām: sliktas atbildes.
- OpenTelemetry izsekošanas (un to Explorer), vērtētāji, datu kopas un bezsaistes novērtējumi veido uzlabošanas ciklu.
- Mistral novērojamība ir Private Preview fāzē; izsekošanu sūtīšanai pietiek ar API atslēgu, bet izsekošanu lasīšanai un bezsaistes novērtējumu veikšanai nepieciešama Enterprise organizācija.
- Izsekošanas dati tiek glabāti 30 dienas.