Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Ievads novērojamībā: izsekošana, vērtētāji un novērtējumi

Nodarbība 11 no 16 Atjaunota 2026. gada 2. novembris Augstākais
Šajā lapā
  1. Kāpēc novērojamība ir būtiska
  2. Trīs novērojamības pīlāri
  3. Četri komponenti
  4. Priekšnosacījumi un statuss
  5. Tipisks darbplūsmas cikls
  6. Galvenās atziņas

Pārrakstīts 2026. gada 2. novembrī, balstoties uz Mistral Observability dokumentāciju un mistralai SDK 3.7.0 versiju: novērojamība tagad balstās uz OpenTelemetry izsekošanu, ko var apskatīt Studio, LLM vērtētājiem un bezsaistes novērtējumiem (mistralai-evaluations). Iepriekšējās nodarbībās minētās “Campaigns” un chat_completion_events API vairs nepastāv. Avoti: Distributed tracing · Offline evaluations.

Kāpēc novērojamība ir būtiska

Tavi standarta informācijas paneļi — latentums, kļūdu līmenis, pieejamība — var rādīt zaļu gaismu, kamēr asistents sniedz neatbilstošas atbildes, izgudro procedūras vai maina toni pēc prompta atjaunināšanas. Ražošanas vidē izvietots LLM reti piedzīvo kļūmi kā izņēmumu (exception); tas kļūst, sniedzot nepareizu atbildi ar pārliecību. LLM novērojamība padara šīs kļūmes redzamas, izmērāmas un novēršamas.

Trīs novērojamības pīlāri

1. Redzamība — redzi, kas notiek

Katrs pieprasījums no tavas lietotnes kļūst par izsekošanu (trace): tas ir segmentu (spans) koks, kas attēlo katru izpildes soli — modeļa izsaukumu, rīka izsaukumu, darbplūsmas posmu — kopā ar ievadi, izvadi, ilgumu, tokeno skaitu un statusu. Šīs izsekošanas atbilst OpenTelemetry standartam, un Studio Explorer ļauj tās meklēt un pārbaudīt.

2. Kvalitātes signāli — automātiska mērīšana

Manuāli pārskatīt tūkstošiem sarunu nav iespējams. Vērtētāji (Judges) ir uz LLM balstīti vērtēšanas rīki, kurus konfigurē vienu reizi — norādot instrukcijas, modeli un izvades formātu — un pēc tam piemēro sarunām vai datu kopu ierakstiem, lai iegūtu etiķeti vai vērtējumu.

3. Iterācijas cikli — nepārtraukta uzlabošana

Datu kopas (Datasets) apkopo testa gadījumus, bieži vien iegūtus no reālām izsekošanām, un bezsaistes novērtējumi (offline evaluations) mēra tavas lietotnes versiju — modeli, promptu, parametrus — pret šīm kopām pirms izvietošanas. Tu salīdzini versijas, saglabā labāko un atkārto procesu.

Četri komponenti

Komponents Loma Analoģija
Izsekošanas un Explorer Vāc, meklē un pārbauda darbību APM priekš AI
Vērtētāji (Judges) Automātiski vērtē kvalitāti Nenogurstošs recenzents
Datu kopas (Datasets) Glabā testa gadījumus Regresijas testu kopums
Novērtējumi (Evaluations) Mēra versiju pret datu kopu CI priekš AI kvalitātes

Priekšnosacījumi un statuss

Pirms sāc, paturi prātā trīs punktus:

  • Statuss: Mistral novērojamība atrodas Private Preview fāzē, un tās SDK integrācija strauji mainās. Mistral iesaka izmantot jaunāko SDK versiju.
  • Izsekošanu sūtīšanai nepieciešama tikai derīga API atslēga. Izsekošana pēc noklusējuma ir izslēgta un jāaktivizē katram avotam atsevišķi (tas tiks aplūkots nākamajā nodarbībā).
  • Izsekošanu lasīšana Studio prasa Enterprise organizāciju un atbilstošu lomu (Org Admin, Workspace Admin vai Observability Viewer). Arī bezsaistes novērtējumi un segmentu pievienošana datu kopai ir pieejami tikai Enterprise organizācijām. Izsekošanas dati tiek glabāti 30 dienas.

Ja tavai organizācijai vēl nav piekļuves, šī sadaļa joprojām ir veltīta tavam laikam: koncepti — izsekošana, vērtēšana, testu kopu veidošana un novērtēšana pirms izvietošanas — ir attiecināmi uz jebkuru OpenTelemetry rīku kopu.

Tipisks darbplūsmas cikls

Komponenti veido nepārtrauktu ciklu:

  1. Izseko un pēti — instrumentē savu lietotni, pēc tam izmanto Explorer, lai identificētu problemātiskas izsekošanas (kļūdas, lēnumu, apšaubāmas atbildes).
  2. Vērtē — izveido vērtētāju, kas formalizē attiecīgo kvalitātes kritēriju.
  3. Veido datu kopu — pārvērt reālus segmentus testa gadījumos.
  4. Novērtē — izmēri pašreizējo versiju un pēc tam katru variantu pret šo datu kopu.

Katrs cikls tevī tuvo uzticamākai un precīzākai sistēmai.

Galvenās atziņas

  • LLM novērojamība atklāj kļūmes, kuras standarta uzraudzība palaiž garām: sliktas atbildes.
  • OpenTelemetry izsekošanas (un to Explorer), vērtētāji, datu kopas un bezsaistes novērtējumi veido uzlabošanas ciklu.
  • Mistral novērojamība ir Private Preview fāzē; izsekošanu sūtīšanai pietiek ar API atslēgu, bet izsekošanu lasīšanai un bezsaistes novērtējumu veikšanai nepieciešama Enterprise organizācija.
  • Izsekošanas dati tiek glabāti 30 dienas.