Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Įvadas į stebimumą: sekos, vertintojai ir vertinimai

Paskaita 11 iš 16 Atnaujinta 2026 m. lapkričio 2 d. Pažengusiems
Šiame puslapyje
  1. Kodėl stebimumas yra būtinas
  2. Trys stebimumo ramstyčiai
  3. Keturi komponentai
  4. Būtinos sąlygos ir būsena
  5. Tipinė darbo eiga
  6. Svarbiausi punktai

Perrašyta 2026 m. lapkričio 2 d. remiantis „Mistral“ Observability dokumentacija ir mistralai SDK 3.7.0 versija: stebimumas dabar grindžiamas „OpenTelemetry“ sekomis, kurios nagrinėjamos „Studio“ aplinkoje, LLM vertintojais ir neprisijungus atliekamais vertinimais (mistralai-evaluations). Ankstesnėse pamokose minėtos „Campaigns“ funkcijos ir chat_completion_events API nebeegzistuoja. Šaltiniai: Distributed tracing · Offline evaluations.

Kodėl stebimumas yra būtinas

Tavo įprasti skydeliai, rodantys delsą, klaidų dažnį ir prieinamumą, gali rodyti žalią būseną, nors tavo asistentas teikia nereikšmingus atsakymus, sugalvoja procedūras arba pakeičia toną po raginimo (prompt) atnaujinimo. Gamyboje naudojamas LLM retai žlunga išmesdamas išimtį; jis žlunga pasitikėdamas pateikdamas neteisingą atsakymą. LLM stebimumas padaro šias nesėkmes matomas, išmatuojamas ir ištaisomas.

Trys stebimumo ramstyčiai

1. Matomumas – matyk, kas vyksta

Kiekvienas tavo programos užklausos prašymas tampa seka (trace): tai atkarų (spans) medis, vaizduojantis kiekvieną vykdymo žingsnį – modelio kvietimą, įrankio kvietimą, darbo eigos žingsnį – kartu su jo įvestimi, išvestimi, trukme, tokenų skaičiumi ir būsena. Šios sekos laikosi „OpenTelemetry“ standarto, o „Studio“ naršyklė (Explorer) leidžia jų ieškoti ir jas tikrinti.

2. Kokybės signalai – matuok automatiškai

Rankiniu būdu peržiūrėti tūkstančius pokalbių neįmanoma. Vertintojai (Judges) yra LLM pagrindu veikiantys vertintojai, kuriuos sukonfigūruoji vieną kartą – nurodydamas instrukcijas, modelį ir išvesties formatą – ir tada taikai pokalbiams arba duomenų rinkinių įrašams, kad gautum etiketę arba įvertinimą.

Duomenų rinkiniai (Datasets) surenka testavimo atvejus, dažnai paimtus iš realių sekų, o neprisijungus atliekami vertinimai (offline evaluations) įvertina tavo programos versiją – modelį, raginimą, parametrus – prieš ją diegiant. Lygini versijas, pasirenki geriausią ir kartoji procesą.

Keturi komponentai

Komponentas Vaidmuo Analogija
Sekos ir naršyklė Renka, leidžia ieškoti ir tikrinti veiklą APM dirbtiniam intelektui
Vertintojai Automatiškai vertina kokybę Nenuilstantis recenzentas
Duomenų rinkiniai Saugo testavimo atvejus Regresijos testų rinkinys
Vertinimai Įvertina versiją pagal duomenų rinkinį DI kokybės CI

Būtinos sąlygos ir būsena

Prieš pradėdamas, įsimink tris dalykus:

  • Būsena: „Mistral“ stebimumas yra uždaros peržiūros (Private Preview) etape, o jo SDK integracija greitai keičiasi. „Mistral“ rekomenduoja naudoti naujausią SDK versiją.
  • Sekų siuntimas reikalauja tik galiojančio API rakto. Sekų rinkimas pagal nutylėjimą yra išjungtas ir turi būti įjungtas kiekvienam šaltiniui atskirai (tai bus aptarta kitoje pamokoje).
  • Sekų skaitymas „Studio“ aplinkoje reikalauja „Enterprise“ lygio organizacijos ir atitinkamo vaidmens (organizacijos administratorius, darbo srities administratorius arba stebimumo žiūrovas). Neprisijungus atliekami vertinimai ir atkarų pridėjimas į duomenų rinkinį taip pat galimi tik „Enterprise“ organizacijoms. Sekos saugomos 30 dienų.

Jei tavo organizacija dar neturi prieigos, šis skyrius vis tiek vertas tavo dėmesio: koncepcijos – sekų kūrimas, vertinimas, testų rinkinių kūrimas ir vertinimas prieš diegiant – taikomos bet kurioms „OpenTelemetry“ priemonėms.

Tipinė darbo eiga

Komponentai sudaro nuolatinį ciklą:

  1. Stebėk ir naršyk – integruok stebėjimą į savo programą, tada naudok naršyklę norėdamas aptikti problemines sekas (klaidas, lėtumą, abejotinus atsakymus).
  2. Vertink – sukurk vertintoją, kuris formalizuoja atitinkamą kokybės kriterijų.
  3. Sukurk duomenų rinkinį – paversk realias atkarpas testavimo atvejais.
  4. Įvertink – išmatuok dabartinę versiją, o tada kiekvieną variantą, naudodamas šį duomenų rinkinį.

Kiekvienas ciklas priartina tave prie patikimesnės ir geriau sureguliuotos sistemos.

Svarbiausi punktai

  • LLM stebimumas atskleidžia nesėkmes, kurių praleidžia standartinė stebėsena: blogus atsakymus.
  • „OpenTelemetry“ sekos (ir jų naršyklė), vertintojai, duomenų rinkiniai ir neprisijungus atliekami vertinimai sudaro tobulinimo ciklą.
  • „Mistral“ stebimumas yra uždaros peržiūros etape; sekų siuntimui reikia tik API rakto, o sekų skaitymui ir neprisijungus atliekamiems vertinimams vykdyti reikia „Enterprise“ organizacijos.
  • Sekos saugomos 30 dienų.