Įvadas į stebimumą: sekos, vertintojai ir vertinimai
Šiame puslapyje
Perrašyta 2026 m. lapkričio 2 d. remiantis „Mistral“ Observability dokumentacija ir
mistralaiSDK 3.7.0 versija: stebimumas dabar grindžiamas „OpenTelemetry“ sekomis, kurios nagrinėjamos „Studio“ aplinkoje, LLM vertintojais ir neprisijungus atliekamais vertinimais (mistralai-evaluations). Ankstesnėse pamokose minėtos „Campaigns“ funkcijos irchat_completion_eventsAPI nebeegzistuoja. Šaltiniai: Distributed tracing · Offline evaluations.
Kodėl stebimumas yra būtinas
Tavo įprasti skydeliai, rodantys delsą, klaidų dažnį ir prieinamumą, gali rodyti žalią būseną, nors tavo asistentas teikia nereikšmingus atsakymus, sugalvoja procedūras arba pakeičia toną po raginimo (prompt) atnaujinimo. Gamyboje naudojamas LLM retai žlunga išmesdamas išimtį; jis žlunga pasitikėdamas pateikdamas neteisingą atsakymą. LLM stebimumas padaro šias nesėkmes matomas, išmatuojamas ir ištaisomas.
Trys stebimumo ramstyčiai
1. Matomumas – matyk, kas vyksta
Kiekvienas tavo programos užklausos prašymas tampa seka (trace): tai atkarų (spans) medis, vaizduojantis kiekvieną vykdymo žingsnį – modelio kvietimą, įrankio kvietimą, darbo eigos žingsnį – kartu su jo įvestimi, išvestimi, trukme, tokenų skaičiumi ir būsena. Šios sekos laikosi „OpenTelemetry“ standarto, o „Studio“ naršyklė (Explorer) leidžia jų ieškoti ir jas tikrinti.
2. Kokybės signalai – matuok automatiškai
Rankiniu būdu peržiūrėti tūkstančius pokalbių neįmanoma. Vertintojai (Judges) yra LLM pagrindu veikiantys vertintojai, kuriuos sukonfigūruoji vieną kartą – nurodydamas instrukcijas, modelį ir išvesties formatą – ir tada taikai pokalbiams arba duomenų rinkinių įrašams, kad gautum etiketę arba įvertinimą.
3. Iteracijos ciklai – tobulink nuolat
Duomenų rinkiniai (Datasets) surenka testavimo atvejus, dažnai paimtus iš realių sekų, o neprisijungus atliekami vertinimai (offline evaluations) įvertina tavo programos versiją – modelį, raginimą, parametrus – prieš ją diegiant. Lygini versijas, pasirenki geriausią ir kartoji procesą.
Keturi komponentai
| Komponentas | Vaidmuo | Analogija |
|---|---|---|
| Sekos ir naršyklė | Renka, leidžia ieškoti ir tikrinti veiklą | APM dirbtiniam intelektui |
| Vertintojai | Automatiškai vertina kokybę | Nenuilstantis recenzentas |
| Duomenų rinkiniai | Saugo testavimo atvejus | Regresijos testų rinkinys |
| Vertinimai | Įvertina versiją pagal duomenų rinkinį | DI kokybės CI |
Būtinos sąlygos ir būsena
Prieš pradėdamas, įsimink tris dalykus:
- Būsena: „Mistral“ stebimumas yra uždaros peržiūros (Private Preview) etape, o jo SDK integracija greitai keičiasi. „Mistral“ rekomenduoja naudoti naujausią SDK versiją.
- Sekų siuntimas reikalauja tik galiojančio API rakto. Sekų rinkimas pagal nutylėjimą yra išjungtas ir turi būti įjungtas kiekvienam šaltiniui atskirai (tai bus aptarta kitoje pamokoje).
- Sekų skaitymas „Studio“ aplinkoje reikalauja „Enterprise“ lygio organizacijos ir atitinkamo vaidmens (organizacijos administratorius, darbo srities administratorius arba stebimumo žiūrovas). Neprisijungus atliekami vertinimai ir atkarų pridėjimas į duomenų rinkinį taip pat galimi tik „Enterprise“ organizacijoms. Sekos saugomos 30 dienų.
Jei tavo organizacija dar neturi prieigos, šis skyrius vis tiek vertas tavo dėmesio: koncepcijos – sekų kūrimas, vertinimas, testų rinkinių kūrimas ir vertinimas prieš diegiant – taikomos bet kurioms „OpenTelemetry“ priemonėms.
Tipinė darbo eiga
Komponentai sudaro nuolatinį ciklą:
- Stebėk ir naršyk – integruok stebėjimą į savo programą, tada naudok naršyklę norėdamas aptikti problemines sekas (klaidas, lėtumą, abejotinus atsakymus).
- Vertink – sukurk vertintoją, kuris formalizuoja atitinkamą kokybės kriterijų.
- Sukurk duomenų rinkinį – paversk realias atkarpas testavimo atvejais.
- Įvertink – išmatuok dabartinę versiją, o tada kiekvieną variantą, naudodamas šį duomenų rinkinį.
Kiekvienas ciklas priartina tave prie patikimesnės ir geriau sureguliuotos sistemos.
Svarbiausi punktai
- LLM stebimumas atskleidžia nesėkmes, kurių praleidžia standartinė stebėsena: blogus atsakymus.
- „OpenTelemetry“ sekos (ir jų naršyklė), vertintojai, duomenų rinkiniai ir neprisijungus atliekami vertinimai sudaro tobulinimo ciklą.
- „Mistral“ stebimumas yra uždaros peržiūros etape; sekų siuntimui reikia tik API rakto, o sekų skaitymui ir neprisijungus atliekamiems vertinimams vykdyti reikia „Enterprise“ organizacijos.
- Sekos saugomos 30 dienų.