Sissejuhatus jälgitavusse: jäljed, hindajad ja hindamised
Sellel lehel
Ümber kirjutatud 2. novembril 2026, tuginedes Mistrali Observability dokumentatsioonile ja
mistralaiSDK versioonile 3.7.0: jälgitavus põhineb nüüd OpenTelemetry jälgedel, mida saab uurida Studios, LLM-põhistel hindajatel ja võrguühenduseta hindamistel (mistralai-evaluations). Eelmistes õppetundides käsitletud „Campaigns“ jachat_completion_eventsAPI-d enam ei eksisteeri. Allikad: Distributed tracing · Offline evaluations.
Miks on jälgitavus hädavajalik
Sinu tavalised armatuurlauad – latentsus, veamäärad, kättesaadavus – võivad olla rohelised, samal ajal kui assistent annab ebaasjakohaseid vastuseid, leiutab protseduure või muudab tooni pärast vihje (prompt) uuendamist. Tootmises olev LLM ebaõnnestub harva erandiga; see ebaõnnestub, pakkudes enesekindlalt vale vastust. LLM-i jälgitavus muudab need tõrked nähtavaks, mõõdetavaks ja parandatavaks.
Jälgitavuse kolm sammast
1. Nähtavus – näe, mis toimub
Iga taotlus sinu rakendusest muutub jäljeks: spannide puuks, mis esindab iga täitmise sammu – mudeli väljakutse, tööriista kutse, töövoo samm – koos selle sisendi, väljundi, kestuse, tokenite arvu ja olekuga. Need jäljed järgivad OpenTelemetry standardit ja Studio Explorer võimaldab neid otsida ja kontrollida.
2. Kvaliteedisignaalid – mõõda automaatselt
Tuhandete vestluste käsitsi ülevaatamine on võimatu. Hindajad on LLM-põhised hindurid, mille konfigureerid üks kord (juhised, mudel ja väljundvorming) ning rakendad seejärel vestlustele või andmestiku salvestistele, et saada silt või skoor.
3. Iteratsioonitsüklid – paranda pidevalt
Andmestikud koguvad testjuhtumeid, mis on sageli pärit päris jälgedest, ja võrguühenduseta hindamised mõõdavad sinu rakenduse versiooni (mudel, vihje, parameetrid) nende vastu enne kasutuselevõttu. Võrdled versioone, säilitad parima ja kordad protsessi.
Neli komponenti
| Komponent | Roll | Analoogia |
|---|---|---|
| Jäljed ja Explorer | Tegevuse kogumine, otsimine ja kontrollimine | APM tehisintellektile |
| Hindajad | Kvaliteedi automaatne hindamine | Väsimatu retsensent |
| Andmestikud | Testjuhtumite salvestamine | Regressioonitestide komplekt |
| Hindamised | Versiooni mõõtmine andmestiku vastu | CI tehisintellekti kvaliteedile |
Eeldused ja olek
Pidage meeles kolme punkti enne alustamist:
- Olek: Mistrali jälgitavus on Private Preview faasis ja selle SDK integratsioon muutub kiiresti. Mistral soovitab kasutada uusimat SDK versiooni.
- Jälgede saatmine nõuab ainult kehtivat API võtit. Jälgimine on vaikimisi välja lülitatud ja tuleb lubada iga allika jaoks (seda käsitletakse järgmises õppetunnis).
- Jälgede lugemine Studios nõuab Enterprise organisatsiooni ja sobivat rolli (Org Admin, Workspace Admin või Observability Viewer). Võrguühenduseta hindamised ja spannide lisamine andmestikku on samuti piiratud Enterprise organisatsioonidega. Jälgi säilitatakse 30 päeva.
Kui sinu organisatsioonil pole veel juurdepääsu, on see osa siiski sinu aega väärt: kontseptsioonid – jälitamine, hindamine, testkomplektide loomine ja hindamine enne kasutuselevõttu – kehtivad iga OpenTelemetry tööriista kohta.
Tüüpiline töövoog
Komponendid moodustavad pideva tsükli:
- Jälita ja uuri – lisa instrumentatsioon oma rakendusele ja kasuta seejärel Explorerit probleemsete jälgede leidmiseks (vead, aeglus, küsitavad vastused)
- Hinda – loo hindaja, mis vormistab asjakohase kvaliteedikriteeriumi
- Ehita andmestik – muuda päris spannid testjuhtumiteks
- Hinda – mõõda praegust versiooni ja seejärel iga varianti selle andmestiku vastu
Iga tsükkel viib sind lähemale usaldusväärsemale ja paremini häälestatud süsteemile.
Peamised punktid
- LLM-i jälgitavus paljastab tõrkeid, mida tavaline monitooring ei märka: halvad vastused
- OpenTelemetry jäljed (ja nende Explorer), hindajad, andmestikud ja võrguühenduseta hindamised moodustavad parendamise tsükli
- Mistrali jälgitavus on Private Preview faasis; jälgede saatmiseks piisab API võtmest, samas kui jälgede lugemine ja võrguühenduseta hindamiste käivitamine nõuavad Enterprise organisatsiooni
- Jälgi säilitatakse 30 päeva