Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Sissejuhatus jälgitavusse: jäljed, hindajad ja hindamised

Õppetund 11 / 16 Värskendatud 2. november 2026 Edasijõudnutele
Sellel lehel
  1. Miks on jälgitavus hädavajalik
  2. Jälgitavuse kolm sammast
  3. Neli komponenti
  4. Eeldused ja olek
  5. Tüüpiline töövoog
  6. Peamised punktid

Ümber kirjutatud 2. novembril 2026, tuginedes Mistrali Observability dokumentatsioonile ja mistralai SDK versioonile 3.7.0: jälgitavus põhineb nüüd OpenTelemetry jälgedel, mida saab uurida Studios, LLM-põhistel hindajatel ja võrguühenduseta hindamistel (mistralai-evaluations). Eelmistes õppetundides käsitletud „Campaigns“ ja chat_completion_events API-d enam ei eksisteeri. Allikad: Distributed tracing · Offline evaluations.

Miks on jälgitavus hädavajalik

Sinu tavalised armatuurlauad – latentsus, veamäärad, kättesaadavus – võivad olla rohelised, samal ajal kui assistent annab ebaasjakohaseid vastuseid, leiutab protseduure või muudab tooni pärast vihje (prompt) uuendamist. Tootmises olev LLM ebaõnnestub harva erandiga; see ebaõnnestub, pakkudes enesekindlalt vale vastust. LLM-i jälgitavus muudab need tõrked nähtavaks, mõõdetavaks ja parandatavaks.

Jälgitavuse kolm sammast

1. Nähtavus – näe, mis toimub

Iga taotlus sinu rakendusest muutub jäljeks: spannide puuks, mis esindab iga täitmise sammu – mudeli väljakutse, tööriista kutse, töövoo samm – koos selle sisendi, väljundi, kestuse, tokenite arvu ja olekuga. Need jäljed järgivad OpenTelemetry standardit ja Studio Explorer võimaldab neid otsida ja kontrollida.

2. Kvaliteedisignaalid – mõõda automaatselt

Tuhandete vestluste käsitsi ülevaatamine on võimatu. Hindajad on LLM-põhised hindurid, mille konfigureerid üks kord (juhised, mudel ja väljundvorming) ning rakendad seejärel vestlustele või andmestiku salvestistele, et saada silt või skoor.

3. Iteratsioonitsüklid – paranda pidevalt

Andmestikud koguvad testjuhtumeid, mis on sageli pärit päris jälgedest, ja võrguühenduseta hindamised mõõdavad sinu rakenduse versiooni (mudel, vihje, parameetrid) nende vastu enne kasutuselevõttu. Võrdled versioone, säilitad parima ja kordad protsessi.

Neli komponenti

Komponent Roll Analoogia
Jäljed ja Explorer Tegevuse kogumine, otsimine ja kontrollimine APM tehisintellektile
Hindajad Kvaliteedi automaatne hindamine Väsimatu retsensent
Andmestikud Testjuhtumite salvestamine Regressioonitestide komplekt
Hindamised Versiooni mõõtmine andmestiku vastu CI tehisintellekti kvaliteedile

Eeldused ja olek

Pidage meeles kolme punkti enne alustamist:

  • Olek: Mistrali jälgitavus on Private Preview faasis ja selle SDK integratsioon muutub kiiresti. Mistral soovitab kasutada uusimat SDK versiooni.
  • Jälgede saatmine nõuab ainult kehtivat API võtit. Jälgimine on vaikimisi välja lülitatud ja tuleb lubada iga allika jaoks (seda käsitletakse järgmises õppetunnis).
  • Jälgede lugemine Studios nõuab Enterprise organisatsiooni ja sobivat rolli (Org Admin, Workspace Admin või Observability Viewer). Võrguühenduseta hindamised ja spannide lisamine andmestikku on samuti piiratud Enterprise organisatsioonidega. Jälgi säilitatakse 30 päeva.

Kui sinu organisatsioonil pole veel juurdepääsu, on see osa siiski sinu aega väärt: kontseptsioonid – jälitamine, hindamine, testkomplektide loomine ja hindamine enne kasutuselevõttu – kehtivad iga OpenTelemetry tööriista kohta.

Tüüpiline töövoog

Komponendid moodustavad pideva tsükli:

  1. Jälita ja uuri – lisa instrumentatsioon oma rakendusele ja kasuta seejärel Explorerit probleemsete jälgede leidmiseks (vead, aeglus, küsitavad vastused)
  2. Hinda – loo hindaja, mis vormistab asjakohase kvaliteedikriteeriumi
  3. Ehita andmestik – muuda päris spannid testjuhtumiteks
  4. Hinda – mõõda praegust versiooni ja seejärel iga varianti selle andmestiku vastu

Iga tsükkel viib sind lähemale usaldusväärsemale ja paremini häälestatud süsteemile.

Peamised punktid

  • LLM-i jälgitavus paljastab tõrkeid, mida tavaline monitooring ei märka: halvad vastused
  • OpenTelemetry jäljed (ja nende Explorer), hindajad, andmestikud ja võrguühenduseta hindamised moodustavad parendamise tsükli
  • Mistrali jälgitavus on Private Preview faasis; jälgede saatmiseks piisab API võtmest, samas kui jälgede lugemine ja võrguühenduseta hindamiste käivitamine nõuavad Enterprise organisatsiooni
  • Jälgi säilitatakse 30 päeva