Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Uvod v opazljivost: sledi, sodniki in evalvacije

Lekcija 11 od 16 Posodobljeno 2. november 2026 Napredni
Na tej strani
  1. Zakaj je opazljivost nujna
  2. Trije stebri opazljivosti
  3. Štiri komponente
  4. Predpogoji in status
  5. Tipični delovni tok
  6. Ključne ugotovitve

Ponovno napisano 2. novembra 2026 na podlagi dokumentacije Observability podjetja Mistral in SDK-ja mistralai različice 3.7.0: opazljivost zdaj temelji na sledeh OpenTelemetry, ki jih raziskujete v Studiu, sodnikih LLM in офлайн evalvacijah (mistralai-evaluations). „Kampanje” in API chat_completion_events iz prejšnjih lekcij ne obstajajo več. Viri: Distributed tracing · Offline evaluations.

Zakaj je opazljivost nujna

Vaše standardne nadzorne plošče – zakasnitve, stopnje napak, razpoložljivost – so lahko še vedno zelene, medtem ko asistent daje nepomembne odgovore, si izmišlja postopke ali po posodobitvi poziva spremeni ton. LLM v proizvodnem okolju redko odpove z izjemo; odpove tako, da z zaupanjem vrne napačen odgovor. Opazljivost LLM te napake naredi vidne, merljive in popravljive.

Trije stebri opazljivosti

1. Vidljivost – poglejte, kaj se dogaja

Vsaka zahteva iz vaše aplikacije postane sled: drevo razponov (spans), ki predstavljajo vsak korak izvajanja – klic modela, klic orodja, korak delovnega toka – skupaj z vhodnimi podatki, izhodom, trajanjem, številom žetonov in stanjem. Te sledi upoštevajo standard OpenTelemetry, Raziskovalec (Explorer) v Studiu pa vam omogoča njihovo iskanje in pregledovanje.

2. Signali kakovosti – samodejno merjenje

Ročni pregled tisočev pogovorov je nemogoč. Sodniki so evalvatorji, ki temeljijo na LLM; enkrat jih konfigurirate (z navodili, modelom in formatom izhoda), nato pa jih uporabite za pogovore ali posnetke naborov podatkov, da dobite oznako ali oceno.

3. Iteracijske zanke – neprekinjeno izboljševanje

Nabori podatkov zbirajo testne primere, pogosto izvlečene iz resničnih sledi, офлайн evalvacije pa pred uvedbo izmerijo različico vaše aplikacije – model, poziv, parametre – glede na te primere. Različice primerjate, obdržite najboljšo in postopek ponovite.

Štiri komponente

Komponenta Vloga Analogija
Sledi in Raziskovalec Zbiranje, iskanje in pregledovanje dejavnosti APM za umetno inteligenco
Sodniki Samodejno ocenjevanje kakovosti Neutrudni recenzent
Nabori podatkov Shranjevanje testnih primerov Niz regresijskih testov
Evalvacije Merjenje različice glede na nabor podatkov CI za kakovost umetne inteligence

Predpogoji in status

Preden začnete, imejte v mislih tri točke:

  • Status: Opazljivost podjetja Mistral je v zasebnem predogledu (Private Preview), njena integracija SDK pa se hitro spreminja. Mistral priporoča uporabo najnovejše različice SDK.
  • Pošiljanje sledi zahteva le veljaven ključ API. Sledenje je privzeto onemogočeno in ga je treba omogočiti za vsak vir posebej (obravnavano v naslednji lekciji).
  • Branje sledi v Studiu zahteva organizacijo Enterprise in ustrezno vlogo (skrbnik organizacije, skrbnik delovnega prostora ali pregledovalec opazljivosti). Офлайн evalvacije in dodajanje razponov v nabor podatkov so prav tako omejeni na organizacije Enterprise. Sledi se hranijo 30 dni.

Če vaša organizacija še nima dostopa, je ta razdelek vseeno vreden vašega časa: koncepti – sledenje, sodjenje, gradnja testnih nizov in evalvacija pred uvedbo – veljajo za vsa orodja OpenTelemetry.

Tipični delovni tok

Komponente tvorijo neprekinjeno zanko:

  1. Sledenje in raziskovanje – Instrumentirajte svojo aplikacijo, nato pa z Raziskovalcem odkrijte problematične sledi (napake, počasnost, vprašljivi odgovori).
  2. Sodnik – Ustvarite sodnika, ki formalizira ustrezno merilo kakovosti.
  3. Gradnja nabora podatkov – Pretvorite resnične razpone v testne primere.
  4. Evalvacija – Izmerite trenutno različico in nato vsako varianto glede na ta nabor podatkov.

Vsak cikel vas približa zanesljivejšemu in bolje umerjenemu sistemu.

Ključne ugotovitve

  • Opazljivost LLM razkriva napake, ki jih standardno spremljanje spregleda: slabe odgovore.
  • Sledi OpenTelemetry (in njihov Raziskovalec), sodniki, nabori podatkov in офлайн evalvacije tvorijo zanko izboljševanja.
  • Opazljivost podjetja Mistral je v zasebnem predogledu; pošiljanje sledi zahteva le ključ API, medtem ko branje sledi in izvajanje офлайн evalvacij zahtevata organizacijo Enterprise.
  • Sledi se hranijo 30 dni.