Uvod v opazljivost: sledi, sodniki in evalvacije
Na tej strani
Ponovno napisano 2. novembra 2026 na podlagi dokumentacije Observability podjetja Mistral in SDK-ja
mistralairazličice 3.7.0: opazljivost zdaj temelji na sledeh OpenTelemetry, ki jih raziskujete v Studiu, sodnikih LLM in офлайн evalvacijah (mistralai-evaluations). „Kampanje” in APIchat_completion_eventsiz prejšnjih lekcij ne obstajajo več. Viri: Distributed tracing · Offline evaluations.
Zakaj je opazljivost nujna
Vaše standardne nadzorne plošče – zakasnitve, stopnje napak, razpoložljivost – so lahko še vedno zelene, medtem ko asistent daje nepomembne odgovore, si izmišlja postopke ali po posodobitvi poziva spremeni ton. LLM v proizvodnem okolju redko odpove z izjemo; odpove tako, da z zaupanjem vrne napačen odgovor. Opazljivost LLM te napake naredi vidne, merljive in popravljive.
Trije stebri opazljivosti
1. Vidljivost – poglejte, kaj se dogaja
Vsaka zahteva iz vaše aplikacije postane sled: drevo razponov (spans), ki predstavljajo vsak korak izvajanja – klic modela, klic orodja, korak delovnega toka – skupaj z vhodnimi podatki, izhodom, trajanjem, številom žetonov in stanjem. Te sledi upoštevajo standard OpenTelemetry, Raziskovalec (Explorer) v Studiu pa vam omogoča njihovo iskanje in pregledovanje.
2. Signali kakovosti – samodejno merjenje
Ročni pregled tisočev pogovorov je nemogoč. Sodniki so evalvatorji, ki temeljijo na LLM; enkrat jih konfigurirate (z navodili, modelom in formatom izhoda), nato pa jih uporabite za pogovore ali posnetke naborov podatkov, da dobite oznako ali oceno.
3. Iteracijske zanke – neprekinjeno izboljševanje
Nabori podatkov zbirajo testne primere, pogosto izvlečene iz resničnih sledi, офлайн evalvacije pa pred uvedbo izmerijo različico vaše aplikacije – model, poziv, parametre – glede na te primere. Različice primerjate, obdržite najboljšo in postopek ponovite.
Štiri komponente
| Komponenta | Vloga | Analogija |
|---|---|---|
| Sledi in Raziskovalec | Zbiranje, iskanje in pregledovanje dejavnosti | APM za umetno inteligenco |
| Sodniki | Samodejno ocenjevanje kakovosti | Neutrudni recenzent |
| Nabori podatkov | Shranjevanje testnih primerov | Niz regresijskih testov |
| Evalvacije | Merjenje različice glede na nabor podatkov | CI za kakovost umetne inteligence |
Predpogoji in status
Preden začnete, imejte v mislih tri točke:
- Status: Opazljivost podjetja Mistral je v zasebnem predogledu (Private Preview), njena integracija SDK pa se hitro spreminja. Mistral priporoča uporabo najnovejše različice SDK.
- Pošiljanje sledi zahteva le veljaven ključ API. Sledenje je privzeto onemogočeno in ga je treba omogočiti za vsak vir posebej (obravnavano v naslednji lekciji).
- Branje sledi v Studiu zahteva organizacijo Enterprise in ustrezno vlogo (skrbnik organizacije, skrbnik delovnega prostora ali pregledovalec opazljivosti). Офлайн evalvacije in dodajanje razponov v nabor podatkov so prav tako omejeni na organizacije Enterprise. Sledi se hranijo 30 dni.
Če vaša organizacija še nima dostopa, je ta razdelek vseeno vreden vašega časa: koncepti – sledenje, sodjenje, gradnja testnih nizov in evalvacija pred uvedbo – veljajo za vsa orodja OpenTelemetry.
Tipični delovni tok
Komponente tvorijo neprekinjeno zanko:
- Sledenje in raziskovanje – Instrumentirajte svojo aplikacijo, nato pa z Raziskovalcem odkrijte problematične sledi (napake, počasnost, vprašljivi odgovori).
- Sodnik – Ustvarite sodnika, ki formalizira ustrezno merilo kakovosti.
- Gradnja nabora podatkov – Pretvorite resnične razpone v testne primere.
- Evalvacija – Izmerite trenutno različico in nato vsako varianto glede na ta nabor podatkov.
Vsak cikel vas približa zanesljivejšemu in bolje umerjenemu sistemu.
Ključne ugotovitve
- Opazljivost LLM razkriva napake, ki jih standardno spremljanje spregleda: slabe odgovore.
- Sledi OpenTelemetry (in njihov Raziskovalec), sodniki, nabori podatkov in офлайн evalvacije tvorijo zanko izboljševanja.
- Opazljivost podjetja Mistral je v zasebnem predogledu; pošiljanje sledi zahteva le ključ API, medtem ko branje sledi in izvajanje офлайн evalvacij zahtevata organizacijo Enterprise.
- Sledi se hranijo 30 dni.