Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Uvod u opservabilnost: tragovi, suci i evaluacije

Lekcija 11 od 16 Ažurirano 2. studenoga 2026. Napredno
Na ovoj stranici
  1. Zašto je opservabilnost ključna
  2. Tri stupa opservabilnosti
  3. Četiri komponente
  4. Preduvjeti i status
  5. Tipičan radni tijek
  6. Ključne točke

Ponovno napisano 2. studenog 2026. na temelju Mistralove dokumentacije o opservabilnosti i SDK-a mistralai verzije 3.7.0: opservabilnost se sada oslanja na OpenTelemetry tragove istražene u Studiju, LLM suce i izvanmrežne evaluacije (mistralai-evaluations). „Kampanje“ i API chat_completion_events iz prethodnih lekcija više ne postoje. Izvori: Distribuirano praćenje · Izvanmrežne evaluacije.

Zašto je opservabilnost ključna

Tvoje standardne nadzorne ploče—latencija, stope pogrešaka, dostupnost—mogu ostati zelene dok asistent daje nebitne odgovore, izmišlja postupke ili mijenja ton nakon ažuriranja prompta. LLM u proizvodnji rijetko otkaže s iznimkom; otkaže tako što s pouzdanjem isporuči pogrešan odgovor. Opservabilnost LLM-a čini te kvarove vidljivima, mjerljivima i popravljivima.

Tri stupa opservabilnosti

1. Vidljivost—Vidi što se događa

Svaki zahtjev iz tvoje aplikacije postaje trag: stablo raspona (spans) koji predstavljaju svaki korak izvršavanja—poziv modela, poziv alata, korak radnog tijeka—zajedno s ulazom, izlazom, trajanjem, brojem tokena i statusom. Ti tragovi slijede OpenTelemetry standard, a Studijev Explorer omogućuje ti njihovo pretraživanje i inspekciju.

2. Signali kvalitete—Automatsko mjerenje

Ručno pregledavanje tisuća razgovora je nemoguće. Suci su evaluatori temeljeni na LLM-u koje konfiguriraš jednom—s uputama, modelom i formatom izlaza—a zatim ih primjenjuješ na razgovore ili snimke skupova podataka kako bi dobio oznaku ili ocjenu.

3. Iteracijske petlje—Kontinuirano poboljšanje

Skupovi podataka prikupljaju testne slučajeve, često izvučene iz stvarnih tragova, a izvanmrežne evaluacije mjere verziju tvoje aplikacije—model, prompt, parametre—protiv njih prije implementacije. Uspoređuješ verzije, zadržavaš najbolju i ponavljaš proces.

Četiri komponente

Komponenta Uloga Analogija
Tragovi i Explorer Prikupljanje, pretraživanje i inspekcija aktivnosti APM za AI
Suci Automatska evaluacija kvalitete Neumorni recenzent
Skupovi podataka Pohrana testnih slučajeva Suite za regresijsko testiranje
Evaluacije Mjerenje verzije protiv skupa podataka CI za kvalitetu AI-a

Preduvjeti i status

Imaj na umu tri točke prije nego što započneš:

  • Status: Mistralova opservabilnost je u privatnoj pretpreglednoj fazi (Private Preview), a njezina integracija u SDK brzo se mijenja. Mistral preporučuje korištenje najnovije verzije SDK-a.
  • Slanje tragova zahtijeva samo valjani API ključ. Praćenje je prema zadanim postavkama onemogućeno i mora se omogućiti po izvoru (obrađeno u sljedećoj lekciji).
  • Čitanje tragova u Studiju zahtijeva Enterprise organizaciju i odgovarajuću ulogu (Org Admin, Workspace Admin ili Observability Viewer). Izvanmrežne evaluacije i dodavanje raspona u skup podataka također su ograničeni na Enterprise organizacije. Tragovi se čuvaju 30 dana.

Ako tvoja organizacija još nema pristup, ovaj odjeljak ti je i dalje vrijedan vremena: koncepti—praćenje, suđenje, izrada testnih skupova i evaluacija prije implementacije—primjenjivi su na bilo koji OpenTelemetry alat.

Tipičan radni tijek

Komponente tvore kontinuiranu petlju:

  1. Prati i istražuj—Instrumentiraj svoju aplikaciju, zatim koristi Explorer za uočavanje problematičnih tragova (pogreške, sporost, upitni odgovori)
  2. Sudi—Izradi suca koji formalizira relevantni kriterij kvalitete
  3. Izgradi skup podataka—Pretvori stvarne raspone u testne slučajeve
  4. Evaluiraj—Izmjeri trenutnu verziju, a zatim svaku varijantu, protiv ovog skupa podataka

Svaki ciklus približava te pouzdanijem i bolje kalibriranom sustavu.

Ključne točke

  • Opservabilnost LLM-a otkriva kvarove koje standardno praćenje propušta: loše odgovore
  • OpenTelemetry tragovi (i njihov Explorer), suci, skupovi podataka i izvanmrežne evaluacije čine petlju poboljšanja
  • Mistralova opservabilnost je u privatnoj pretpreglednoj fazi; slanje tragova zahtijeva samo API ključ, dok čitanje tragova i pokretanje izvanmrežnih evaluacija zahtijevaju Enterprise organizaciju
  • Tragovi se čuvaju 30 dana