Uvod u opservabilnost: tragovi, suci i evaluacije
Na ovoj stranici
Ponovno napisano 2. studenog 2026. na temelju Mistralove dokumentacije o opservabilnosti i SDK-a
mistralaiverzije 3.7.0: opservabilnost se sada oslanja na OpenTelemetry tragove istražene u Studiju, LLM suce i izvanmrežne evaluacije (mistralai-evaluations). „Kampanje“ i APIchat_completion_eventsiz prethodnih lekcija više ne postoje. Izvori: Distribuirano praćenje · Izvanmrežne evaluacije.
Zašto je opservabilnost ključna
Tvoje standardne nadzorne ploče—latencija, stope pogrešaka, dostupnost—mogu ostati zelene dok asistent daje nebitne odgovore, izmišlja postupke ili mijenja ton nakon ažuriranja prompta. LLM u proizvodnji rijetko otkaže s iznimkom; otkaže tako što s pouzdanjem isporuči pogrešan odgovor. Opservabilnost LLM-a čini te kvarove vidljivima, mjerljivima i popravljivima.
Tri stupa opservabilnosti
1. Vidljivost—Vidi što se događa
Svaki zahtjev iz tvoje aplikacije postaje trag: stablo raspona (spans) koji predstavljaju svaki korak izvršavanja—poziv modela, poziv alata, korak radnog tijeka—zajedno s ulazom, izlazom, trajanjem, brojem tokena i statusom. Ti tragovi slijede OpenTelemetry standard, a Studijev Explorer omogućuje ti njihovo pretraživanje i inspekciju.
2. Signali kvalitete—Automatsko mjerenje
Ručno pregledavanje tisuća razgovora je nemoguće. Suci su evaluatori temeljeni na LLM-u koje konfiguriraš jednom—s uputama, modelom i formatom izlaza—a zatim ih primjenjuješ na razgovore ili snimke skupova podataka kako bi dobio oznaku ili ocjenu.
3. Iteracijske petlje—Kontinuirano poboljšanje
Skupovi podataka prikupljaju testne slučajeve, često izvučene iz stvarnih tragova, a izvanmrežne evaluacije mjere verziju tvoje aplikacije—model, prompt, parametre—protiv njih prije implementacije. Uspoređuješ verzije, zadržavaš najbolju i ponavljaš proces.
Četiri komponente
| Komponenta | Uloga | Analogija |
|---|---|---|
| Tragovi i Explorer | Prikupljanje, pretraživanje i inspekcija aktivnosti | APM za AI |
| Suci | Automatska evaluacija kvalitete | Neumorni recenzent |
| Skupovi podataka | Pohrana testnih slučajeva | Suite za regresijsko testiranje |
| Evaluacije | Mjerenje verzije protiv skupa podataka | CI za kvalitetu AI-a |
Preduvjeti i status
Imaj na umu tri točke prije nego što započneš:
- Status: Mistralova opservabilnost je u privatnoj pretpreglednoj fazi (Private Preview), a njezina integracija u SDK brzo se mijenja. Mistral preporučuje korištenje najnovije verzije SDK-a.
- Slanje tragova zahtijeva samo valjani API ključ. Praćenje je prema zadanim postavkama onemogućeno i mora se omogućiti po izvoru (obrađeno u sljedećoj lekciji).
- Čitanje tragova u Studiju zahtijeva Enterprise organizaciju i odgovarajuću ulogu (Org Admin, Workspace Admin ili Observability Viewer). Izvanmrežne evaluacije i dodavanje raspona u skup podataka također su ograničeni na Enterprise organizacije. Tragovi se čuvaju 30 dana.
Ako tvoja organizacija još nema pristup, ovaj odjeljak ti je i dalje vrijedan vremena: koncepti—praćenje, suđenje, izrada testnih skupova i evaluacija prije implementacije—primjenjivi su na bilo koji OpenTelemetry alat.
Tipičan radni tijek
Komponente tvore kontinuiranu petlju:
- Prati i istražuj—Instrumentiraj svoju aplikaciju, zatim koristi Explorer za uočavanje problematičnih tragova (pogreške, sporost, upitni odgovori)
- Sudi—Izradi suca koji formalizira relevantni kriterij kvalitete
- Izgradi skup podataka—Pretvori stvarne raspone u testne slučajeve
- Evaluiraj—Izmjeri trenutnu verziju, a zatim svaku varijantu, protiv ovog skupa podataka
Svaki ciklus približava te pouzdanijem i bolje kalibriranom sustavu.
Ključne točke
- Opservabilnost LLM-a otkriva kvarove koje standardno praćenje propušta: loše odgovore
- OpenTelemetry tragovi (i njihov Explorer), suci, skupovi podataka i izvanmrežne evaluacije čine petlju poboljšanja
- Mistralova opservabilnost je u privatnoj pretpreglednoj fazi; slanje tragova zahtijeva samo API ključ, dok čitanje tragova i pokretanje izvanmrežnih evaluacija zahtijevaju Enterprise organizaciju
- Tragovi se čuvaju 30 dana