Salt la conținutul principal
Română— Alege o limbă
Meniu

Introducere în observabilitate: urme, evaluatori și evaluări

Lecția 11 din 16 Actualizată 2 noiembrie 2026 Avansat
Pe această pagină
  1. De ce este esențială observabilitatea
  2. Cei trei stâlpi ai observabilității
  3. Cele patru componente
  4. Prerechizite și statut
  5. Fluxul de lucru tipic
  6. Puncte cheie

Rescris la 2 noiembrie 2026 pe baza documentației Observability de la Mistral și a SDK-ului mistralai 3.7.0: observabilitatea se bazează acum pe urmele OpenTelemetry explorate în Studio, pe evaluatori LLM și pe evaluări offline (mistralai-evaluations»). API-urile „Campaigns“ și chat_completion_events` din lecțiile anterioare nu mai există. Surse: Distributed tracing · Offline evaluations.

De ce este esențială observabilitatea

Tablourile de bord standard – latență, rate de eroare, disponibilitate – pot rămâne verzi în timp ce un asistent oferă răspunsuri irelevante, inventează proceduri sau își schimbă tonul după o actualizare a promptului. Un LLM în producție rareori eșuează printr-o excepție; eșuează oferind un răspuns greșit cu încredere. Observabilitatea LLM face aceste eșecuri vizibile, măsurabile și remediable.

Cei trei stâlpi ai observabilității

1. Vizibilitate – Vedeți ce se întâmplă

Fiecare cerere din aplicația dumneavoastră devine o urmă: un arbore de segmente care reprezintă fiecare pas al execuției – apelul modelului, apelul unui instrument, pasul fluxului de lucru – împreună cu intrarea, ieșirea, durata, numărul de tokeni și starea acestuia. Aceste urme respectă standardul OpenTelemetry, iar Explorerul din Studio vă permite să le căutați și să le inspectați.

2. Semnale de calitate – Măsurați automat

Revizuirea manuală a mii de conversații este imposibilă. Evaluatorii sunt evaluatori bazați pe LLM pe care îi configurați o singură dată – cu instrucțiuni, un model și un format de ieșire – și pe care îi aplicați apoi conversațiilor sau înregistrărilor din seturile de date pentru a obține o etichetă sau un scor.

3. Bucle de iterație – Îmbunătățiți continuu

Seturile de date reunește cazuri de test, adesea extrase din urme reale, iar evaluările offline măsoară o versiune a aplicației dumneavoastră – model, prompt, parametri – față de acestea înainte de implementare. Comparați versiunile, o păstrați pe cea mai bună și repetați procesul.

Cele patru componente

Componentă Rol Analogie
Urme și Explorer Colectarea, căutarea și inspectarea activității Un APM pentru AI
Evaluatorii Evaluarea automată a calității Un recenzor neobosit
Seturi de date Stocarea cazurilor de test O suită de teste de regresie
Evaluări Măsurarea unei versiuni față de un set de date CI pentru calitatea AI

Prerechizite și statut

Rețineți trei aspecte înainte de a începe:

  • Statut: Observabilitatea Mistral se află în Private Preview, iar integrarea sa SDK se schimbă rapid. Mistral recomandă utilizarea celei mai recente versiuni a SDK.
  • Trimiterea urmelor necesită doar o cheie API validă. Urmărirea este dezactivată implicit și trebuie activată per sursă (acoperit în lecția următoare).
  • Citirea urmelor în Studio necesită o organizație Enterprise și un rol corespunzător (Admin Organizație, Admin Spațiu de lucru sau Vizualizator Observabilitate). Evaluările offline și adăugarea de segmente într-un set de date sunt, de asemenea, limitate la organizațiile Enterprise. Urmele sunt păstrate timp de 30 de zile.

Dacă organizația dumneavoastră nu are încă acces, această secțiune merită totuși atenția: conceptele – urmărirea, evaluarea, construirea seturilor de test și evaluarea înainte de implementare – se aplică oricărui instrumentar OpenTelemetry.

Fluxul de lucru tipic

Componentele formează o buclă continuă:

  1. Urmăriți și explorați – Instrumentați aplicația, apoi folosiți Explorerul pentru a identifica urmele problematice (erori, lentoare, răspunsuri discutabile)
  2. Evaluați – Creați un evaluator care formalizează criteriul de calitate relevant
  3. Construiți un set de date – Transformați segmentele reale în cazuri de test
  4. Evaluați – Măsurați versiunea curentă, apoi fiecare variantă, față de acest set de date

Fiecare ciclu vă aduce mai aproape de un sistem mai fiabil și mai bine calibrat.

Puncte cheie

  • Observabilitatea LLM expune eșecuri pe care monitorizarea standard le ratează: răspunsurile greșite
  • Urmele OpenTelemetry (și Explorerul lor), evaluatorii, seturile de date și evaluările offline formează bucla de îmbunătățire
  • Observabilitatea Mistral se află în Private Preview; trimiterea urmelor necesită doar o cheie API, în timp ce citirea urmelor și rularea evaluărilor offline necesită o organizație Enterprise
  • Urmele sunt păstrate timp de 30 de zile