Vai al contenuto principale
Italiano— Scegli una lingua
Menu

Introduzione all'osservabilità: Tracce, Giudici e Valutazioni

Lezione 11 di 16 Aggiornata il 2 novembre 2026 Avanzato
In questa pagina
  1. Perché l’osservabilità è essenziale
  2. I tre pilastri dell’osservabilità
  3. I quattro componenti
  4. Prerequisiti e stato
  5. Il flusso di lavoro tipico
  6. Punti chiave

Riscritto il 2 novembre 2026 sulla base della documentazione Observability di Mistral e dell’SDK mistralai 3.7.0: l’osservabilità si basa ora sulle tracce OpenTelemetry esplorate in Studio, sui giudici LLM e sulle valutazioni offline (mistralai-evaluations). Le sezioni “Campaigns” e l’API chat_completion_events delle lezioni precedenti non esistono più. Fonti: Distributed tracing · Offline evaluations.

Perché l’osservabilità è essenziale

Le tue dashboard standard—latenza, tassi di errore, disponibilità—possono rimanere verdi mentre un assistente fornisce risposte irrilevanti, inventa procedure o cambia tono dopo un aggiornamento del prompt. Un LLM in produzione raramente fallisce lanciando un’eccezione; fallisce fornendo una risposta sbagliata con sicurezza. L’osservabilità degli LLM rende questi fallimenti visibili, misurabili e correggibili.

I tre pilastri dell’osservabilità

1. Visibilità: vedi cosa sta succedendo

Ogni richiesta dalla tua applicazione diventa una traccia: un albero di span che rappresenta ogni passo dell’esecuzione—chiamata al modello, chiamata a uno strumento, passo del flusso di lavoro—insieme al suo input, output, durata, conteggio dei token e stato. Queste tracce seguono lo standard OpenTelemetry e l’Explorer di Studio ti permette di cercarle e ispezionarle.

2. Segnali di qualità: misura automaticamente

Rivedere manualmente migliaia di conversazioni è impossibile. I giudici sono valutatori basati su LLM che configuri una volta—con istruzioni, un modello e un formato di output—e applichi poi alle conversazioni o alle registrazioni dei dataset per ottenere un’etichetta o un punteggio.

3. Cicli di iterazione: migliora continuamente

I dataset raccolgono casi di test, spesso estratti da tracce reali, e le valutazioni offline misurano una versione della tua applicazione—modello, prompt, parametri—rispetto ad essi prima del deployment. Confronti le versioni, mantieni la migliore e ripeti.

I quattro componenti

Componente Ruolo Analogia
Tracce ed Explorer Raccogliere, cercare e ispezionare l'attività Un APM per l'IA
Giudici Valutare la qualità automaticamente Un revisore instancabile
Dataset Archiviare casi di test Una suite di test di regressione
Valutazioni Misurare una versione rispetto a un dataset CI per la qualità dell'IA

Prerequisiti e stato

Tieni a mente tre punti prima di iniziare:

  • Stato: l’osservabilità di Mistral è in Private Preview e la sua integrazione SDK cambia rapidamente. Mistral consiglia di utilizzare l’ultima versione dell’SDK.
  • Invio delle tracce: richiede solo una chiave API valida. La tracciatura è disabilitata di default e deve essere abilitata per ogni sorgente (trattato nella prossima lezione).
  • Lettura delle tracce in Studio richiede un’organizzazione Enterprise e un ruolo appropriato (Org Admin, Workspace Admin o Observability Viewer). Anche le valutazioni offline e l’aggiunta di span a un dataset sono limitati alle organizzazioni Enterprise. Le tracce vengono conservate per 30 giorni.

Se la tua organizzazione non ha ancora accesso, questa sezione merita comunque il tuo tempo: i concetti—tracciatura, giudizio, costruzione di set di test e valutazione prima del deployment—si applicano a qualsiasi strumentazione OpenTelemetry.

Il flusso di lavoro tipico

I componenti formano un ciclo continuo:

  1. Traccia ed esplora: strumentalizza la tua applicazione, poi usa l’Explorer per individuare tracce problematiche (errori, lentezza, risposte discutibili)
  2. Giudica: crea un giudice che formalizzi il criterio di qualità rilevante
  3. Costruisci un dataset: trasforma span reali in casi di test
  4. Valuta: misura la versione corrente, poi ogni variante, rispetto a questo dataset

Ogni ciclo ti avvicina a un sistema più affidabile e meglio calibrato.

Punti chiave

  • L’osservabilità degli LLM espone i fallimenti che il monitoraggio standard non rileva: risposte errate
  • Le tracce OpenTelemetry (e il loro Explorer), i giudici, i dataset e le valutazioni offline formano il ciclo di miglioramento
  • L’osservabilità di Mistral è in Private Preview; l’invio delle tracce richiede solo una chiave API, mentre la lettura delle tracce e l’esecuzione di valutazioni offline richiedono un’organizzazione Enterprise
  • Le tracce vengono conservate per 30 giorni