Introduzione all'osservabilità: Tracce, Giudici e Valutazioni
In questa pagina
Riscritto il 2 novembre 2026 sulla base della documentazione Observability di Mistral e dell’SDK
mistralai3.7.0: l’osservabilità si basa ora sulle tracce OpenTelemetry esplorate in Studio, sui giudici LLM e sulle valutazioni offline (mistralai-evaluations). Le sezioni “Campaigns” e l’APIchat_completion_eventsdelle lezioni precedenti non esistono più. Fonti: Distributed tracing · Offline evaluations.
Perché l’osservabilità è essenziale
Le tue dashboard standard—latenza, tassi di errore, disponibilità—possono rimanere verdi mentre un assistente fornisce risposte irrilevanti, inventa procedure o cambia tono dopo un aggiornamento del prompt. Un LLM in produzione raramente fallisce lanciando un’eccezione; fallisce fornendo una risposta sbagliata con sicurezza. L’osservabilità degli LLM rende questi fallimenti visibili, misurabili e correggibili.
I tre pilastri dell’osservabilità
1. Visibilità: vedi cosa sta succedendo
Ogni richiesta dalla tua applicazione diventa una traccia: un albero di span che rappresenta ogni passo dell’esecuzione—chiamata al modello, chiamata a uno strumento, passo del flusso di lavoro—insieme al suo input, output, durata, conteggio dei token e stato. Queste tracce seguono lo standard OpenTelemetry e l’Explorer di Studio ti permette di cercarle e ispezionarle.
2. Segnali di qualità: misura automaticamente
Rivedere manualmente migliaia di conversazioni è impossibile. I giudici sono valutatori basati su LLM che configuri una volta—con istruzioni, un modello e un formato di output—e applichi poi alle conversazioni o alle registrazioni dei dataset per ottenere un’etichetta o un punteggio.
3. Cicli di iterazione: migliora continuamente
I dataset raccolgono casi di test, spesso estratti da tracce reali, e le valutazioni offline misurano una versione della tua applicazione—modello, prompt, parametri—rispetto ad essi prima del deployment. Confronti le versioni, mantieni la migliore e ripeti.
I quattro componenti
| Componente | Ruolo | Analogia |
|---|---|---|
| Tracce ed Explorer | Raccogliere, cercare e ispezionare l'attività | Un APM per l'IA |
| Giudici | Valutare la qualità automaticamente | Un revisore instancabile |
| Dataset | Archiviare casi di test | Una suite di test di regressione |
| Valutazioni | Misurare una versione rispetto a un dataset | CI per la qualità dell'IA |
Prerequisiti e stato
Tieni a mente tre punti prima di iniziare:
- Stato: l’osservabilità di Mistral è in Private Preview e la sua integrazione SDK cambia rapidamente. Mistral consiglia di utilizzare l’ultima versione dell’SDK.
- Invio delle tracce: richiede solo una chiave API valida. La tracciatura è disabilitata di default e deve essere abilitata per ogni sorgente (trattato nella prossima lezione).
- Lettura delle tracce in Studio richiede un’organizzazione Enterprise e un ruolo appropriato (Org Admin, Workspace Admin o Observability Viewer). Anche le valutazioni offline e l’aggiunta di span a un dataset sono limitati alle organizzazioni Enterprise. Le tracce vengono conservate per 30 giorni.
Se la tua organizzazione non ha ancora accesso, questa sezione merita comunque il tuo tempo: i concetti—tracciatura, giudizio, costruzione di set di test e valutazione prima del deployment—si applicano a qualsiasi strumentazione OpenTelemetry.
Il flusso di lavoro tipico
I componenti formano un ciclo continuo:
- Traccia ed esplora: strumentalizza la tua applicazione, poi usa l’Explorer per individuare tracce problematiche (errori, lentezza, risposte discutibili)
- Giudica: crea un giudice che formalizzi il criterio di qualità rilevante
- Costruisci un dataset: trasforma span reali in casi di test
- Valuta: misura la versione corrente, poi ogni variante, rispetto a questo dataset
Ogni ciclo ti avvicina a un sistema più affidabile e meglio calibrato.
Punti chiave
- L’osservabilità degli LLM espone i fallimenti che il monitoraggio standard non rileva: risposte errate
- Le tracce OpenTelemetry (e il loro Explorer), i giudici, i dataset e le valutazioni offline formano il ciclo di miglioramento
- L’osservabilità di Mistral è in Private Preview; l’invio delle tracce richiede solo una chiave API, mentre la lettura delle tracce e l’esecuzione di valutazioni offline richiedono un’organizzazione Enterprise
- Le tracce vengono conservate per 30 giorni