Pipeline end-to-end: tracce, giudici, dataset, valutazioni
In questa pagina
Lezione riscritta il 2 novembre 2026 sulla base della documentazione Observability di Mistral e dell’SDK
mistralai3.7.0: la pipeline ora concatena tracce, giudici, dataset e valutazioni offline. La funzionalità “Campaigns” e i metodichat_completion_events.search,campaigns.*eimport_from_explorerdella versione precedente non esistono più. Fonti: Esplora le tracce · Valutazioni offline.
Il flusso di lavoro di osservabilità end-to-end
Ora hai padroneggiato ogni componente dello stack di osservabilità di Mistral. Questa lezione finale assembla i pezzi in una pipeline completa che puoi riprodurre e adattare al tuo contesto di produzione.
Traccia ed esplora
Abilita la telemetria, quindi filtra le tracce degli ultimi 7 giorni nell'Explorer: errori, lentezza, risposte sospette. Prendi nota dell'espressione di ricerca.
Giudica
Formalizza il criterio di qualità in questione in un giudice (classificazione o regressione), convalidato su 10-20 casi noti.
Costruisci un dataset
Trasforma gli span problematici in record, con l'output atteso corretto manualmente.
Valuta
Misura la versione corrente e poi ogni variante rispetto a questo dataset, con obiettivi PASS/FAIL.
Itera
Distribuisci la variante vincente, mantieni il dataset come guardrail anti-regressione e ripeti.
Implementazione in Python
Lo script seguente automatizza i passaggi 1, 3 e 4; il giudice per il passaggio 2 viene creato una volta sola, come nella Lezione 13. Coesistono due client: il client SDK mistralai per tracce e dataset, e il client mistralai-evaluations per la valutazione.
import asyncio
import os
from datetime import datetime, timedelta, timezone
from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations
key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)
# 1. Identifica le tracce fallite della settimana
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
from_=now - timedelta(days=7),
to=now,
search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
print(trace.trace_id, trace.root_span_name)
# 3. Aggiungi casi revisionati e corretti manualmente al dataset
corrected_cases = [
{"ticket": "Payment refused even though my card is valid.", "category": "billing"},
{"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
name="Support incidents — week 44",
description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)
# 4. Valuta la versione candidata (task e accuratezza: vedi Lezione 14)
async def main():
run = await evaluations.evaluation.run(
project=Project(name="Ticket sorting"),
evaluation=Evaluation(name="Week 44 non-regression"),
system=System(name="medium-prompt-v2", params={
"model": "mistral-medium-latest",
"system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
}),
dataset=Dataset(id=dataset.id),
task=task,
evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
)
run.show(level="records")
asyncio.run(main())
Eseguito settimanalmente, questo script arricchisce il dataset anti-regressione con incidenti reali; ogni versione candidata deve raggiungere i suoi obiettivi su questo dataset prima della distribuzione.
Riepilogo del corso
Questo corso ti ha guidato attraverso quattro domini essenziali per la produzione AI con Mistral:
Inferenza Batch (Lezioni 1-4)
Sai come elaborare milioni di richieste a costi ridotti, utilizzando il formato JSONL, il batching di file e il batching inline.
Output Predetti (Lezioni 5-7)
Sai come ridurre la latenza di generazione fornendo una previsione dell’output, in particolare per il codice e l’editing di testo.
Citazioni e Riferimenti (Lezioni 8-10)
Sai come ancorare le risposte del tuo LLM a fonti verificate, analizzare le citazioni e costruire pipeline RAG affidabili.
Osservabilità (Lezioni 11-16)
Sai come tracciare la tua applicazione con OpenTelemetry, esplorare le tracce di produzione, automatizzare la valutazione della qualità con i giudici, costruire dataset e misurare ogni versione tramite valutazioni offline.
Prossimi passi consigliati
Il modo migliore per consolidare queste competenze è applicarle nell’ordine che porta maggior beneficio al tuo ambiente di produzione. Inizia distribuendo una pipeline batch su un caso d’uso concreto nella tua organizzazione—una classificazione mensile, un arricchimento del catalogo—perché è il guadagno più rapido da dimostrare. Successivamente, integra gli Output Predetti ovunque i tuoi strumenti modifichino codice o documenti esistenti: il guadagno in latenza è misurabile in pochi giorni. Aggiungi le citazioni al tuo sistema RAG non appena gli utenti si basano sulle sue risposte per prendere decisioni. Infine, l’osservabilità inizia con l’invio delle tracce, possibile con una semplice chiave API; l’Explorer e le valutazioni offline richiedono un’organizzazione Enterprise. È il livello Enterprise che trasformerà le prime tre iniziative in un ciclo di miglioramento continuo piuttosto che in distribuzioni una tantum.
Punti chiave
- La pipeline segue il ciclo: traccia ed esplora, giudica, costruisci un dataset, valuta, itera
- Ogni incidente di produzione può diventare un caso di test e ogni versione candidata deve raggiungere i suoi obiettivi
- Automatizza il ciclo con l’SDK (
traces.search,datasets.create_record,evaluation.run) ed eseguilo a intervalli regolari - I quattro domini di questo corso (batch, output predetti, citazioni, osservabilità) si completano a vicenda per una produzione AI robusta
Metti alla prova le tue conoscenze
Batch, latenza, citazioni, osservabilità: i quattro pilastri della produzione.
1. Quando l'Inferenza Batch è la scelta giusta?
Risposta: Per volumi elevati senza vincoli di tempo reale: job JSONL asincroni (o inline fino a 10K richieste) a costi ridotti—classificazione, arricchimento, generazione di massa.
2. Cosa sono gli Output Predetti?
Risposta: Un’accelerazione quando la risposta è largamente prevedibile (editing di testo esistente, template): fornisci la previsione e il modello “paga” solo per le differenze—la latenza crolla significativamente.
3. Cosa abilitano le citazioni con Reference Object?
Risposta: Collegare ogni affermazione nella risposta alle sue fonti in un RAG: risposte verificabili, allucinazioni ridotte—la fiducia diventa una proprietà del prodotto.
4. Cosa fai nell'Explorer?
Risposta: Cerchi e ispezioni le tracce di produzione—usando un linguaggio di espressione su service_name, status_code, duration_ns o attributi dello span—per trovare richieste problematiche, quindi le trasformi in casi di test: la materia prima per qualsiasi miglioramento.
5. Come lavorano insieme giudici, dataset e valutazioni?
Risposta: I giudici valutano automaticamente (LLM-as-judge), i dataset accumulano casi di test tratti dalla produzione e le valutazioni offline misurano ogni versione rispetto a questi dataset con obiettivi PASS/FAIL—il ciclo traccia → giudica → costruisci → valuta.
La pipeline finale del corso concatena tutti e quattro gli elementi: produci in modo economico, rispondi velocemente, fonti le risposte, osserva—produzione matura in un unico flusso di lavoro.