Vai al contenuto principale
Italiano— Scegli una lingua
Menu

Pipeline end-to-end: tracce, giudici, dataset, valutazioni

Lezione 16 di 16 Aggiornata il 2 novembre 2026 Avanzato
In questa pagina
  1. Il flusso di lavoro di osservabilità end-to-end
  2. Implementazione in Python
  3. Riepilogo del corso
  4. Prossimi passi consigliati
  5. Punti chiave
  6. Metti alla prova le tue conoscenze

Lezione riscritta il 2 novembre 2026 sulla base della documentazione Observability di Mistral e dell’SDK mistralai 3.7.0: la pipeline ora concatena tracce, giudici, dataset e valutazioni offline. La funzionalità “Campaigns” e i metodi chat_completion_events.search, campaigns.* e import_from_explorer della versione precedente non esistono più. Fonti: Esplora le tracce · Valutazioni offline.

Il flusso di lavoro di osservabilità end-to-end

Ora hai padroneggiato ogni componente dello stack di osservabilità di Mistral. Questa lezione finale assembla i pezzi in una pipeline completa che puoi riprodurre e adattare al tuo contesto di produzione.

1

Traccia ed esplora

Abilita la telemetria, quindi filtra le tracce degli ultimi 7 giorni nell'Explorer: errori, lentezza, risposte sospette. Prendi nota dell'espressione di ricerca.

2

Giudica

Formalizza il criterio di qualità in questione in un giudice (classificazione o regressione), convalidato su 10-20 casi noti.

3

Costruisci un dataset

Trasforma gli span problematici in record, con l'output atteso corretto manualmente.

4

Valuta

Misura la versione corrente e poi ogni variante rispetto a questo dataset, con obiettivi PASS/FAIL.

5

Itera

Distribuisci la variante vincente, mantieni il dataset come guardrail anti-regressione e ripeti.

Implementazione in Python

Lo script seguente automatizza i passaggi 1, 3 e 4; il giudice per il passaggio 2 viene creato una volta sola, come nella Lezione 13. Coesistono due client: il client SDK mistralai per tracce e dataset, e il client mistralai-evaluations per la valutazione.

import asyncio
import os
from datetime import datetime, timedelta, timezone

from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations

key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)

# 1. Identifica le tracce fallite della settimana
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
    from_=now - timedelta(days=7),
    to=now,
    search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
    print(trace.trace_id, trace.root_span_name)

# 3. Aggiungi casi revisionati e corretti manualmente al dataset
corrected_cases = [
    {"ticket": "Payment refused even though my card is valid.", "category": "billing"},
    {"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
    name="Support incidents — week 44",
    description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
    api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)


# 4. Valuta la versione candidata (task e accuratezza: vedi Lezione 14)
async def main():
    run = await evaluations.evaluation.run(
        project=Project(name="Ticket sorting"),
        evaluation=Evaluation(name="Week 44 non-regression"),
        system=System(name="medium-prompt-v2", params={
            "model": "mistral-medium-latest",
            "system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
        }),
        dataset=Dataset(id=dataset.id),
        task=task,
        evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
    )
    run.show(level="records")


asyncio.run(main())

Eseguito settimanalmente, questo script arricchisce il dataset anti-regressione con incidenti reali; ogni versione candidata deve raggiungere i suoi obiettivi su questo dataset prima della distribuzione.

Riepilogo del corso

Questo corso ti ha guidato attraverso quattro domini essenziali per la produzione AI con Mistral:

Inferenza Batch (Lezioni 1-4)

Sai come elaborare milioni di richieste a costi ridotti, utilizzando il formato JSONL, il batching di file e il batching inline.

Output Predetti (Lezioni 5-7)

Sai come ridurre la latenza di generazione fornendo una previsione dell’output, in particolare per il codice e l’editing di testo.

Citazioni e Riferimenti (Lezioni 8-10)

Sai come ancorare le risposte del tuo LLM a fonti verificate, analizzare le citazioni e costruire pipeline RAG affidabili.

Osservabilità (Lezioni 11-16)

Sai come tracciare la tua applicazione con OpenTelemetry, esplorare le tracce di produzione, automatizzare la valutazione della qualità con i giudici, costruire dataset e misurare ogni versione tramite valutazioni offline.

Prossimi passi consigliati

Il modo migliore per consolidare queste competenze è applicarle nell’ordine che porta maggior beneficio al tuo ambiente di produzione. Inizia distribuendo una pipeline batch su un caso d’uso concreto nella tua organizzazione—una classificazione mensile, un arricchimento del catalogo—perché è il guadagno più rapido da dimostrare. Successivamente, integra gli Output Predetti ovunque i tuoi strumenti modifichino codice o documenti esistenti: il guadagno in latenza è misurabile in pochi giorni. Aggiungi le citazioni al tuo sistema RAG non appena gli utenti si basano sulle sue risposte per prendere decisioni. Infine, l’osservabilità inizia con l’invio delle tracce, possibile con una semplice chiave API; l’Explorer e le valutazioni offline richiedono un’organizzazione Enterprise. È il livello Enterprise che trasformerà le prime tre iniziative in un ciclo di miglioramento continuo piuttosto che in distribuzioni una tantum.

Punti chiave

  • La pipeline segue il ciclo: traccia ed esplora, giudica, costruisci un dataset, valuta, itera
  • Ogni incidente di produzione può diventare un caso di test e ogni versione candidata deve raggiungere i suoi obiettivi
  • Automatizza il ciclo con l’SDK (traces.search, datasets.create_record, evaluation.run) ed eseguilo a intervalli regolari
  • I quattro domini di questo corso (batch, output predetti, citazioni, osservabilità) si completano a vicenda per una produzione AI robusta

Metti alla prova le tue conoscenze

Batch, latenza, citazioni, osservabilità: i quattro pilastri della produzione.

1. Quando l'Inferenza Batch è la scelta giusta?

Risposta: Per volumi elevati senza vincoli di tempo reale: job JSONL asincroni (o inline fino a 10K richieste) a costi ridotti—classificazione, arricchimento, generazione di massa.

2. Cosa sono gli Output Predetti?

Risposta: Un’accelerazione quando la risposta è largamente prevedibile (editing di testo esistente, template): fornisci la previsione e il modello “paga” solo per le differenze—la latenza crolla significativamente.

3. Cosa abilitano le citazioni con Reference Object?

Risposta: Collegare ogni affermazione nella risposta alle sue fonti in un RAG: risposte verificabili, allucinazioni ridotte—la fiducia diventa una proprietà del prodotto.

4. Cosa fai nell'Explorer?

Risposta: Cerchi e ispezioni le tracce di produzione—usando un linguaggio di espressione su service_name, status_code, duration_ns o attributi dello span—per trovare richieste problematiche, quindi le trasformi in casi di test: la materia prima per qualsiasi miglioramento.

5. Come lavorano insieme giudici, dataset e valutazioni?

Risposta: I giudici valutano automaticamente (LLM-as-judge), i dataset accumulano casi di test tratti dalla produzione e le valutazioni offline misurano ogni versione rispetto a questi dataset con obiettivi PASS/FAIL—il ciclo traccia → giudica → costruisci → valuta.

La pipeline finale del corso concatena tutti e quattro gli elementi: produci in modo economico, rispondi velocemente, fonti le risposte, osserva—produzione matura in un unico flusso di lavoro.