Πλήρης ροή εργασίας: ίχνη, κριτές, σύνολα δεδομένων, αξιολογήσεις
Σε αυτήν τη σελίδα
Μάθημα ξαναγραμμένο στις 2 Νοεμβρίου 2026 με βάση την τεκμηρίωση Παρατηρησιμότητας της Mistral και το SDK
mistralai3.7.0: η ροή εργασίας συνδέει πλέον τα ίχνη, τους κριτές, τα σύνολα δεδομένων και τις offline αξιολογήσεις. Η λειτουργία «Campaigns» και οι μέθοδοιchat_completion_events.search,campaigns.*καιimport_from_explorerτης προηγούμενης έκδοσης δεν υπάρχουν πλέον. Πηγές: Εξερεύνηση ιχνών · Offline αξιολογήσεις.
Η πλήρης ροή εργασίας παρατηρησιμότητας
Έχετε πλέον κατακτήσει κάθε στοιχείο της στοίβας παρατηρησιμότητας της Mistral. Αυτό το τελικό μάθημα συναρμολογεί τα κομμάτια σε μια πλήρη ροή εργασίας που μπορείτε να αναπαράγετε και να προσαρμόζετε στο περιβάλλον παραγωγής σας.
Ιχνηλάτηση και εξερεύνηση
Ενεργοποιήστε την τηλεμετρία και στη συνέχεια φιλτράρετε τα ίχνη των τελευταίων 7 ημερών στον Explorer: σφάλματα, καθυστερήσεις, ύποπτες απαντήσεις. Σημειώστε την έκφραση αναζήτησης.
Κριτής
Τυποποιήστε το κρίσιμο κριτήριο ποιότητας σε έναν κριτή (ταξινόμηση ή παλινδρόμηση), επικυρωμένο σε 10 έως 20 γνωστές περιπτώσεις.
Δημιουργία συνόλου δεδομένων
Μετατρέψτε τα προβληματικά spans σε εγγραφές, με την αναμενόμενη έξοδο να διορθώνεται χειροκίνητα.
Αξιολόγηση
Μετρήστε την τρέχουσα έκδοση και στη συνέχεια κάθε παραλλαγή έναντι αυτού του συνόλου δεδομένων, με στόχους PASS/FAIL.
Επανάληψη
Αναπτύξτε την επικρατούσα παραλλαγή, διατηρήστε το σύνολο δεδομένων ως δικλείδα ασφαλείας κατά της υποβάθμισης και επαναλάβετε.
Υλοποίηση σε Python
Το παρακάτω σενάριο αυτοματοποιεί τα βήματα 1, 3 και 4· ο κριτής για το βήμα 2 δημιουργείται μία φορά, όπως στο Μάθημα 13. Συνυπάρχουν δύο clients: ο client του SDK mistralai για ίχνη και σύνολα δεδομένων, και ο client mistralai-evaluations για την αξιολόγηση.
import asyncio
import os
from datetime import datetime, timedelta, timezone
from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations
key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)
# 1. Εντοπισμός αποτυχημένων ιχνών από την εβδομάδα
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
from_=now - timedelta(days=7),
to=now,
search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
print(trace.trace_id, trace.root_span_name)
# 3. Προσθήκη χειροκίνητα ελεγμένων και διορθωμένων περιπτώσεων στο σύνολο δεδομένων
corrected_cases = [
{"ticket": "Payment refused even though my card is valid.", "category": "billing"},
{"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
name="Support incidents — week 44",
description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)
# 4. Αξιολόγηση της υποψήφιας έκδοσης (εργασία και ακρίβεια: δείτε Μάθημα 14)
async def main():
run = await evaluations.evaluation.run(
project=Project(name="Ticket sorting"),
evaluation=Evaluation(name="Week 44 non-regression"),
system=System(name="medium-prompt-v2", params={
"model": "mistral-medium-latest",
"system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
}),
dataset=Dataset(id=dataset.id),
task=task,
evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
)
run.show(level="records")
asyncio.run(main())
Εκτελώντας το εβδομαδιαία, αυτό το σενάριο εμπλουτίζει το σύνολο δεδομένων μη υποβάθμισης με πραγματικά περιστατικά, και κάθε υποψήφια έκδοση πρέπει να πληροί τους στόχους της σε αυτό το σύνολο δεδομένων πριν την ανάπτυξη.
Σύνοψη μαθήματος
Αυτό το μάθημα σας οδήγησε μέσω τεσσάρων βασικών τομέων για την παραγωγή AI με τη Mistral:
Συμπερασματοποίηση Παρτίδας (Μαθήματα 1-4)
Γνωρίζετε πώς να επεξεργάζεστε εκατομμύρια αιτήματα με μειωμένο κόστος, χρησιμοποιώντας μορφή JSONL, ομαδοποίηση αρχείων και inline ομαδοποίηση.
Προβλεπόμενες Έξοδοι (Μαθήματα 5-7)
Γνωρίζετε πώς να μειώσετε τον λανθάνοντα χρόνο δημιουργίας παρέχοντας μια πρόβλεψη εξόδου, ιδιαίτερα για κώδικα και επεξεργασία κειμένου.
Παραπομπές και Αναφορές (Μαθήματα 8-10)
Γνωρίζετε πώς να αγκυρώνετε τις απαντήσεις του LLM σας σε επαληθευμένες πηγές, να αναλύετε παραπομπές και να χτίζετε αξιόπιστες ροές εργασίας RAG.
Παρατηρησιμότητα (Μαθήματα 11-16)
Γνωρίζετε πώς να ιχνηλατείτε την εφαρμογή σας με το OpenTelemetry, να εξερευνάτε ίχνη παραγωγής, να αυτοματοποιείτε την αξιολόγηση ποιότητας με κριτές, να χτίζετε σύνολα δεδομένων και να μετράτε κάθε έκδοση μέσω offline αξιολογήσεων.
Προτεινόμενα επόμενα βήματα
Ο καλύτερος τρόπος για να εδραιώσετε αυτές τις δεξιότητες είναι να τις εφαρμόσετε με τη σειρά που ωφελεί περισσότερο το περιβάλλον παραγωγής σας. Ξεκινήστε αναπτύσσοντας μια ροή εργασίας παρτίδας σε μια συγκεκριμένη περίπτωση χρήσης στον οργανισμό σας—μια μηνιαία ταξινόμηση, ένας εμπλουτισμός καταλόγου—καθώς είναι το ταχύτερο κέρδος για επίδειξη. Στη συνέχεια, ενσωματώστε τις Προβλεπόμενες Εξόδους όπου τα εργαλεία σας επεξεργάζονται υπάρχοντα κώδικα ή έγγραφα: το κέρδος σε λανθάνοντα χρόνο είναι μετρήσιμο μέσα σε ημέρες. Προσθέστε παραπομπές στο σύστημα RAG σας μόλις οι χρήστες βασίζονται στις απαντήσεις του για λήψη αποφάσεων. Τέλος, η παρατηρησιμότητα ξεκινά με την αποστολή ιχνών, κάτι που είναι εφικτό με ένα απλό κλειδί API· ο Explorer και οι offline αξιολογήσεις απαιτούν έναν οργανισμό Enterprise. Είναι το επίπεδο Enterprise που θα μετατρέψει τις τρεις πρώτες πρωτοβουλίες σε έναν βρόχο συνεχούς βελτίωσης και όχι σε μεμονωμένες αναπτύξεις.
Βασικά σημεία
- Η ροή εργασίας ακολουθεί τον βρόχο: ιχνηλάτηση και εξερεύνηση, κριτής, δημιουργία συνόλου δεδομένων, αξιολόγηση, επανάληψη
- Κάθε περιστατικό παραγωγής μπορεί να γίνει περίπτωση δοκιμής, και κάθε υποψήφια έκδοση πρέπει να πληροί τους στόχους της
- Αυτοματοποιήστε τον βρόχο με το SDK (
traces.search,datasets.create_record,evaluation.run) και εκτελέστε τον σε τακτά διαστήματα - Οι τέσσερις τομείς αυτού του μαθήματος (παρτίδα, προβλεπόμενες έξοδοι, παραπομπές, παρατηρησιμότητα) αλληλοσυμπληρώνονται για μια robust παραγωγή AI
Δοκιμάστε τις γνώσεις σας
Παρτίδα, λανθάνων χρόνος, παραπομπές, παρατηρησιμότητα: οι τέσσερις πυλώνες της παραγωγής.
1. Πότε είναι η σωστή επιλογή η Συμπερασματοποίηση Παρτίδας;
Απάντηση: Για μεγάλους όγκους χωρίς περιορισμούς πραγματικού χρόνου: ασύγχρονες εργασίες JSONL (ή inline έως 10K αιτήματα) με μειωμένο κόστος—ταξινόμηση, εμπλουτισμός, μαζική δημιουργία.
2. Τι είναι οι Προβλεπόμενες Έξοδοι;
Απάντηση: Μια επιτάχυνση όταν η απάντηση είναι σε μεγάλο βαθμό προβλέψιμη (επεξεργασία υπάρχοντος κειμένου, πρότυπα): παρέχετε την πρόβλεψη και το μοντέλο «πληρώνει» μόνο για τις διαφορές—ο λανθάνων χρόνος μειώνεται σημαντικά.
3. Τι επιτρέπουν οι παραπομπές με το Αντικείμενο Αναφοράς;
Απάντηση: Σύνδεση κάθε δήλωσης στην απάντηση με τις πηγές της σε ένα RAG: επαληθεύσιμες απαντήσεις, μειωμένες παραισθήσεις—η εμπιστοσύνη γίνεται ιδιότητα του προϊόντος.
4. Τι κάνετε στον Explorer;
Απάντηση: Αναζήτηση και επιθεώρηση ιχνών παραγωγής—χρησιμοποιώντας μια γλώσσα εκφράσεων στο service_name, status_code, duration_ns ή attributes span—για να βρείτε προβληματικά αιτήματα και στη συνέχεια να τα μετατρέψετε σε περιπτώσεις δοκιμής: η πρώτη ύλη για κάθε βελτίωση.
5. Πώς συνεργάζονται οι κριτές, τα σύνολα δεδομένων και οι αξιολογήσεις;
Απάντηση: Οι κριτές αξιολογούν αυτόματα (LLM-as-judge), τα σύνολα δεδομένων συσσωρεύουν περιπτώσεις δοκιμής από την παραγωγή, και οι offline αξιολογήσεις μετρούν κάθε έκδοση έναντι αυτών των συνόλων δεδομένων με στόχους PASS/FAIL—ο βρόχος ίχνος → κριτής → δημιουργία → αξιολόγηση.
Η τελική ροή εργασίας του μαθήματος συνδέει και τα τέσσερα: παραγωγή οικονομικά, γρήγορη απόκριση, τεκμηρίωση απαντήσεων, παρατήρηση—ώριμη παραγωγή σε μια ενιαία ροή εργασίας.