Εισαγωγή στην Παρατηρησιμότητα: Ίχνη, Κριτές και Αξιολογήσεις
Σε αυτήν τη σελίδα
Ξαναγράφηκε στις 2 Νοεμβρίου 2026 με βάση την τεκμηρίωση Παρατηρησιμότητας της Mistral και το SDK
mistralai3.7.0: η παρατηρησιμότητα βασίζεται πλέον στα ίχνη OpenTelemetry που εξερευνώνται στο Studio, στους κριτές LLM και στις offline αξιολογήσεις (mistralai-evaluations). Οι «Καμπάνιες» και το APIchat_completion_eventsαπό προηγούμενα μαθήματα δεν υπάρχουν πλέον. Πηγές: Κατανεμημένη ιχνηλασία · Offline αξιολογήσεις.
Γιατί η Παρατηρησιμότητα είναι Απαραίτητη
Οι τυπικοί πίνακες ελέγχου σας—λανθάνουσα, ποσοστά σφαλμάτων, διαθεσιμότητα—μπορεί να παραμένουν πράσινοι ενώ ένας βοηθός δίνει άσχετες απαντήσεις, επινοεί διαδικασίες ή αλλάζει τόνο μετά από μια ενημέρωση prompt. Ένα LLM σε παραγωγή σπάνια αποτυγχάνει με μια εξαίρεση· αποτυγχάνει παρέχοντας μια λανθασμένη απάντηση με αυτοπεποίθηση. Η παρατηρησιμότητα LLM καθιστά αυτές τις αστοχίες ορατές, μετρήσιμες και διορθώσιμες.
Οι Τρεις Πυλώνες της Παρατηρησιμότητας
1. Ορατότητα—Δείτε τι συμβαίνει
Κάθε αίτημα από την εφαρμογή σας γίνεται ένα ίχνος: ένα δέντρο διαστημάτων (spans) που αντιπροσωπεύουν κάθε βήμα εκτέλεσης—κλήση μοντέλου, κλήση εργαλείου, βήμα ροής εργασίας—μαζί με την είσοδο, την έξοδο, τη διάρκεια, τον αριθμό tokens και την κατάστασή του. Αυτά τα ίχνη ακολουθούν το πρότυπο OpenTelemetry και ο Εξερευνητής του Studio σας επιτρέπει να τα αναζητήσετε και να τα επιθεωρήσετε.
2. Σήματα Ποιότητας—Μετρήστε Αυτόματα
Η χειροκίνητη αναθεώρηση χιλιάδων συνομιλιών είναι αδύνατη. Οι Κριτές είναι αξιολογητές βασισμένοι σε LLM που τους διαμορφώνετε μία φορά—με οδηγίες, ένα μοντέλο και μια μορφή εξόδου—και στη συνέχεια τους εφαρμόζετε σε συνομιλίες ή εγγραφές συνόλων δεδομένων για να λάβετε μια ετικέτα ή βαθμολογία.
3. Βρόχοι Επανάληψης—Βελτιωθείτε Συνεχώς
Τα Σύνολα Δεδομένων συγκεντρώνουν περιπτώσεις δοκιμής, συχνά αντλημένες από πραγματικά ίχνη, και οι offline αξιολογήσεις μετρούν μια έκδοση της εφαρμογής σας—μοντέλο, prompt, παράμετροι—έναντι αυτών πριν την ανάπτυξη. Συγκρίνετε εκδόσεις, κρατάτε την καλύτερη και επαναλαμβάνετε.
Τα Τέσσερα Συστατικά
| Συστατικό | Ρόλος | Αναλογία |
|---|---|---|
| Ίχνη και Εξερευνητής | Συλλογή, αναζήτηση και επιθεώρηση δραστηριότητας | Ένα APM για την Τεχνητή Νοημοσύνη |
| Κριτές | Αυτόματη αξιολόγηση ποιότητας | Ένας ακούραστος αναθεωρητής |
| Σύνολα Δεδομένων | Αποθήκευση περιπτώσεων δοκιμής | Μια σουίτα δοκιμών παλινδρόμησης |
| Αξιολογήσεις | Μέτρηση μιας έκδοσης έναντι ενός συνόλου δεδομένων | CI για την ποιότητα της Τεχνητής Νοημοσύνης |
Προαπαιτούμενα και Κατάσταση
Λάβετε υπόψη τρία σημεία πριν ξεκινήσετε:
- Κατάσταση: Η παρατηρησιμότητα της Mistral βρίσκεται σε Ιδιωτική Προεπισκόπηση και η ενσωμάτωσή της στο SDK αλλάζει γρήγορα. Η Mistral συνιστά τη χρήση της τελευταίας έκδοσης του SDK.
- Αποστολή ιχνών απαιτεί μόνο ένα έγκυρο κλειδί API. Η ιχνηλασία είναι απενεργοποιημένη από προεπιλογή και πρέπει να ενεργοποιηθεί ανά πηγή (καλύπτεται στο επόμενο μάθημα).
- Ανάγνωση ιχνών στο Studio απαιτεί έναν οργανισμό Enterprise και έναν κατάλληλο ρόλο (Διαχειριστής Οργανισμού, Διαχειριστής Χώρου Εργασίας ή Προβολέας Παρατηρησιμότητας). Οι offline αξιολογήσεις και η προσθήκη διαστημάτων σε ένα σύνολο δεδομένων περιορίζονται επίσης σε οργανισμούς Enterprise. Τα ίχνη διατηρούνται για 30 ημέρες.
Εάν ο οργανισμός σας δεν έχει ακόμη πρόσβαση, αυτή η ενότητα αξίζει comunque τον χρόνο σας: οι έννοιες—ιχνηλασία, κρίση, δημιουργία συνόλων δοκιμής και αξιολόγηση πριν την ανάπτυξη—ισχύουν για οποιοδήποτε εργαλείο OpenTelemetry.
Η Τυπική Ροή Εργασίας
Τα συστατικά σχηματίζουν έναν συνεχή βρόχο:
- Ιχνηλασία και εξερεύνηση—Οργανώστε την εφαρμογή σας και στη συνέχεια χρησιμοποιήστε τον Εξερευνητή για να εντοπίσετε προβληματικά ίχνη (σφάλματα, βραδύτητα, αμφίβολες απαντήσεις)
- Κρίση—Δημιουργήστε έναν κριτή που τυποποιεί το σχετικό κριτήριο ποιότητας
- Δημιουργία συνόλου δεδομένων—Μετατρέψτε πραγματικά διαστήματα σε περιπτώσεις δοκιμής
- Αξιολόγηση—Μετρήστε την τρέχουσα έκδοση και στη συνέχεια κάθε παραλλαγή έναντι αυτού του συνόλου δεδομένων
Κάθε κύκλος σας φέρνει πιο κοντά σε ένα πιο αξιόπιστο και καλύτερα βαθμονομημένο σύστημα.
Βασικά σημεία
- Η παρατηρησιμότητα LLM αποκαλύπτει αστοχίες που τυπική παρακολούθηση χάνει: κακές απαντήσεις
- Τα ίχνη OpenTelemetry (και ο Εξερευνητής τους), οι κριτές, τα σύνολα δεδομένων και οι offline αξιολογήσεις σχηματίζουν τον βρόχο βελτίωσης
- Η παρατηρησιμότητα της Mistral βρίσκεται σε Ιδιωτική Προεπισκόπηση· η αποστολή ιχνών απαιτεί μόνο ένα κλειδί API, ενώ η ανάγνωση ιχνών και η εκτέλεση offline αξιολογήσεων απαιτούν έναν οργανισμό Enterprise
- Τα ίχνη διατηρούνται για 30 ημέρες