Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Σύνολα δεδομένων: Δημιουργία συνόλων αξιολόγησης και επαναληπτική βελτίωση

Μάθημα 15 / 16 Ενημερώθηκε 2 Νοεμβρίου 2026 Προχωρημένος
Σε αυτήν τη σελίδα
  1. Ο τελευταίος κρίκος στον βρόχο επανάληψης
  2. Δομή εγγραφής
  3. Πηγές δεδομένων
  4. Αναθεώρηση και εξαγωγή
  5. Αξιολόγηση σε ένα σύνολο δεδομένων του Studio
  6. Βέλτιστες πρακτικές διαχείρισης
  7. Βασικά σημεία

Μάθημα αναθεωρημένο στις 2 Νοεμβρίου 2026 με βάση τη σελίδα Datasets της Mistral και το SDK mistralai 3.7.0: μια εγγραφή περιλαμβάνει ένα ελεύθερης μορφής payload και properties· τα σύνολα δεδομένων συμπληρώνονται μέσω χειροκίνητης εισαγωγής, εισαγωγής αρχείου ή spans από τον Explorer και μεταβιβάζονται ως έχουν στις offline αξιολογήσεις. Η μέθοδος import_from_explorer της προηγούμενης έκδοσης δεν υπάρχει πλέον. Πηγές: Datasets · Explore traces.

Ο τελευταίος κρίκος στον βρόχο επανάληψης

Ένα σύνολο δεδομένων είναι η συλλογή των περιπτώσεων ελέγχου που τροφοδοτεί μια offline αξιολόγηση. Προσδίδει μνήμη στη διαδικασία διασφάλισης ποιότητας: κάθε περιστατικό που παρατηρείται στην παραγωγή μπορεί να μετατραπεί σε περίπτωση ελέγχου και κάθε νέα έκδοση της εφαρμογής μετριέται απέναντί της. Χωρίς ένα σταθερό σύνολο δεδομένων, συγκρίνετε εντυπώσεις· με ένα τέτοιο σύνολο, συγκρίνετε αριθμούς.

Δομή εγγραφής

Στο Studio, κάθε εγγραφή περιέχει ένα payload—ένα αντικείμενο JSON όπου ορίζετε τα κλειδιά—και properties, τα οποία είναι μεταδεδομένα που δεν μεταβιβάζονται στην εργασία που αξιολογείται. Κατά τη διάρκεια μιας αξιολόγησης, το payload γίνεται η εγγραφή εισόδου ακριβώς ως έχει (ctx.input_record).

{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}

Αυτή η γραμμή αντιπροσωπεύει επίσης τη μορφή εισαγωγής JSONL για τα σύνολα δεδομένων του Studio: ένα αντικείμενο ανά γραμμή, που περιέχει payload και properties.

Πηγές δεδομένων

Μπορείτε να συμπληρώσετε ένα σύνολο δεδομένων με διάφορους τρόπους:

  • Χειροκίνητη εισαγωγή, στο Studio ή μέσω του API, εγγραφή προς εγγραφή
  • Εισαγωγή αρχείου JSONL χρησιμοποιώντας την παραπάνω μορφή
  • Από τον Explorer: ένα μοναδικό span, ή έως και 500 επιλεγμένα spans, γίνονται εγγραφές (Μάθημα 12)
  • Από το Studio Playground ή από ένα άλλο σύνολο δεδομένων
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets

# Create the dataset
dataset = datasets.create(
    name="Support tickets — reference set",
    description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")

# Add records
cases = [
    {"ticket": "I haven't been able to log in since this morning.", "category": "access"},
    {"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
    datasets.create_record(
        dataset_id=dataset.id,
        payload=payload,
        properties={"origin": "manual entry"},
    )

Για μεγάλους όγκους, το import_from_file εισάγει ένα ήδη μεταφορτωμένο αρχείο JSONL (μέσω του file_id του), και το import_from_spans καταναλώνει spans ιχνών: αυτές οι εισαγωγές εκτελούνται ως εργασίες παρασκηνίου και μπορείτε να παρακολουθείτε την πρόοδό τους με το fetch_task.

Αναθεώρηση και εξαγωγή

Το list_records επαναλαμβάνει τις εγγραφές σελίδα προς σελίδα (page_size, page), και το export_to_jsonl δημιουργεί μια εξαγωγή της οποίας η απόκριση παρέχει τη URL λήψης (file_url):

page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)

Αξιολόγηση σε ένα σύνολο δεδομένων του Studio

Μια offline αξιολόγηση διαβάζει ένα σύνολο δεδομένων του Studio μέσω του slug ή του ID του:

from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project

run = await client.evaluation.run(
    project=Project(name="Ticket sorting"),
    evaluation=Evaluation(name="Reference set"),
    dataset=Dataset(slug="support-tickets-reference-set"),
    task=tache,
    evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)

Εδώ, το client είναι ο πελάτης του SDK αξιολόγησης, ενώ τα tache και exactitude ορίζονται στο Μάθημα 14. Περάστε ακριβώς ένα από τα slug ή id· η επιλογή ενός συνόλου δεδομένων μέσω του slug του δεν δημιουργεί ποτέ ένα νέο. Κρατήστε στο μυαλό σας δύο κανόνες: μια εκτέλεση διαβάζει τις εγγραφές που υπάρχουν κατά την εκκίνηση, έως 10.000—ένα σύνολο δεδομένων δεν είναι ένα στιγμιότυπο, επομένως η τροποποίησή του επηρεάζει μόνο τις επόμενες εκτελέσεις—και εάν προστεθούν ή αφαιρεθούν εγγραφές κατά την ανάγνωση, η εκτέλεση αποτυγχάνει πριν ξεκινήσει, αντί να εκτελεστεί σε ένα ασυνεπές σύνολο.

Βέλτιστες πρακτικές διαχείρισης

Διατηρήστε ένα σταθερό σύνολο αναφοράς. Ένα σύνολο δεδομένων που αλλάζει με κάθε εκτέλεση καθιστά αδύνατη τη σύγκριση. Δημιουργήστε ένα σύνολο αναφοράς που τροποποιείτε μόνο σκόπιμα και διατηρήστε παράλληλα ξεχωριστά σύνολα δεδομένων εργασίας.

Τροφοδοτήστε το από την παραγωγή. Οι πιο χρήσιμες περιπτώσεις είναι εκείνες που προκάλεσαν πραγματικά προβλήματα: ένα span που εντοπίστηκε στον Explorer, όπου διορθώνετε την αναμενόμενη έξοδο, αξίζει περισσότερο από δέκα επινοημένες περιπτώσεις.

Τεκμηριώστε την προέλευση. Τα properties (προέλευση, ημερομηνία, σχετικό περιστατικό) δεν είναι ορατά από την εργασία, αλλά θα σας πουν σε έξι μήνες γιατί υπάρχει μια περίπτωση.

Ισορροπήστε τα δεδομένα σας. Ένα σύνολο δεδομένων που περιέχει μόνο εύκολες περιπτώσεις κολακεύει το σύστημά σας· ένα που περιέχει μόνο παγίδες το αποθαρρύνει. Στόχος σας είναι η πραγματική κατανομή της κίνησής σας, συν μια χούφτα αναγνωρισμένες οριακές περιπτώσεις.

Βασικά σημεία

  • Μια εγγραφή συνόλου δεδομένων = ένα payload (είσοδος εργασίας) και properties (μεταδεδομένα)
  • Χειροκίνητη εισαγωγή, εισαγωγή JSONL, spans από τον Explorer, Playground: πολλαπλές πηγές για ένα ενιαίο σύνολο δεδομένων
  • Το SDK εκθέτει τα create, create_record, import_from_file, import_from_spans, list_records και export_to_jsonl
  • Οι αξιολογήσεις διαβάζουν ένα σύνολο δεδομένων μέσω Dataset(slug=...) ή Dataset(id=...), έως 10.000 εγγραφές
  • Ένα σύνολο δεδομένων δεν είναι στιγμιότυπο: διατηρήστε ένα σταθερό σύνολο αναφοράς για να συγκρίνετε εκδόσεις